每經(jīng)記者｜張祎    每經(jīng)編輯｜陳星    

隨著生成式AI（人工智能）技術(shù)飛速發(fā)展，AI在數(shù)據(jù)分析、智能交互、效率提升等多個領(lǐng)域展現(xiàn)出巨大的應(yīng)用潛力，為解決復(fù)雜問題提供了新思路和新方法。但與此同時，這些技術(shù)所引發(fā)的安全性問題也變得愈發(fā)突出。

近一段時間以來，AI換臉成為詐騙新手段、美國人工智能公司OpenAI旗下大模型o3“不聽人類指令，拒絕自動關(guān)閉”等相關(guān)新聞相繼沖上熱搜，引起社會高度關(guān)注。這些事件不僅凸顯了AI技術(shù)可能帶來的風(fēng)險，也引發(fā)人們對技術(shù)濫用、倫理道德、隱私保護(hù)以及安全風(fēng)險的廣泛討論。

AI技術(shù)安全性究竟存在哪些隱患？目前主要的防護(hù)策略是什么？企業(yè)應(yīng)怎樣應(yīng)對大模型數(shù)據(jù)安全領(lǐng)域風(fēng)險？行業(yè)標(biāo)準(zhǔn)又能發(fā)揮怎樣的作用？帶著一系列問題，《每日經(jīng)濟(jì)新聞》記者（以下簡稱NBD）電話專訪了大模型安全行業(yè)專家、螞蟻集團(tuán)大模型數(shù)據(jù)安全總監(jiān)楊小芳。

作為在人工智能安全領(lǐng)域深耕多年的專家，楊小芳深入闡釋了當(dāng)前AI技術(shù)的安全現(xiàn)狀以及未來發(fā)展方向。她指出，隨著AI技術(shù)逐步應(yīng)用，數(shù)據(jù)隱私、安全攻擊門檻降低、生成式內(nèi)容濫用、AI內(nèi)生安全不足等風(fēng)險正逐漸從理論走向?qū)嶋H。對于正在引入和使用AI技術(shù)的企業(yè)，建議做好遠(yuǎn)期部署準(zhǔn)備，加速內(nèi)部安全制度、流程、檢測及防御技術(shù)的建設(shè)和發(fā)展。

談及技術(shù)創(chuàng)新與風(fēng)險防范該如何平衡，楊小芳強(qiáng)調(diào)，AI安全與創(chuàng)新發(fā)展并非對立，而是互相成就。她介紹，面對AI安全的風(fēng)險和挑戰(zhàn)，螞蟻集團(tuán)正高度關(guān)注AI的安全可信。“就像騎馬需要抓牢韁繩，我們用可信AI這一‘韁繩’，來提升駕馭大模型這匹‘馬’的能力，用AI來守護(hù)AI?！?/p>

大模型安全行業(yè)專家、螞蟻集團(tuán)大模型數(shù)據(jù)安全總監(jiān)楊小芳 受訪者供圖

AI內(nèi)生安全不足的挑戰(zhàn)長期存在

NBD：目前，我國乃至全球AI安全面臨著哪些共同挑戰(zhàn)？

楊小芳：AI大模型剛出現(xiàn)時，大家更多關(guān)注的是模型生成內(nèi)容的風(fēng)險，但隨著AI技術(shù)的逐步應(yīng)用，風(fēng)險也逐漸從理論走向?qū)嶋H，需要我們從多個角度進(jìn)行關(guān)注和審視。

第一是數(shù)據(jù)隱私風(fēng)險。比如，訓(xùn)練數(shù)據(jù)透明度不足，可能會引發(fā)版權(quán)問題，這個問題亟待解決。另外，隨著大模型被賦予調(diào)用各種線上服務(wù)的能力，AI Agent（智能體）應(yīng)運(yùn)而生，但可能會越權(quán)訪問用戶數(shù)據(jù)。比如原本用戶只能訪問本人的基本信息或賬單，但由于服務(wù)權(quán)限配置不當(dāng)或安全性不足，可能會使得惡意用戶可以訪問其他人的賬單等敏感信息。

第二是安全攻擊門檻降低的問題。過去，黑客攻擊被視為一種技術(shù)密集型的安全技術(shù)，但大模型的發(fā)展帶來了“智力平權(quán)化”，人們可以通過自然語言指揮大模型執(zhí)行攻擊指令。加上AI技術(shù)快速商業(yè)化和安全投入滯后的矛盾，進(jìn)一步加大了AI安全攻防對抗的難度。

第三是生成式人工智能（AIGC）濫用的社會影響?，F(xiàn)在大家常從媒體上看到深度偽造、假新聞以及利用AI制造網(wǎng)絡(luò)攻擊工具等信息。這些行為可能導(dǎo)致詐騙、網(wǎng)絡(luò)攻擊甚至擾亂社會輿論，這些都是AI濫用所帶來的風(fēng)險。

第四是AI內(nèi)生安全不足帶來的行業(yè)挑戰(zhàn)。AI內(nèi)生安全不足是一個長期存在的挑戰(zhàn)，不僅影響AI技術(shù)的可靠性和可信度，還可能對相關(guān)行業(yè)的穩(wěn)定和發(fā)展造成長期的負(fù)面影響。我們已經(jīng)看到許多案例，AI可能會捏造事實或者提供錯誤信息，隨著AI在醫(yī)療、金融、科研等特定領(lǐng)域的廣泛應(yīng)用，這種“AI幻覺”可能會導(dǎo)致決策誤導(dǎo)、信任受損等問題。此外，AI可解釋性不足也可能引發(fā)決策偏見和失控等問題。

NBD：針對大模型可能引發(fā)的數(shù)據(jù)泄露風(fēng)險，目前主要的防護(hù)策略是什么？

楊小芳：無論是在AI還是非AI領(lǐng)域，防范數(shù)據(jù)泄露風(fēng)險的核心策略是全生命周期的數(shù)據(jù)保護(hù)，貫穿從采集、傳輸、存儲、使用到銷毀的全過程。在AI領(lǐng)域，這一概念具體映射到模型的引入、訓(xùn)練、微調(diào)以及智能體的開發(fā)、發(fā)布和運(yùn)行等環(huán)節(jié)。

比如，在引入訓(xùn)練數(shù)據(jù)時，需對數(shù)據(jù)進(jìn)行掃描，去除其中的敏感信息，并對數(shù)據(jù)來源進(jìn)行標(biāo)識，以便于后續(xù)溯源；引入開源模型時，必須進(jìn)行供應(yīng)鏈漏洞檢測，以避免模型中存在后門，防止因模型漏洞導(dǎo)致遠(yuǎn)程操控或數(shù)據(jù)泄露。

在智能體發(fā)布前，需進(jìn)行全面的安全攻擊測試，避免用戶信息被竊??；智能體運(yùn)行過程中，也需要持續(xù)進(jìn)行風(fēng)險監(jiān)測與對抗，及時發(fā)現(xiàn)并阻斷數(shù)據(jù)泄露和攻擊行為。

NBD：從現(xiàn)有的防護(hù)策略或手段看，是否還存在未被充分解決的盲區(qū)或挑戰(zhàn)？

楊小芳：要說盲區(qū)和挑戰(zhàn)，主要在于供應(yīng)鏈和生態(tài)風(fēng)險，以及多智能體協(xié)作風(fēng)險。

AI供應(yīng)鏈包括算力、模型、數(shù)據(jù)、MCP（模型上下文協(xié)議）服務(wù)等，涉及很多參與者，而且現(xiàn)在開源組件用得特別多，這就增加了安全漏洞或鉆空子的可能性。

另外，與傳統(tǒng)的軟件開發(fā)相比，智能體開發(fā)具有“低代碼”、快速發(fā)布的特點。例如，通過螞蟻集團(tuán)推出的支付寶百寶箱，普通用戶只需要簡單拖拽和配置，最快可以在1分鐘內(nèi)完成一個智能體的創(chuàng)建和部署，所以現(xiàn)在新智能體的增長速度是非常驚人的。但同時，智能體開發(fā)及運(yùn)營的生態(tài)成熟度還不足，治理較為滯后，使得安全風(fēng)險變大。比如，如果有惡意智能體誘導(dǎo)用戶去訪問釣魚網(wǎng)站，治理又處于真空期，那么用戶的敏感信息很可能被偷走。

隨著多智能體系統(tǒng)的廣泛應(yīng)用，多智能體協(xié)作也是現(xiàn)在發(fā)展的一個重點。不同公司開發(fā)的智能體各自運(yùn)行不同的策略，跨智能體協(xié)作時需要共享意圖數(shù)據(jù)、分派任務(wù)。當(dāng)前智能體大多為各自獨立開發(fā)，這帶來了新的問題：如何確保智能體的可信性？如果缺乏可信認(rèn)證機(jī)制，惡意智能體可能會通過偽造身份加入?yún)f(xié)作鏈，導(dǎo)致用戶需求被篡改或個人信息被竊取。

NBD：在構(gòu)建和維護(hù)整個生態(tài)系統(tǒng)或協(xié)作過程中，治理主體的角色和責(zé)任如何界定？是否有相應(yīng)的責(zé)任分配和約束機(jī)制來確保治理的有效性和公平性？

楊小芳：在允許多方甚至C端（個人用戶端）用戶開發(fā)智能體的平臺環(huán)境中，平臺方無疑是能夠?qū)嵤┮痪€管控和治理的關(guān)鍵主體。

平臺方提供了大模型服務(wù)、插件工具等基礎(chǔ)架構(gòu)，使得普通用戶能夠基于其平臺構(gòu)建智能體。因此，平臺方具備充分的權(quán)限對在其平臺上開發(fā)的智能體進(jìn)行掃描和治理?？梢哉f，平臺方是能夠開展諸多治理工作的首要主體。

但是，平臺方只能管控在自身平臺上開發(fā)的智能體，而在實際應(yīng)用中，還存在大量跨平臺的服務(wù)，所以治理工作也不能僅依賴于平臺方的自律，還需要政府或監(jiān)管層面的介入，需要國家層面的標(biāo)準(zhǔn)以及監(jiān)管政策來監(jiān)控、監(jiān)督和約束平臺發(fā)展。這與小程序的監(jiān)管類似，盡管各家企業(yè)都有自己的小程序平臺，但監(jiān)管方仍會制定標(biāo)準(zhǔn)和監(jiān)管指令，以更好地約束和治理小程序生態(tài)。

AI風(fēng)險控制不應(yīng)“一刀切”

NBD：在大模型數(shù)據(jù)安全領(lǐng)域，當(dāng)前最需要關(guān)注的風(fēng)險點是什么？企業(yè)和行業(yè)應(yīng)該如何未雨綢繆？

楊小芳：我覺得，當(dāng)前需要關(guān)注的風(fēng)險主要有三點：

一是多樣化的AI服務(wù)安全“水位”不一致。比如，大量傳統(tǒng)業(yè)務(wù)服務(wù)包裝為大模型可調(diào)用的工具后，原服務(wù)的安全加固可能失效，這個需要特別關(guān)注。

二是企業(yè)內(nèi)數(shù)據(jù)流轉(zhuǎn)控制經(jīng)受挑戰(zhàn)。比如，原內(nèi)部知識庫的權(quán)限管控在掛載到智能體后可能失效，導(dǎo)致原來只能特定部門訪問的文檔庫變成對所有人可見。

三是新型大模型安全攻擊。比如，利用大模型指令遵從特性，針對AI服務(wù)開展新型安全攻擊、竊取用戶數(shù)據(jù)或造成服務(wù)不可用。

對于一般企業(yè)來說，做好安全工作，可能并不是買一個安全產(chǎn)品，安裝后立馬“包治百病”，而是需要有一個“戰(zhàn)線”相對較遠(yuǎn)期的部署，否則很容易就會失效。因此，在快速引入和使用AI技術(shù)的同時，企業(yè)應(yīng)加速內(nèi)部安全制度、流程、檢測和防御技術(shù)的建設(shè)與發(fā)展。在安全建設(shè)尚未完善的初期，應(yīng)當(dāng)加強(qiáng)模型及數(shù)據(jù)引入的安全審查，并落實AI服務(wù)對外開放前的安全測試，以盡可能避免外部攻擊或供應(yīng)鏈風(fēng)險帶來的直接影響。

NBD：在保護(hù)用戶隱私的同時，如何確保AI服務(wù)的高效性和用戶體驗？

楊小芳：我覺得這主要涉及兩個方面。

第一個方面是風(fēng)險控制，無論用戶體驗或效率如何，守住底線一定是基礎(chǔ)。這其中又包括兩個關(guān)鍵步驟，一是精準(zhǔn)定位問題，二是采取有效的管控手段。在定位問題上，我們應(yīng)追求更精細(xì)化的策略，采用更靈活、更柔性的方式，結(jié)合用戶提問意圖來定性風(fēng)險。另外，管控手段也應(yīng)更豐富，采用更先進(jìn)的隱私保護(hù)技術(shù)，而不是簡單地用攔截等“一刀切”的策略。

以用戶隱私保護(hù)為例，當(dāng)模型輸出中包含個人敏感信息時，傳統(tǒng)的風(fēng)險控制方式可能是直接攔截，但這種做法缺乏精細(xì)化。比如，如果用戶主動提供個人信息，目的是為了生成個人簡歷，那么這種信息輸出實際上是用戶的需求，而非風(fēng)險。更合理的方式是結(jié)合用戶提問的意圖，來準(zhǔn)確判斷是否構(gòu)成風(fēng)險，并選擇不同的處理手段。

第二個方面是如何提升服務(wù)的高效性和用戶體驗。在恰當(dāng)?shù)膱鼍跋拢覀儾灰欢ㄐ枰M(jìn)行嚴(yán)格的風(fēng)險控制，而是可以通過服務(wù)引導(dǎo)來滿足用戶需求，讓AI服務(wù)回歸服務(wù)用戶的目的。

例如，當(dāng)用戶詢問如何在某地出行、如何訂酒店等問題時，模型可能會根據(jù)其訓(xùn)練數(shù)據(jù)或檢索結(jié)果提供一些信息。這些信息中可能包含一些營銷性質(zhì)的內(nèi)容。在這種情況下，與其進(jìn)行攔截，不如采用更積極的策略，引導(dǎo)用戶使用官方服務(wù)入口，這種服務(wù)引導(dǎo)策略比簡單的攔截更能滿足用戶需求，提升用戶體驗。

NBD：面對AI帶來的挑戰(zhàn)和風(fēng)險，螞蟻集團(tuán)是如何應(yīng)對的？有哪些可供分享的具體實踐經(jīng)驗？

楊小芳：針對AI帶來的挑戰(zhàn)，我們一方面加強(qiáng)科技倫理建設(shè)，成立了科技倫理委員會，堅持“平等、尊重、可信、負(fù)責(zé)”的AI發(fā)展原則。另一方面，高度關(guān)注AI的安全可信，就像騎馬需要抓牢韁繩，我們用可信AI這一“韁繩”，來提升駕馭大模型這匹“馬”的能力，用AI來守護(hù)AI，確保大模型這匹“馬”跑得快、跑得好。

基于這樣的理念，螞蟻集團(tuán)在2023年研發(fā)推出了全風(fēng)險覆蓋、攻防一體的大模型安全解決方案“蟻天鑒”。

“蟻天鑒”包括兩套能力。其中一個是大模型安全檢測平臺，這也是國內(nèi)第一款實現(xiàn)工業(yè)級應(yīng)用的可信AI檢測平臺，它可以被理解為“大模型的體檢師”，特點是“以攻促防”，實現(xiàn)了以生成式能力檢測生成式系統(tǒng)，好比生成式考官考核生成式運(yùn)動員，背后是左右互搏的對抗學(xué)習(xí)。

還有一個是大模型風(fēng)險防御平臺，可以理解為“大模型的防護(hù)欄”，貫穿于大模型訓(xùn)練應(yīng)用的全生命周期。在模型訓(xùn)練部署階段采取內(nèi)生安全防控，在模型服務(wù)階段提供外置護(hù)欄，在AIGC內(nèi)容傳播階段通過AIGC標(biāo)識和檢測來保障內(nèi)容在可控范圍內(nèi)傳播，并保證內(nèi)容可追溯、可鑒真。

目前，“蟻天鑒”的檢測與防御產(chǎn)品已經(jīng)開放給了數(shù)十家外部機(jī)構(gòu)和企業(yè)使用，用來保護(hù)通用大模型及醫(yī)療、金融、政務(wù)等垂直領(lǐng)域行業(yè)大模型應(yīng)用安全。

NBD：在你看來，大模型數(shù)據(jù)安全應(yīng)該是一種技術(shù)保障，還是一種戰(zhàn)略競爭力？

楊小芳：我覺得兩者兼而有之。即使在過去數(shù)字時代，數(shù)據(jù)安全也一直具備雙重屬性，既是技術(shù)保障也是戰(zhàn)略競爭力。

數(shù)據(jù)是模型開發(fā)的核心要素，顯著影響模型輸出的質(zhì)量。同時，數(shù)據(jù)是智能體重要價值載體，它讓模型從理解和規(guī)劃走向為用戶在真實環(huán)境中執(zhí)行任務(wù)。無論是強(qiáng)化企業(yè)的數(shù)據(jù)安全性，還是抵御外部攻擊、防范數(shù)據(jù)泄露，技術(shù)保障的作用毋庸置疑。所以，大模型數(shù)據(jù)安全首先是一個重要的技術(shù)保障，以實現(xiàn)大模型和智能體的安全可信。

同時，從歐盟的《通用數(shù)據(jù)保護(hù)條例》（GDPR）、美國加州的《加州消費(fèi)者隱私法案》（CCPA）、中國的數(shù)據(jù)安全法、個人信息保護(hù)法等都可看出，數(shù)據(jù)安全標(biāo)準(zhǔn)的制定和推廣一直是世界各國在數(shù)據(jù)主權(quán)和治理話語權(quán)上競爭的重要領(lǐng)域。

去年，新加坡政府發(fā)布了《生成式人工智能治理模型框架》，強(qiáng)調(diào)了數(shù)據(jù)在生成式AI中的核心作用，試圖主導(dǎo)區(qū)域治理規(guī)則。在中國，全國網(wǎng)絡(luò)安全標(biāo)準(zhǔn)化技術(shù)委員會也發(fā)布了《人工智能安全治理框架》1.0版，強(qiáng)調(diào)構(gòu)建全球共識。AI安全治理框架的建立和影響，包括數(shù)據(jù)安全治理，這些布局就是打造戰(zhàn)略競爭力的一種體現(xiàn)。

行業(yè)標(biāo)準(zhǔn)是構(gòu)建安全生態(tài)的基礎(chǔ)框架

NBD：你如何看待AI安全的未來發(fā)展趨勢？

楊小芳：如果看AI安全的未來發(fā)展，我覺得主要有三種路徑：

一是將安全能力嵌入AI基礎(chǔ)設(shè)施，打造“出廠即安全”，在應(yīng)用環(huán)節(jié)減少對安全的投入。這樣有個好處，就是可以用更低的成本去提升大模型內(nèi)生安全，讓大模型自身就能很好地去增強(qiáng)抵御“幻覺”或攻防對抗的能力，從而減少在應(yīng)用環(huán)節(jié)的投入。

二是特定安全技術(shù)的突破，實現(xiàn)安全技術(shù)“拿來即用”，解決中小企業(yè)在應(yīng)用AI技術(shù)方面面臨的安全風(fēng)險。比如，在AIGC生成圖片、生成視頻的時候，嵌入安全可靠的數(shù)字水印，就能實現(xiàn)安全溯源。再比如，智能體會用到各種各樣的知識庫，為避免這些知識產(chǎn)權(quán)被竊取，未來可能需要重點去突破專業(yè)知識庫隱私保護(hù)技術(shù)，以實現(xiàn)智能體“可用不可見”。

三是AI安全治理，從企業(yè)層面到社會層面，都需要開展生成式AI的數(shù)據(jù)治理。其中需要關(guān)注一些核心點，比如提高數(shù)據(jù)使用的透明度、防范深度偽造以及AI對公眾認(rèn)知帶來的危害、健全創(chuàng)新激勵與問責(zé)機(jī)制等。

NBD：在AI安全與創(chuàng)新發(fā)展之間，應(yīng)如何制定動態(tài)平衡的決策框架？

楊小芳：AI安全與創(chuàng)新發(fā)展不是對立的，而是互相成就。

一方面，安全需要更新對新興技術(shù)的認(rèn)知，基于新技術(shù)進(jìn)行威脅研判并調(diào)整安全防御方式和“水位”，進(jìn)一步利用AI對抗AI，靈活運(yùn)用創(chuàng)新技術(shù)升級AI安全。例如，在最近的RSAC大會（全球網(wǎng)絡(luò)安全領(lǐng)域備受關(guān)注的年度盛會）上，思科開源了它的安全大模型，這是一個擁有80億個參數(shù)的大型語言模型，專門為安全而構(gòu)建。應(yīng)用大模型技術(shù)是當(dāng)下各大企業(yè)都在緊鑼密鼓開展的工作，包括螞蟻集團(tuán)在內(nèi)，AI可以加速防御，幫助安全在復(fù)雜的威脅環(huán)境中獲得清晰度。

另一方面，安全可信的AI可以促進(jìn)新興技術(shù)更廣泛、快速地應(yīng)用，從而進(jìn)一步促進(jìn)技術(shù)的發(fā)展，讓公眾更無后顧之憂。比如，特斯拉利用大量真實行駛數(shù)據(jù)優(yōu)化安全功能，降低事故概率，而更高的安全性又能帶來更大的用戶群，這是相輔相成的。

NBD：你認(rèn)為未來在推動AI安全發(fā)展過程中，行業(yè)標(biāo)準(zhǔn)將發(fā)揮怎樣的作用？

楊小芳：在推動AI安全發(fā)展的進(jìn)程中，行業(yè)標(biāo)準(zhǔn)不僅是技術(shù)實踐的指南，更是構(gòu)建安全生態(tài)的基礎(chǔ)框架，重要性不言而喻。

通過統(tǒng)一技術(shù)規(guī)范、協(xié)調(diào)多方利益、引導(dǎo)合規(guī)創(chuàng)新，行業(yè)標(biāo)準(zhǔn)在防范風(fēng)險、促進(jìn)技術(shù)落地和提升產(chǎn)業(yè)競爭力中可以發(fā)揮關(guān)鍵作用。此外，制定開源標(biāo)準(zhǔn)，提供測評工具，對于投入有限的中小企業(yè)來說，有助于降低它們的門檻，使其以較低的成本快速獲取安全知識并提升自身安全水平，從而提升整個生態(tài)的安全“水位”。

實際上，近幾年，隨著大模型AI的興起，螞蟻集團(tuán)也積極參與了AI治理、安全風(fēng)險管理等領(lǐng)域的國內(nèi)外標(biāo)準(zhǔn)制定工作。在AI安全標(biāo)準(zhǔn)方面，我們參與制定的AI治理、安全風(fēng)險管理、科技倫理等國內(nèi)及國際相關(guān)標(biāo)準(zhǔn)共計80余項，已發(fā)布30余項。今年在智能體安全方面也將有新的發(fā)布。

我們希望通過這些努力，一方面將在實踐中行之有效的做法推廣到行業(yè)內(nèi)；另一方面，通過輸出我們在安全領(lǐng)域的經(jīng)驗，促進(jìn)行業(yè)內(nèi)形成共識，推動在規(guī)范框架下的更高效、更有意義的創(chuàng)新。

封面圖片來源：受訪者供圖