專(zhuān)家：部分AI知無(wú)不言，成“套話重災(zāi)區(qū)”|數(shù)博會(huì)

　　AI大模型已在眾多領(lǐng)域廣泛應(yīng)用，其強(qiáng)大能力來(lái)源于算法、架構(gòu)以及大量高質(zhì)量的數(shù)據(jù)語(yǔ)料。但與此同時(shí)，數(shù)據(jù)安全問(wèn)題也隨之凸顯，其中AI“套話”現(xiàn)象正引發(fā)業(yè)內(nèi)關(guān)注。

　　在2025年中國(guó)國(guó)際大數(shù)據(jù)產(chǎn)業(yè)博覽會(huì)期間，《中國(guó)經(jīng)營(yíng)報(bào)》記者采訪了一家網(wǎng)絡(luò)安全公司的首席技術(shù)官。他指出，大模型本身包含了大量敏感和關(guān)鍵信息，就像一個(gè)巨大無(wú)比的數(shù)據(jù)庫(kù)。與傳統(tǒng)數(shù)據(jù)庫(kù)不同，傳統(tǒng)數(shù)據(jù)庫(kù)只有在接收到特定指令時(shí)才會(huì)輸出數(shù)據(jù)，不具備自主思考能力；而大模型因具備一定的推理與發(fā)散能力，更容易在對(duì)話中被“套話”。

　　所謂“套話”，就是指像人與人交流時(shí)不經(jīng)意間泄露信息一樣，AI在交互過(guò)程中也可能因被引導(dǎo)而暴露敏感內(nèi)容。該人士表示，從技術(shù)層面看，在數(shù)據(jù)庫(kù)調(diào)用或問(wèn)答過(guò)程中，大模型可能因不當(dāng)詢問(wèn)而泄露信息；在訓(xùn)練階段，由于語(yǔ)料規(guī)模龐大，也可能無(wú)意間將敏感信息納入其中，使得模型“記住”這些內(nèi)容，并在后續(xù)交互中被引出。

　　他進(jìn)一步強(qiáng)調(diào)，大模型應(yīng)用的系統(tǒng)鏈路往往十分復(fù)雜，涉及多個(gè)環(huán)節(jié)和交互過(guò)程，從數(shù)據(jù)傳輸、存儲(chǔ)到調(diào)用，任何一個(gè)環(huán)節(jié)出現(xiàn)漏洞，都可能為“套話”提供機(jī)會(huì)。因此，判斷AI是否存在“套話”風(fēng)險(xiǎn)，必須從整體上審視交互系統(tǒng)，逐環(huán)排查安全隱患。

　　AI被“套話”所帶來(lái)的風(fēng)險(xiǎn)不容忽視，可能導(dǎo)致個(gè)人隱私泄露、企業(yè)核心競(jìng)爭(zhēng)力受損，甚至威脅國(guó)家安全。“我們必須高度重視這一問(wèn)題，通過(guò)觀察交互過(guò)程、分析回答內(nèi)容、理解技術(shù)原理以及審視系統(tǒng)鏈路等方式，準(zhǔn)確判斷AI是否存在‘套話’，并采取有效措施加以防范，讓AI技術(shù)在安全可控的環(huán)境中更好地服務(wù)社會(huì)?！痹撊耸勘硎?。

　　他還介紹，如今新一代的MCP（Model Context Protocol，模型上下文協(xié)議）技術(shù)正在興起。該技術(shù)通過(guò)MCP協(xié)議，使大模型能夠調(diào)用數(shù)百甚至上千個(gè)工具。然而，伴隨功能擴(kuò)展而來(lái)的，是更復(fù)雜的網(wǎng)絡(luò)與數(shù)據(jù)安全風(fēng)險(xiǎn)。

　　“看似簡(jiǎn)潔的用戶體驗(yàn)，背后往往是龐大而復(fù)雜的數(shù)據(jù)和系統(tǒng)交互。大模型作為典型的數(shù)據(jù)驅(qū)動(dòng)型產(chǎn)品，對(duì)數(shù)據(jù)安全的依賴尤為突出。稍有不慎就可能引發(fā)泄露事件，而事實(shí)上，此類(lèi)案例已經(jīng)屢有發(fā)生。因此，數(shù)據(jù)安全無(wú)疑是當(dāng)前最需關(guān)注的重點(diǎn)?！彼詈髲?qiáng)調(diào)。

（文章來(lái)源：中國(guó)經(jīng)營(yíng)報(bào)）

(原標(biāo)題：專(zhuān)家：部分AI知無(wú)不言，成“套話重災(zāi)區(qū)”|數(shù)博會(huì))

(責(zé)任編輯：126)