-
AI安全面臨靈魂拷問:“意圖篡改”怎么防?綠盟科技給你答案!
2026/1/23 10:08:09 來源:財訊網(wǎng) 【字體:大 中 小】【收藏本頁】【打印】【關(guān)閉】
核心提示:2025年AI應(yīng)用經(jīng)歷了從“對話助手”向“智能體”的能力躍遷,高速進(jìn)步的背后暴露諸多隱患:智能體自主運行時,如何避免行為失控風(fēng)險?
隨著AI Agent規(guī)模化落地被按下“加速鍵”,其安全是否值得信任?意圖篡改、調(diào)用鏈投毒、供應(yīng)鏈漏洞、合規(guī)備案壓力等問題,正成為企業(yè)AI落地路上的“絆腳石”。
應(yīng)勢而生,綠盟科技召開以“清風(fēng)拂境 · 智御全域”為主題的大模型安全創(chuàng)新成果線上發(fā)布會。發(fā)布會從分析AI應(yīng)用需求的變化入手,以體系化方案回應(yīng)行業(yè)最迫切的大模型安全防護(hù)訴求,并重磅加碼綠盟“清風(fēng)衛(wèi)”系列產(chǎn)品智能體安全能力,為各行業(yè)客戶AI安全落地提供可落地、可驗證的最新實戰(zhàn)指南。
“意圖博弈”威脅新起,AI安全紅線在哪里?

綠盟科技高級安全研究員祝榮吉
2025年AI應(yīng)用經(jīng)歷了從“對話助手”向“智能體”的能力躍遷,高速進(jìn)步的背后暴露諸多隱患:智能體自主運行時,如何避免行為失控風(fēng)險?自主智能體具備邏輯主權(quán)后,它的安全紅線在哪里?隨“智”而變,綠盟科技高級安全研究員祝榮吉介紹了AI能力演進(jìn)與攻防焦點變化趨勢。他基于Agent感知、規(guī)劃、記憶、行動四大核心模塊,針對性提出了“感知需凈輸入、規(guī)劃需抗干擾、記憶需防污染、行動需控權(quán)限”的防御準(zhǔn)則。
在攻防焦點的動態(tài)演進(jìn)上,祝榮吉表示AI安全正由“內(nèi)容檢測”向“意圖博弈”深度轉(zhuǎn)向:2024年聚焦“內(nèi)容博弈”,重點攻堅對話框安全,解決模型“言多必失”的合規(guī)問題;2025年邁入“協(xié)議生態(tài)”,隨MCP工具協(xié)議的普及,風(fēng)險面由對話端延伸至業(yè)務(wù)系統(tǒng),核心在于構(gòu)建調(diào)用鏈的生態(tài)信任;2026年的安全重心將直面“意圖主權(quán)”,嚴(yán)防攻擊者通過劫持感知信息實現(xiàn)深層意圖篡改與指令劫持。
基于此演進(jìn)趨勢,會上正式發(fā)布AISS年度威脅關(guān)注矩陣。該矩陣縱向聚焦基座、數(shù)據(jù)、模型、應(yīng)用、身份五大安全支柱,完成了從基礎(chǔ)大模型到復(fù)雜Agent系統(tǒng)的風(fēng)險透視。通過系統(tǒng)性梳理威脅的年度動態(tài)演進(jìn)路徑,矩陣旨在幫助企業(yè)在復(fù)雜多變的AI場景中精準(zhǔn)識別風(fēng)險優(yōu)先級、鎖定核心問題,真正實現(xiàn)從“盲目圍堵”向“精準(zhǔn)治理”的體系化演進(jìn)與升級。
針對風(fēng)險評估能力的落地,祝榮吉詳細(xì)介紹了智能化紅隊評估的技術(shù)路徑與方法論。綠盟科技依托動態(tài)數(shù)據(jù)集構(gòu)建、智能風(fēng)險判定及智能體業(yè)務(wù)信息探測等核心能力,通過與前沿攻防對抗方法的組合應(yīng)用,實現(xiàn)了對MCP工具惡意利用、智能體意圖劫持及預(yù)期外代碼執(zhí)行等新型風(fēng)險的檢測覆蓋,真正將碎片化的紅隊經(jīng)驗轉(zhuǎn)化為體系化的安全驗證能力。
靠“補丁”沒用,大模型安全如何實現(xiàn)“主動免疫”?

綠盟科技高級方案經(jīng)理郝廣賓
AI時代的安全,從來不是單點的“補丁式防護(hù)”,而是貫穿全流程的體系化工程,是整個AI生態(tài)的基石。綠盟科技高級方案經(jīng)理郝廣賓發(fā)表《“四道防線”守護(hù)大模型系統(tǒng)安全防護(hù)》的主題演講,全面闡釋了綠盟大模型系統(tǒng)安全方案,他提出“四道防線”縱深防御體系。該體系構(gòu)建覆蓋“開發(fā)、部署、運行”全流程的安全防護(hù)能力,以實現(xiàn)大模型從“被動響應(yīng)”到“主動免疫”的安全升維,滿足客戶大模型系統(tǒng)安全合規(guī)應(yīng)用與實戰(zhàn)防護(hù)的雙重需求。

【四道防線】實現(xiàn)“主動免疫”的安全升維
大模型系統(tǒng)開發(fā)階段,打造“合規(guī)+校驗”防線體系。要聚焦語料合規(guī)和組件安全,使用語料評估工具或服務(wù),對全部訓(xùn)練數(shù)據(jù)、外掛知識庫數(shù)據(jù)等進(jìn)行清洗;優(yōu)先采購部署經(jīng)過備案的商業(yè)大模型服務(wù),加強模型代碼及組件完整性校驗和安全測試,構(gòu)建AI軟件物料清單,剖析AI系統(tǒng)所依賴的各類組件,精準(zhǔn)識別潛在三方供應(yīng)鏈組件風(fēng)險。
大模型系統(tǒng)部署階段,構(gòu)建“評測+加固”和“監(jiān)測+防護(hù)”閉環(huán)自進(jìn)化雙道協(xié)同防線。讓“評測”明確“防護(hù)”重點,“防護(hù)結(jié)果”反哺“模型評測”,打造“越用越聰明”的主動免疫體系。在大模型系統(tǒng)上線前,需圍繞內(nèi)容安全、對抗安全、AI紅隊、供應(yīng)鏈等多維度開展安全評測,保障大模型系統(tǒng)安全上線;在大模型系統(tǒng)部署時,需圍繞基礎(chǔ)設(shè)施、模型、應(yīng)用、數(shù)據(jù)等打造縱深防御,部署多級安全認(rèn)證、多維聯(lián)防圍欄、原生應(yīng)用防護(hù)、數(shù)據(jù)防泄漏等監(jiān)測防護(hù)能力,打造特殊場景安全代答能力,守護(hù)大模型系統(tǒng)應(yīng)用安全。
大模型系統(tǒng)應(yīng)用運行階段,優(yōu)先加強大模型系統(tǒng)安全管理防線。從“監(jiān)測預(yù)警”“應(yīng)急處置”“供應(yīng)鏈安全保障”“備案、標(biāo)識雙合規(guī)”等多維度開展大模型系統(tǒng)日常安全運營工作。
使用智能體接連踩坑,安全“防不住、查不清”?

綠盟科技高級產(chǎn)品經(jīng)理李斌
基于對智能體安全風(fēng)險的深度洞察,綠盟科技高級產(chǎn)品經(jīng)理李斌圍繞“資產(chǎn)管理、漏洞管理、運行時檢測、MCP安全、數(shù)據(jù)安全、安全態(tài)勢、安全審計”七大維度,詳細(xì)介紹了覆蓋智能體全生命周期的安全能力體系。發(fā)布會上,綠盟科技“清風(fēng)衛(wèi)”AI安全系列產(chǎn)品三大智能體安全組件全新亮相。
智能體資產(chǎn)與風(fēng)險治理系統(tǒng):支持對智能體核心組件(模型、工具、MCP、知識庫、提示詞等)進(jìn)行細(xì)粒度發(fā)現(xiàn)與動態(tài)清點,構(gòu)建資產(chǎn)與風(fēng)險畫像;
智能體運行時意圖與行為安全防護(hù):基于對智能體職責(zé)邊界的AI建模,實時監(jiān)測其與MCP、工具、外部系統(tǒng)的交互行為,實現(xiàn)對越權(quán)訪問、數(shù)據(jù)泄露等風(fēng)險的實時發(fā)現(xiàn)與自動阻斷;
智能體紅隊測評與持續(xù)驗證平臺:依托AI紅隊測評引擎,基于智能體配置與業(yè)務(wù)場景生成針對性攻擊用例,通過單輪與多輪對話模擬,深度挖掘潛在風(fēng)險。
李斌強調(diào),綠盟清風(fēng)衛(wèi)AI安全產(chǎn)品體系具備“平臺化集成、場景化適配、自動化運營”三大特點,可靈活對接各類智能體開發(fā)平臺與既有安全基礎(chǔ)設(shè)施,為客戶提供從開發(fā)態(tài)到運行態(tài)的一體化“監(jiān)管控”能力。
從AI Copilot到AI Agent,從協(xié)作輔助到自主執(zhí)行,大模型應(yīng)用形態(tài)越深入業(yè)務(wù)核心,安全的重要性就越凸顯。作為網(wǎng)絡(luò)安全行業(yè)排頭兵,綠盟科技始終秉承“巨人背后的專家”的使命,未來將持續(xù)跟蹤AI應(yīng)用風(fēng)險與需求的變化,不斷優(yōu)化整體安全防護(hù)方案,升級產(chǎn)品和服務(wù),為行業(yè)客戶破解安全難題,讓安全不再是AI創(chuàng)新的“顧慮”,而是驅(qū)動業(yè)務(wù)增長的“底氣”!
鄭重聲明:本文版權(quán)歸原作者所有,轉(zhuǎn)載文章僅為傳播更多信息之目的,如有侵權(quán)行為,請第一時間聯(lián)系我們修改或刪除,多謝。
-
- 熱點資訊
- 24小時
- 周排行
- 月排行


