全球大模型技術(shù)競賽正推動人工智能向通用強智能發(fā)展，引發(fā)人機交互和應(yīng)用研發(fā)模式變革。大模型在各行業(yè)的廣泛應(yīng)用為第四次工業(yè)革命提供動力，但同時也帶來安全風(fēng)險，如模型“幻覺”和指令注入攻擊。國際組織和主要國家通過制定治理原則、法律法規(guī)和技術(shù)標(biāo)準(zhǔn)來應(yīng)對這些挑戰(zhàn)。同時，大模型在邏輯推理、任務(wù)編排等方面的卓越能力，為解決網(wǎng)絡(luò)空間安全瓶頸問題帶來了新的機遇。

為有效防范和消減大模型的安全風(fēng)險，并促進(jìn)其在安全領(lǐng)域的應(yīng)用，阿里云聯(lián)合中國信息通信研究院等30余家行業(yè)單位共同編制《大模型安全研究報告（2024年）》，并于2024年9月19日云棲大會AI治理與安全論壇上發(fā)布。

報告凝聚業(yè)界專家共識，聚焦當(dāng)前大模型突出安全風(fēng)險和網(wǎng)絡(luò)空間安全瓶頸問題，從大模型自身安全和大模型賦能安全兩個維度，提出涵蓋安全目標(biāo)、安全屬性、保護(hù)對象、安全措施四個方面的大模型自身安全框架，以及大模型賦能安全框架。期待這些框架能為社會各方提供有益參考，共同推動大模型技術(shù)產(chǎn)業(yè)的健康發(fā)展。

報告主要內(nèi)容包括：

1. 大模型安全風(fēng)險地圖

為盡可能全面應(yīng)對大模型領(lǐng)域的基礎(chǔ)共性安全挑戰(zhàn)，本報告優(yōu)先對語言、多模態(tài)等各類基礎(chǔ)大模型系統(tǒng)的安全風(fēng)險進(jìn)行系統(tǒng)梳理。與此同時，參考ISO/IEC 5338-2023 《人工智能系統(tǒng)生命周期過程》國際標(biāo)準(zhǔn)，將基礎(chǔ)大模型系統(tǒng)抽象為訓(xùn)練數(shù)據(jù)、算法模型、系統(tǒng)平臺和業(yè)務(wù)應(yīng)用4個重要組成部分，并通過描繪這四個組成部分面臨的重要和一般安全風(fēng)險，形成大模型安全風(fēng)險地圖，共涵蓋21個安全風(fēng)險。

2. 大模型自身安全框架

為消減大模型面臨的基礎(chǔ)共性安全風(fēng)險出發(fā)，提出了涵蓋安全目標(biāo)、安全屬性、保護(hù)對象、安全措施四個層面的大模型自身安全框架，構(gòu)建了保障大模型安全的整體解決方案。同時，提出訓(xùn)練數(shù)據(jù)、模型算法、系統(tǒng)平臺、業(yè)務(wù)應(yīng)用四方面中共計16項安全保護(hù)措施。

3. 大模型賦能安全框架

結(jié)合行業(yè)實踐情況，本報告重點闡述大模型在網(wǎng)絡(luò)安全、數(shù)據(jù)安全、內(nèi)容安全三個領(lǐng)域的潛在應(yīng)用方向。網(wǎng)絡(luò)安全領(lǐng)域，大模型可應(yīng)用于安全威脅識別、保護(hù)、檢測、響應(yīng)、恢復(fù)等多個保護(hù)環(huán)節(jié)中的關(guān)鍵場景。數(shù)據(jù)安全領(lǐng)域，大模型可應(yīng)用于數(shù)據(jù)分類分級、APP（SDK）違規(guī)處理個人信息檢測等場景。內(nèi)容安全領(lǐng)域，大模型可應(yīng)用于文本內(nèi)容安全檢測、圖像視頻內(nèi)容安全檢測和音頻內(nèi)容安全檢測等場景。