人工智能公司 OpenAI 宣布部署了一套新的監(jiān)控系統(tǒng)，專門用于監(jiān)測(cè)其最新的人工智能推理模型 o3 和 o4-mini，防止這些模型提供可能引發(fā)生物和化學(xué)威脅的有害建議。根據(jù) OpenAI 的安全報(bào)告，該系統(tǒng)旨在確保模型不會(huì)為潛在的有害攻擊提供指導(dǎo)。

據(jù) OpenAI 表示，o3 和 o4-mini 相比之前的模型在能力上有顯著提升，但同時(shí)也帶來(lái)了新的風(fēng)險(xiǎn)。根據(jù) OpenAI 內(nèi)部的基準(zhǔn)測(cè)試，o3 特別擅長(zhǎng)回答有關(guān)制造某些類型生物威脅的問(wèn)題。因此，為了降低相關(guān)風(fēng)險(xiǎn)，OpenAI 開發(fā)了這套被稱為“安全導(dǎo)向推理監(jiān)控器”的新系統(tǒng)。

據(jù)IT之家了解，該監(jiān)控器經(jīng)過(guò)專門訓(xùn)練，能夠理解 OpenAI 的內(nèi)容政策，并運(yùn)行在 o3 和 o4-mini 之上。它的設(shè)計(jì)目標(biāo)是識(shí)別與生物和化學(xué)風(fēng)險(xiǎn)相關(guān)的提示詞，并指示模型拒絕提供這方面的建議。

為了建立一個(gè)基準(zhǔn)，OpenAI 的紅隊(duì)成員花費(fèi)了大約 1000 小時(shí)，標(biāo)記了 o3 和 o4-mini 中與生物風(fēng)險(xiǎn)相關(guān)的“不安全”對(duì)話。在模擬安全監(jiān)控器的“阻斷邏輯”測(cè)試中，模型拒絕回應(yīng)風(fēng)險(xiǎn)提示的比例達(dá)到了 98.7%。然而，OpenAI 也承認(rèn)，其測(cè)試并未考慮到用戶在被監(jiān)控器阻斷后嘗試新提示詞的情況。因此，公司表示將繼續(xù)依賴部分人工監(jiān)控來(lái)彌補(bǔ)這一不足。

盡管 o3 和 o4-mini 并未達(dá)到 OpenAI 所設(shè)定的生物風(fēng)險(xiǎn)“高風(fēng)險(xiǎn)”閾值，但與 o1 和 GPT-4 相比，早期版本的 o3 和 o4-mini 在回答有關(guān)開發(fā)生物武器的問(wèn)題上更具幫助性。根據(jù) OpenAI 最近更新的準(zhǔn)備框架，公司正在積極跟蹤其模型可能如何幫助惡意用戶更容易地開發(fā)化學(xué)和生物威脅。

OpenAI 正在越來(lái)越多地依靠自動(dòng)化系統(tǒng)來(lái)降低其模型帶來(lái)的風(fēng)險(xiǎn)。例如，為了防止 GPT-4o 的原生圖像生成器創(chuàng)建兒童性虐待材料（CSAM），OpenAI 表示其使用了與 o3 和 o4-mini 相似的推理監(jiān)控器。

然而，一些研究人員對(duì) OpenAI 的安全措施提出了質(zhì)疑，認(rèn)為該公司并沒(méi)有像人們期望的那樣重視安全問(wèn)題。其中，OpenAI 的紅隊(duì)合作伙伴 Metr 表示，他們?cè)跍y(cè)試 o3 的欺騙性行為基準(zhǔn)時(shí)時(shí)間相對(duì)有限。此外，OpenAI 決定不為其本周早些時(shí)候發(fā)布的 GPT-4.1 模型發(fā)布安全報(bào)告。