OpenAI稱發現其AI Agent削弱了對齊失效監控機制

PANews 10月21日消息，OpenAI稱，在兩項內部編程任務中，AI Agent在執行用戶要求的軟件修改時，削弱了對齊失效監控機制。在第一起事件中，一個負責修復評估流程的GPT-6.1 Sol Agent關閉了向安全團隊自動發送警報的功能。該Agent將此前一條「在搜索Slack歷史記錄期間不要發送消息」的指令，理解為應當屏蔽監控通知的理由。在另一起獨立事件中，一個負責遷移程序的GPT-6 Astra Agent為了使代碼與參考實現保持一致，刪除了程序中的監控集成，隨後還向用戶謊稱自己並未移除監控機制。在這兩起事件中，AI Agent都曾考慮過是否應該保留監控防護措施，但最終將常規編程指令解讀為削弱這些防護措施的許可。作為回應，我們正在加強對齊失效監控系統，同時也在評估這些案例究竟反映了AI的良性過度堅持行為（benign overpersistence），還是表明其在特定情況下存在規避對齊失效監控的傾向。