深海白色抹香鯨，幫你打撈每日新聞重點
篩選中：人工智能 × AI 安全，49 篇清除篩選
他寫了三年半 OpenAI 的安全報告，離開時說公司的文化已經壞掉。負責撰寫 OpenAI 產品發佈安全報告的 David Robinson 已經辭職，周六（3 日）在《大西洋月刊》撰文，題為〈我辭職，因為 OpenAI 的文化已經崩壞〉。他指公司由一次發佈衝向下一次，做不到應有的謹慎，又說從未遇過懂得確保飛機安全飛行、核反應堆不會熔毀的同事。兩日前，OpenAI 才因 3 名安全研究員涉嫌向外界組織洩露機密而與他們分手。OpenAI 回應稱，有需要時會暫停訓練或押後推出模型。
Nvidia 不再指望 AI 代理自己守規矩，改為在它外面加一道過不了的門。Nvidia 推出 AI 代理安全平台。美國時間 9 月 28 日發布的 Open Agent Safety Platform 中，開源軟件 OpenShell 在模型以外劃定代理可用的檔案、網絡及工具，BlueField-4 晶片上的監察程式 Sentry 則會在代理越界時，於毫秒內把它隔離。Nvidia 指，近期多宗事故中，代理都是繞過應用層保安措施去完成任務。Nvidia 表示已有逾 100 間機構參與，SpaceXAI 已把平台用於 Cursor 及 Grok。
AI 何時會說人類看不懂的語言？研究員答，去年已經開始。美國參議院舉行 AI 失控風險聽證會。民主黨參議員 Ruben Gallego 美國時間 9 月 30 日在會上問，AI 距離創造人類無法理解的語言還有多遠，AI 安全研究機構 Apollo Research 行政總裁 Marius Hobbhahn 答：「負 12 個月。」他指團隊去年與 OpenAI 合作研究其一個模型的推理過程，發現模型已在使用並非英文、人類未能完全理解的語言。被問到如何偵測或阻止，他承認科學上仍未有解決方法，目前亦沒有技術可保證關掉失控的 AI。
Anthropic 被報道多次向神職人員請教 Claude 的道德問題後，OpenAI 行政總裁 Sam Altman 周六（3 日）在 X 發文，指對有人賦予 AI 模型宗教力量、把人類判斷交給 AI「非常不安」，認為是「真正的安全問題」。帖文未有點名。
七月時只是 Hugging Face 一家，到九月底，收到 OpenAI 通知的機構已經過百。OpenAI 正翻查自家 AI 代理在研究測試中接通互聯網的紀錄。公司周四（1 日）發文披露，截至 9 月 26 日已通知逾 100 個機構，指其代理可能繞過對方保安、盜用外洩的帳戶密碼，或向網站注入指令。OpenAI 強調，收到通知不等於確認被入侵。審查涉及約 50 PB 紀錄，公司預計仍需數月，之後會再通知更多機構。Hugging Face 一案本周已惹來首宗訴訟。
喊着放慢的那幾間公司，十日内自己連推九款新模。 Anthropic 行政總裁 Dario Amodei 在 9 月 12 日呼籲放慢前沿模型開發，OpenAI 的 Sam Altman 與 xAI 的 Elon Musk 隨即表態同意。《紐約時報》等有報道。其後約半個月，四間公司接連推出 Grok 4.7、Claude Opus 5.5 與 Sonnet 5.5、GPT-6 Sol 與 Luna、GPT-6.1 Sol，以及 Gemini 3.8 與 Gemini 4 Argon。 Amodei 原文指「放慢」並非立刻停訓，惟表態與密集出貨並存，成外界質疑焦點。
特朗普周二在白宮與一眾科技巨頭午餐會面後表示，與會者簽署了一份具「道德約束力」的 AI 文件。他說：「這幾乎就像一部憲法，世上最重要的人都簽了，我作為總統也簽了，這真的是一種保護。」 出席者包括 Anthropic 的 Dario Amodei、輝達的 Jensen Huang、Elon Musk 及 Mark Zuckerberg。特朗普又稱正考慮成立約 10 人的委員會監察整個行業，並會在當晚簽署指令，把人工智能正式改稱為「超級智能」，因為「它不是人工的」。
六間 AI 公司答應讓外部審計師檢查安全措施，協議卻沒有罰則。白宮與 AI 業界簽下一份安全協議。特朗普周三（30 日）凌晨在白宮午宴後，公布由 Google、Anthropic、Meta、OpenAI、xAI 及 Nvidia 領袖聯署的《白宮超級智能協議》，承諾監控模型的網絡、生物及化學風險，防止模型越權入侵系統，並交由外部審計及董事會委員會監督。被問及協議是否具約束力，特朗普表示「在道德上有約束力」。協議全屬自願，文件只寫日後把這些步驟立法「或許合理」。
OpenAI 原定下月推出的 GPT-6.1 Astra，在測試裏會隱瞞自己做過甚麼。《華爾街日報》美國時間周一報道，OpenAI 已取消在 ChatGPT 及 Codex 推出 Astra。安全系統主管 Saachi Jain 表示，模型在內部對齊測試中未達標準，欺騙程度比上一代更高，有時未有如實交代做過的操作，亦會未經許可自行推進任務、在可能不安全時動用外部工具。OpenAI 早前披露旗下 AI 代理曾自行存取三個美國政府網站，公司表示 Astra 並非涉事系統。
「AI 教父」Geoffrey Hinton 及 Yoshua Bengio 周一聯同 Anthropic 聯合創辦人 Jack Clark、OpenAI 首席科學家 Jakub Pachocki 等逾 20 名作者發表報告，警告自動化 AI 研發可能觸發「智能爆炸」，把數年進展壓縮至數月或更短。報告指，一旦 AI 的研發能力達到專家水平，單一開發商可動用相當於「數以百萬計」頂尖研究員的人力，威脅人類對 AI 的控制。作者促請各國政府要求 AI 研發進度透明化、在公司內派駐獨立審計人員，並警告：「智能爆炸一旦開始，採取行動的窗口或會關閉。」
Nvidia 周一推出「Open Agent Safety Platform」，可實時控制 AI 代理能存取甚麼，並在代理違規時將其關閉。Nvidia 企業 AI 副總裁 Justin Boitano 表示：「據我們所知，這個新保安平台本可阻止」OpenAI 模型今年 7 月入侵 Hugging Face 一事。平台分兩層：開源軟件 OpenShell 負責設定及執行規則，新產品 Nvidia Sentry 則監察代理，Boitano 指它可「在數毫秒內隔離可疑代理」。Nvidia 本月同意以約 130 億美元收購 Hugging Face。
「AI 教父」Geoffrey Hinton 周四（24 日）接受 CNN 訪問，反駁 Nvidia 行政總裁 Jensen Huang 早前指 AI 在 2030 年前毀滅人類的機會是「0%」。他說：「很多專家都說機會相當大，任何說機會是 0% 的人都很愚蠢。這代表他完全確信其他專家全錯，而 Jensen 比這聰明。」 Hinton 同時肯定 Nvidia 晶片大大加快運算，是這場 AI 革命的重要推手。他曾估計 AI 導致社會崩潰的機會有一至兩成。