跳到主要內容
727財經
繁體中文

25款模型集體輸給人類:AI仍看不懂很多生活常識

動察 Beating AI 快訊,Scale AI 旗下研究機構 Scale Labs 聯合 Elorian 發佈新評測 Humanity’s Sixth Sense(HSS),專門測試 AI 能否從圖片和視頻中看出隱含信息。522 道開放題涵蓋 288 張圖片和 234 段視頻。比如,兩輛車之間能否通過、女子追公交時為甚麼突然放慢腳步,以及一個場合中誰更有話語權。

研究團隊測試了 25 款多模態模型,並讓 20 名人類受試者答題。人類準確率達到 93.1%,排名第一的 GPT-6 Astra 即使用最大推理力度,也只有 53.6%。GPT-6.1 Sol 和 Claude Opus 5.5 分別獲得 46.6% 和 44.6%,所有模型的得分中位數僅 30.9%。

研究人員分析了 8573 次模型失敗,發現 94% 與漏看關鍵線索、認錯對象或無法推斷畫面中的隱含關係有關。只有約 5% 被歸類為邏輯推理錯誤。社交理解尤其困難,25 款模型中有 21 款在這類題上表現最差。視頻題也普遍比圖片題更難。

增加推理量也未必有效。模型平均每題消耗約 4000 個推理 token,部分題目想得越久,成績反而越差。研究團隊還嘗試讓 Agent 放大、裁剪和反復檢查畫面,成績有所提升,但仍與人類有明顯差距。

相關資訊

  1. 香港完成首筆代幣化黃金跨行交易,真正改變的是甚麼?

    香港金管局EnsembleTX完成首筆「代幣化黃金×代幣化存款」跨行交易,由招金礦業、建行(亞洲)、東亞銀行等參與。交易把黃金賬本與資金賬本放進同一清算閉環,以港元RTGS完成...

  2. 高通:高通AI Hub現已面向中國開發者開放

  3. 某巨鯨剛剛開設超1.47億美元的原油多頭倉位

  4. OpenAI下一代GPT-6.2 Astra正灰度測試,Codex用量統計中已單獨列出

  5. 營收狂飆難掩成本壓力,Anthropic IPO面臨盈利考題

    Anthropic修訂版招股書顯示,第三季度營收169.56億美元、同比增長1127%,但算力與基礎設施支出升至98.63億美元,經營業績由盈轉虧,淨虧損擴大至232.91億美元,另有約8954...