當?shù)貢r間 1 月 23 日,OpenAI 正式推出了其首款 AI 智能體 Operator。
它可以通過自帶的瀏覽器獨立瀏覽網頁,并通過鍵入、單擊和滾動來與之交互,能夠完成填寫表格、訂購日常用品,甚至是創(chuàng)建表情包的任務。
(來源:OpenAI)
OpenAI 表示,“它目前處于研究預覽階段,這意味著它存在局限性,并將根據(jù)用戶反饋不斷變化。Operator 是我們的第一批智能體(Agent)之一,它們是能夠獨立為你工作的 AI,你給它一個任務,它就會執(zhí)行。”
Operator 將首先向美國的 ChatGPT Pro 訂閱用戶推出。OpenAI 表示,它計劃最終將此功能推廣給其 Plus、Team 和 Enterprise 級別的更多用戶群體。作為一項研究預覽工作,它目前可通過獨立網站訪問,OpenAI 表示,希望很快將 Operator 集成到其所有 ChatGPT 應用中。
山姆·奧特曼(Sam Altman)對這項技術充滿期待和信心。這位 OpenAI CEO 在發(fā)布會直播中明確表示:“這款產品是我們進軍智能體領域的開始。”
與此同時,OpenAI 總裁兼聯(lián)合創(chuàng)始人格雷格·布羅克曼(Greg Brockman)也在 X 上寫道:“2025 年將是智能體元年。”
作為 ChatGPT 的重大升級,Operator 不僅僅是一個簡單的信息處理工具,更是直接展現(xiàn)了 AI 工具從被動接收信息向主動行動的關鍵跨越。
圖 | 在演示視頻中,Operator 可以網購食物(來源:OpenAI)
Operator 的核心能力是替代人類進行一系列電腦操作。
作為一個智能體,它可以像真人一樣流暢地瀏覽網頁,精準地點擊、滾動、填寫表單,甚至能獨立完成訂票、購物、訂餐等相當復雜的任務。不同于傳統(tǒng)的虛擬助手,這款 AI 助手真正具備了“行動”的能力,而非僅僅給出建議或答復。
Operator 背后的技術被 OpenAI 稱為“計算機使用智能體(Computer-Using Agent,簡稱 CUA)”模型。這一全新模型巧妙地結合了 GPT-4o 的視覺識別能力和高級推理技術,可以通過截圖“理解”網頁,并像人類一樣精準操作鼠標和鍵盤。
CUA 經過訓練,可以像人類一樣與圖形用戶界面(GUI,Graphical User Interface)進行交互,包括人們在屏幕上看到的按鈕、菜單和文本。這使它能夠靈活地執(zhí)行數(shù)字任務,而無需使用特定于操作系統(tǒng)或網絡的 API。
圖 | Operator 可以根據(jù)指令預定餐廳(來源:OpenAI)
根據(jù)用戶的指令,CUA 通過集成感知、推理和動作的迭代循環(huán)進行操作,其工作原理大致分為三個關鍵階段。
感知:將屏幕截圖添加到模型的上下文中,提供計算機當前狀態(tài)的視覺快照,用于詳細分析頁面內容和結構。
推理:使用復雜的思路鏈推理后續(xù)步驟,同時考慮當前和過去的屏幕截圖和操作。這使其能夠評估其觀察結果、跟蹤中間步驟并動態(tài)調整,從而提高任務表現(xiàn)。
操作:執(zhí)行操作(單擊、滾動或鍵入),直到確定任務已完成或需要用戶輸入。雖然 CUA 會自動處理大多數(shù)步驟,但對于敏感操作(例如輸入登錄詳細信息或填寫驗證碼),CUA 會尋求用戶確認。
這種決策過程使 Operator 能夠在不同的網頁環(huán)境中靈活應對。尤其是在 WebArena 和 WebVoyager 兩項瀏覽器操作測試中,驅動 Operator 的 CUA 模型展現(xiàn)出了令人印象深刻的表現(xiàn)。
圖 | Operator 在不同任務中的測試成績,全面超過了此前 SOTA(來源:OpenAI)
WebArena 利用自托管的開源網站離線模擬網購、在線商店內容管理、社交論壇等網絡場景。WebVoyager 則在 Amazon、GitHub 和 Google Maps 等真實網站上測試模型的性能。不過 WebAreana 的任務相對更加復雜。
CUA 在 WebArena 上的成功率為 58.1%,而在 WebVoyager 測試中,其在實際網站導航中取得了驚人的 87% 成功率,可以獨立完成從在線購物到旅行預訂的各種任務,展現(xiàn)出了令人興奮的潛力。
除了基礎瀏覽能力,Operator 還具備個性化定制功能。用戶可以為特定網頁或全站添加自定義指令,并在主頁保存這些指令,實現(xiàn)跨聊天窗口的多任務并行處理。這種靈活性極大地提升了其實用價值。
此外,在 OSWorld 基準測試中(用于評估模型控制 Ubuntu、Windows 和 macOS 等完整操作系統(tǒng)的能力),CUA 的成功率為 38.1%。不過,人類在這項測試中的平均成績是 72.4%,說明 AI 還有很大的進步空間。
OpenAI 還表示,其觀察到隨著測試時間的增加(這意味著允許進行更多操作步驟),CUA 的表現(xiàn)會提高。
圖 | 隨著最大允許步驟數(shù)的增加,CUA 的表現(xiàn)也越來越好(來源:OpenAI)
考慮到 AI 智能體可能帶來的潛在風險,OpenAI 在 Operator 中設置了多重嚴格的安全機制。用戶可以隨時接管控制權,填寫信用卡信息和確認付款等敏感操作都需要人工明確確認。
目前,Operator 還被限制不能處理銀行交易、發(fā)送電子郵件(盡管 CUA 可以做到這一點)、刪除日歷事項等高風險任務。
除了用戶控制機制,Operator 還配備了濫用防范系統(tǒng)。它能夠識別并拒絕有害請求,并在檢測到可疑活動時立即暫停執(zhí)行。它還配有黑名單機制,許多賭博網站、成人娛樂網站以及毒品或槍支零售網站都無法訪問。
圖 | OpenAI 介紹的一些安全措施(來源:OpenAI)
OpenAI 在其網站上解釋道,Operator 使用的監(jiān)控系統(tǒng)旨在限制模型嘗試惡意提示、隱藏指令和網絡釣魚。如果檢測到可疑活動,監(jiān)控系統(tǒng)會暫停 Operator 的工作,而自動和人工審查機制會不斷更新保障措施。
不過即使是瀏覽網頁和操作電腦,Operator 目前也存在一定局限性。OpenAI 表示,“目前還不能指望 CUA 在所有場景下都能可靠運行?!?/p>
例如,它還無法可靠地處理許多復雜或專業(yè)的任務,例如創(chuàng)建詳細的幻燈片、管理復雜的日歷系統(tǒng),或與高度定制或非標準的 Web 界面進行交互。
與此同時,許多網站(如 Reddit)已經阻止 AI 智能體瀏覽,因此 Operator 無法訪問它們。在這種研究預覽模式下,出于性能或法律原因,OpenAI 還阻止了 Operator 訪問某些資源密集型網站(如 Figma)或直接競爭對手擁有的網站(如 YouTube)。
最后,CEO 奧特曼在直播中表示,Operator 是 OpenAI 的“第一批智能體”,未來幾周和幾個月還會推出更多的智能體。
越來越多的 AI 智能體出現(xiàn),標志著 AI 正從被動的信息處理工具,轉變?yōu)橹鲃拥臄?shù)字生態(tài)系統(tǒng)參與者。無論是簡化日常事務,還是創(chuàng)新商業(yè)工作流程,AI 正在變得越來越實用。人類與 AI 的協(xié)作,正在從想象逐漸變?yōu)楝F(xiàn)實。