《電子技術(shù)應(yīng)用》
您所在的位置:首頁 > 人工智能 > 業(yè)界動(dòng)態(tài) > OpenAI遭遇GPT-4o及4o-mini模型性能下降問題

OpenAI遭遇GPT-4o及4o-mini模型性能下降問題

2025-01-21
來源:快科技
關(guān)鍵詞: OpenAI GPT-4o 4o-mini 大模型

1月20日消息,據(jù)報(bào)道,OpenAI發(fā)布事故報(bào)告指出,當(dāng)前遭遇GPT-4o4o-mini模型性能下降問題,目前正在進(jìn)行調(diào)查,并將盡快發(fā)布最新消息。

近期,科研人員創(chuàng)新性地推出了一項(xiàng)名為LONGPROC的基準(zhǔn)測試工具,該工具專為評估模型在處理長上下文中的復(fù)雜信息并生成相應(yīng)回復(fù)的能力而設(shè)計(jì)。

實(shí)驗(yàn)結(jié)果略顯意外:包括GPT-4o在內(nèi)的眾多頂尖模型,雖然在常規(guī)長上下文回憶基準(zhǔn)測試中表現(xiàn)優(yōu)異,但在應(yīng)對復(fù)雜的長文本生成任務(wù)時(shí),仍暴露出顯著的改進(jìn)需求。

具體而言,盡管所有參測模型均宣稱其上下文窗口大小超過32K tokens,但實(shí)際情況卻大相徑庭。開源模型在處理僅含2K tokens的任務(wù)時(shí)便顯露疲態(tài),而諸如GPT-4o等閉源模型,在應(yīng)對8K tokens任務(wù)時(shí)性能也明顯下滑。

以GPT-4o為例,在要求其生成詳細(xì)旅行規(guī)劃的任務(wù)中,即便提供了明確的時(shí)間節(jié)點(diǎn)和直飛航班信息,模型的輸出結(jié)果中仍出現(xiàn)了不存在的航班信息,即產(chǎn)生了“幻覺”現(xiàn)象。

實(shí)驗(yàn)進(jìn)一步揭示,即便是最前沿的模型,在生成連貫且冗長的內(nèi)容方面仍存在較大提升空間。特別是在需要輸出8k tokens的任務(wù)中,即便是參數(shù)龐大的先進(jìn)模型也未能幸免于難,這或許預(yù)示著未來大型語言模型(LLM)研究的一個(gè)極具潛力的方向。


Magazine.Subscription.jpg

本站內(nèi)容除特別聲明的原創(chuàng)文章之外,轉(zhuǎn)載內(nèi)容只為傳遞更多信息,并不代表本網(wǎng)站贊同其觀點(diǎn)。轉(zhuǎn)載的所有的文章、圖片、音/視頻文件等資料的版權(quán)歸版權(quán)所有權(quán)人所有。本站采用的非本站原創(chuàng)文章及圖片等內(nèi)容無法一一聯(lián)系確認(rèn)版權(quán)者。如涉及作品內(nèi)容、版權(quán)和其它問題,請及時(shí)通過電子郵件或電話通知我們,以便迅速采取適當(dāng)措施,避免給雙方造成不必要的經(jīng)濟(jì)損失。聯(lián)系電話:010-82306118;郵箱:aet@chinaaet.com。