《電子技術(shù)應(yīng)用》
您所在的位置:首頁 > 人工智能 > 業(yè)界動態(tài) > 上海多模態(tài)大模型獨角獸MiniMax正式推出abab 6.5系列模型

上海多模態(tài)大模型獨角獸MiniMax正式推出abab 6.5系列模型

2024-04-18
來源:智東西

4 月 17 日消息,今日,上海多模態(tài)大模型獨角獸 MiniMax 正式推出 abab 6.5 系列模型,包含 abab 6.5 和 abab 6.5s 兩個模型。

MiniMax 成立于 2023 年 1 月,是當(dāng)前國內(nèi)估值最高的大模型公司之一。今年 3 月,MiniMax 完成阿里參投的新一輪融資,投后估值超過 25 億美元。此前米哈游、騰訊均有投資 MiniMax。

在 MoE 尚未成為行業(yè)共識時,MiniMax 已經(jīng)押注 MoE 路線,今年 1 月發(fā)布其首款基于 MoE 架構(gòu)的 abab 6,并在過去 3 個月潛心研發(fā)出性能更強的萬億參數(shù) MoE 模型 abab 6.5,在核心能力測試中接近 GPT-4、Claude 3 Opus、Gemini 1.5 Pro 等頂尖大語言模型。

1.jpg

標(biāo)注星號的是 MiniMax 調(diào)用 API 測試得到的結(jié)果,其余分?jǐn)?shù)來自對應(yīng)的技術(shù)報告。

abab 6.5 和 abab 6.5s 采用相同的訓(xùn)練技術(shù)、數(shù)據(jù),支持 200k tokens 上下文長度。abab 6.5s 更高效,1 秒能處理近 3 萬字的文本。

MiniMax 在 200k tokens 內(nèi)進行了業(yè)界常用的 " 大海撈針 " 測試。在 891 次測試中,abab 6.5 均能正確回答。

MiniMax 團隊稱找到了越來越多加速實現(xiàn) Scaling Laws 的途徑,包括改進模型架構(gòu)、重構(gòu)數(shù)據(jù) pipeline、訓(xùn)練算法及并行訓(xùn)練策略優(yōu)化等。今天發(fā)布的 abab 6.5 和 abab 6.5s 是其加速 Scaling Laws 過程的階段性成果。

abab 6.5 系列模型會滾動更新到 MiniMax 旗下的產(chǎn)品中,包括生產(chǎn)力產(chǎn)品海螺 AI 和 MiniMax 開放平臺上。


Magazine.Subscription.jpg

本站內(nèi)容除特別聲明的原創(chuàng)文章之外,轉(zhuǎn)載內(nèi)容只為傳遞更多信息,并不代表本網(wǎng)站贊同其觀點。轉(zhuǎn)載的所有的文章、圖片、音/視頻文件等資料的版權(quán)歸版權(quán)所有權(quán)人所有。本站采用的非本站原創(chuàng)文章及圖片等內(nèi)容無法一一聯(lián)系確認版權(quán)者。如涉及作品內(nèi)容、版權(quán)和其它問題,請及時通過電子郵件或電話通知我們,以便迅速采取適當(dāng)措施,避免給雙方造成不必要的經(jīng)濟損失。聯(lián)系電話:010-82306118;郵箱:aet@chinaaet.com。