4 月 17 日消息，今日，上海多模態(tài)大模型獨(dú)角獸 MiniMax 正式推出 abab 6.5 系列模型，包含 abab 6.5 和 abab 6.5s 兩個(gè)模型。
MiniMax 成立于 2023 年 1 月，是當(dāng)前國(guó)內(nèi)估值最高的大模型公司之一。今年 3 月，MiniMax 完成阿里參投的新一輪融資，投后估值超過(guò) 25 億美元。此前米哈游、騰訊均有投資 MiniMax。
在 MoE 尚未成為行業(yè)共識(shí)時(shí)，MiniMax 已經(jīng)押注 MoE 路線(xiàn)，今年 1 月發(fā)布其首款基于 MoE 架構(gòu)的 abab 6，并在過(guò)去 3 個(gè)月潛心研發(fā)出性能更強(qiáng)的萬(wàn)億參數(shù) MoE 模型 abab 6.5，在核心能力測(cè)試中接近 GPT-4、Claude 3 Opus、Gemini 1.5 Pro 等頂尖大語(yǔ)言模型。
標(biāo)注星號(hào)的是 MiniMax 調(diào)用 API 測(cè)試得到的結(jié)果，其余分?jǐn)?shù)來(lái)自對(duì)應(yīng)的技術(shù)報(bào)告。
abab 6.5 和 abab 6.5s 采用相同的訓(xùn)練技術(shù)、數(shù)據(jù)，支持 200k tokens 上下文長(zhǎng)度。abab 6.5s 更高效，1 秒能處理近 3 萬(wàn)字的文本。
MiniMax 在 200k tokens 內(nèi)進(jìn)行了業(yè)界常用的 " 大海撈針 " 測(cè)試。在 891 次測(cè)試中，abab 6.5 均能正確回答。
MiniMax 團(tuán)隊(duì)稱(chēng)找到了越來(lái)越多加速實(shí)現(xiàn) Scaling Laws 的途徑，包括改進(jìn)模型架構(gòu)、重構(gòu)數(shù)據(jù) pipeline、訓(xùn)練算法及并行訓(xùn)練策略?xún)?yōu)化等。今天發(fā)布的 abab 6.5 和 abab 6.5s 是其加速 Scaling Laws 過(guò)程的階段性成果。
abab 6.5 系列模型會(huì)滾動(dòng)更新到 MiniMax 旗下的產(chǎn)品中，包括生產(chǎn)力產(chǎn)品海螺 AI 和 MiniMax 開(kāi)放平臺(tái)上。
