《電子技術(shù)應用》
您所在的位置:首頁 > 人工智能 > 業(yè)界動態(tài) > 無問芯穹開源全球首款端側(cè)全模態(tài)理解模型Megrez-3B-Omni

無問芯穹開源全球首款端側(cè)全模態(tài)理解模型Megrez-3B-Omni

支持圖像、音頻、文本理解
2024-12-16
來源:IT之家

12 月 16 日消息,無問芯穹今日宣布,開源無問芯穹端側(cè)解決方案中的全模態(tài)理解小模型 Megrez-3B-Omni 和它的純語言模型版本 Megrez-3B-Instruct。

0.png

官方表示,Megrez-3B-Omni 是一個為端而生的全模態(tài)理解模型,同時具備圖片、音頻、文本三種模態(tài)數(shù)據(jù)的處理能力:

在圖像理解方面,Megrez-3B-Omni 是目前 OpenCompass、MME、MMMU、OCRBench 等多個主流測試集上精度最高的圖像理解模型之一。

在文本理解方面,Megrez-3B-Omni 在 C-EVAL、MMLU / MMLU Pro、AlignBench 等多個權(quán)威測試集上取得端上模型最優(yōu)精度。

在語音理解方面,Megrez-3B-Omni 支持中文和英文的語音輸入,還能夠處理復雜的多輪對話場景,也能支持對輸入圖片或文字的語音提問,實現(xiàn)不同模態(tài)間的自由切換。

官方宣稱,與上一代及其他端側(cè)大語言模型相比,單模態(tài)版本的 Megrez-3B-Instruct 在推理速度上取得了顯著提升,最大推理速度可以領先同精度模型 300%。


Magazine.Subscription.jpg

本站內(nèi)容除特別聲明的原創(chuàng)文章之外,轉(zhuǎn)載內(nèi)容只為傳遞更多信息,并不代表本網(wǎng)站贊同其觀點。轉(zhuǎn)載的所有的文章、圖片、音/視頻文件等資料的版權(quán)歸版權(quán)所有權(quán)人所有。本站采用的非本站原創(chuàng)文章及圖片等內(nèi)容無法一一聯(lián)系確認版權(quán)者。如涉及作品內(nèi)容、版權(quán)和其它問題,請及時通過電子郵件或電話通知我們,以便迅速采取適當措施,避免給雙方造成不必要的經(jīng)濟損失。聯(lián)系電話:010-82306118;郵箱:aet@chinaaet.com。