5 月 27 日消息，科技媒體 The Decoder 昨日（5 月 26 日）發(fā)布博文，報(bào)道稱(chēng)谷歌推出開(kāi)源框架 LMEval，為大語(yǔ)言模型和多模態(tài)模型提供標(biāo)準(zhǔn)化的評(píng)測(cè)工具。

評(píng)測(cè)新型 AI 模型一直是個(gè)難題。不同供應(yīng)商使用各自的 API、數(shù)據(jù)格式和基準(zhǔn)設(shè)置，導(dǎo)致跨模型比較耗時(shí)且復(fù)雜。

而谷歌最新推出的 LMEval 開(kāi)源框架直擊這一痛點(diǎn)，研究人員和開(kāi)發(fā)者只需設(shè)置一次基準(zhǔn)，就能展開(kāi)標(biāo)準(zhǔn)化的評(píng)測(cè)流程，大幅簡(jiǎn)化了評(píng)測(cè)工作，節(jié)省了時(shí)間和資源。

LMEval 還通過(guò) LiteLLM 框架抹平了 Google、OpenAI、Anthropic、Ollama 和 Hugging Face 等平臺(tái)之間的接口差異，確保測(cè)試跨平臺(tái)無(wú)縫運(yùn)行。

LMEval 不僅支持文本評(píng)測(cè)，還涵蓋圖像和代碼等領(lǐng)域的基準(zhǔn)測(cè)試，且新輸入格式可輕松擴(kuò)展，框架支持是非題、多選題和自由文本生成等多種評(píng)估類(lèi)型。同時(shí)，該框架能識(shí)別模型采用的“規(guī)避策略”，即故意給出模糊回答以避免生成有風(fēng)險(xiǎn)內(nèi)容。

Google 還引入了 Giskard 安全評(píng)分，展示模型規(guī)避有害內(nèi)容的表現(xiàn)，百分比越高代表安全性越強(qiáng)。測(cè)試結(jié)果存儲(chǔ)在自加密的 SQLite 數(shù)據(jù)庫(kù)中，確保數(shù)據(jù)本地化且不會(huì)被搜索引擎索引，兼顧了隱私與便捷。

LMEval 具備增量評(píng)估功能，無(wú)需在新增模型或問(wèn)題時(shí)重新運(yùn)行整個(gè)測(cè)試，僅執(zhí)行必要的新增測(cè)試即可，并采用多線(xiàn)程引擎并行處理多項(xiàng)計(jì)算，有效降低了計(jì)算成本和時(shí)間消耗。

谷歌還開(kāi)發(fā)了 LMEvalboard 可視化工具，通過(guò)雷達(dá)圖展示模型在不同類(lèi)別中的表現(xiàn)。用戶(hù)可深入查看具體任務(wù)，精準(zhǔn)定位模型錯(cuò)誤，并直接比較多個(gè)模型在特定問(wèn)題上的差異，圖形化展示一目了然。