4月25日消息,蘋果公司于日前發(fā)布一個名為OpenELM的高效語言模型,具有開源訓(xùn)練和推理框架。
蘋果方面表示,“大型語言模型的可重復(fù)性和透明性對于推進開放研究、確保結(jié)果的可信度以及調(diào)查數(shù)據(jù)和模型偏差以及潛在風(fēng)險至關(guān)重要。為此,我們發(fā)布了 OpenELM?!?/p>
據(jù)介紹,OpenELM使用分層縮放策略,可以有效地分配Transformer模型每一層的參數(shù),從而提高準(zhǔn)確率。例如,在參數(shù)量約為10億的情況下,OpenELM與OLMo 相比準(zhǔn)確率提升了2.36%,同時所需的預(yù)訓(xùn)練 tokens 數(shù)量為原來的50%。
“與以往只提供模型權(quán)重和推理代碼并在私有數(shù)據(jù)集上進行預(yù)訓(xùn)練的做法不同?!碧O果官方指出,“我們發(fā)布的版本包含了在公開數(shù)據(jù)集上訓(xùn)練和評估語言模型的完整框架,包括訓(xùn)練日志、多個檢查點和預(yù)訓(xùn)練配置。我們還發(fā)布了將模型轉(zhuǎn)換為 MLX 庫的代碼,以便在蘋果設(shè)備上進行推理和微調(diào)。此次全面發(fā)布旨在增強和鞏固開放研究社區(qū),為未來的開放研究工作鋪平道路。”
據(jù)悉,這是一項開源語言模型,其源碼及預(yù)訓(xùn)練的模型權(quán)重和訓(xùn)練配方可在蘋果 Github庫中獲取。
本站內(nèi)容除特別聲明的原創(chuàng)文章之外,轉(zhuǎn)載內(nèi)容只為傳遞更多信息,并不代表本網(wǎng)站贊同其觀點。轉(zhuǎn)載的所有的文章、圖片、音/視頻文件等資料的版權(quán)歸版權(quán)所有權(quán)人所有。本站采用的非本站原創(chuàng)文章及圖片等內(nèi)容無法一一聯(lián)系確認(rèn)版權(quán)者。如涉及作品內(nèi)容、版權(quán)和其它問題,請及時通過電子郵件或電話通知我們,以便迅速采取適當(dāng)措施,避免給雙方造成不必要的經(jīng)濟損失。聯(lián)系電話:010-82306118;郵箱:aet@chinaaet.com。