微軟最近發(fā)布了一款名為Phi-3 Mini的輕量級(jí)人工智能模型，該模型被設(shè)計(jì)為能在智能手機(jī)和其他本地設(shè)備上運(yùn)行。這款擁有38億參數(shù)的模型是微軟即將發(fā)布的三個(gè)Phi-3系列語(yǔ)言模型中的首個(gè)。其目標(biāo)是為云驅(qū)動(dòng)的大型語(yǔ)言模型提供一個(gè)更經(jīng)濟(jì)實(shí)惠的替代方案，使得規(guī)模較小的組織也能采用人工智能技術(shù)。

微軟表示，Phi-3 Mini的性能輕松超越了之前的Phi-2小型模型，并且與Llama 2等大型模型不相上下。令人驚訝的是，這款新模型的響應(yīng)能力接近于那些參數(shù)規(guī)模是其10倍的模型。

研究團(tuán)隊(duì)在論文中指出，這一創(chuàng)新的關(guān)鍵在于他們所使用的訓(xùn)練數(shù)據(jù)集。該數(shù)據(jù)集以Phi-2模型為基礎(chǔ)，但融入了“經(jīng)過(guò)嚴(yán)格過(guò)濾的網(wǎng)絡(luò)數(shù)據(jù)和合成數(shù)據(jù)”。這種獨(dú)特的數(shù)據(jù)集構(gòu)建方式受到了兒童讀物的啟發(fā)，這些讀物使用更簡(jiǎn)單的語(yǔ)言來(lái)闡述復(fù)雜的主題，從而有效地使較小的語(yǔ)言模型能夠發(fā)揮更高的效能。

盡管Phi-3 Mini在某些方面可能還無(wú)法與云驅(qū)動(dòng)的大型語(yǔ)言模型相媲美，但它在從數(shù)學(xué)到編程再到學(xué)術(shù)測(cè)試的各項(xiàng)任務(wù)中，都展現(xiàn)出了超越Phi-2和其他小型語(yǔ)言模型（如Mistral、Gemma、Llama-3-In）的實(shí)力。更重要的是，這款模型可以在像智能手機(jī)這樣簡(jiǎn)單的設(shè)備上運(yùn)行，而且無(wú)需互聯(lián)網(wǎng)連接。

然而，Phi-3 Mini的主要限制在于其“事實(shí)知識(shí)”的廣度，這主要是由于其訓(xùn)練數(shù)據(jù)集相對(duì)較小。因此，在“TriviaQA”測(cè)試中，它的表現(xiàn)并不出色。盡管如此，對(duì)于那些只需要處理較小內(nèi)部數(shù)據(jù)集的模型來(lái)說(shuō)，這仍然是一個(gè)不小的進(jìn)步。微軟希望，通過(guò)推出這樣的模型，能夠讓那些無(wú)力承擔(dān)云連接大型語(yǔ)言模型費(fèi)用的公司也能接觸到人工智能技術(shù)。

目前，Phi-3 Mini已經(jīng)在Azure、Hugging Face和Ollama等平臺(tái)上提供。微軟接下來(lái)還計(jì)劃發(fā)布功能更為強(qiáng)大的Phi-3 Small和Phi-3 Medium模型，它們分別擁有70億和140億個(gè)參數(shù)。