微軟最近發(fā)布了一款名為Phi-3 Mini的輕量級人工智能模型，該模型被設(shè)計為能在智能手機和其他本地設(shè)備上運行。這款擁有38億參數(shù)的模型是微軟即將發(fā)布的三個Phi-3系列語言模型中的首個。其目標(biāo)是為云驅(qū)動的大型語言模型提供一個更經(jīng)濟實惠的替代方案，使得規(guī)模較小的組織也能采用人工智能技術(shù)。

微軟表示，Phi-3 Mini的性能輕松超越了之前的Phi-2小型模型，并且與Llama 2等大型模型不相上下。令人驚訝的是，這款新模型的響應(yīng)能力接近于那些參數(shù)規(guī)模是其10倍的模型。

研究團隊在論文中指出，這一創(chuàng)新的關(guān)鍵在于他們所使用的訓(xùn)練數(shù)據(jù)集。該數(shù)據(jù)集以Phi-2模型為基礎(chǔ)，但融入了“經(jīng)過嚴(yán)格過濾的網(wǎng)絡(luò)數(shù)據(jù)和合成數(shù)據(jù)”。這種獨特的數(shù)據(jù)集構(gòu)建方式受到了兒童讀物的啟發(fā)，這些讀物使用更簡單的語言來闡述復(fù)雜的主題，從而有效地使較小的語言模型能夠發(fā)揮更高的效能。

盡管Phi-3 Mini在某些方面可能還無法與云驅(qū)動的大型語言模型相媲美，但它在從數(shù)學(xué)到編程再到學(xué)術(shù)測試的各項任務(wù)中，都展現(xiàn)出了超越Phi-2和其他小型語言模型（如Mistral、Gemma、Llama-3-In）的實力。更重要的是，這款模型可以在像智能手機這樣簡單的設(shè)備上運行，而且無需互聯(lián)網(wǎng)連接。

然而，Phi-3 Mini的主要限制在于其“事實知識”的廣度，這主要是由于其訓(xùn)練數(shù)據(jù)集相對較小。因此，在“TriviaQA”測試中，它的表現(xiàn)并不出色。盡管如此，對于那些只需要處理較小內(nèi)部數(shù)據(jù)集的模型來說，這仍然是一個不小的進(jìn)步。微軟希望，通過推出這樣的模型，能夠讓那些無力承擔(dān)云連接大型語言模型費用的公司也能接觸到人工智能技術(shù)。

目前，Phi-3 Mini已經(jīng)在Azure、Hugging Face和Ollama等平臺上提供。微軟接下來還計劃發(fā)布功能更為強大的Phi-3 Small和Phi-3 Medium模型，它們分別擁有70億和140億個參數(shù)。