2 月 28 日消息，MIT News 于 2 月 26 日發(fā)布博文，報道稱麻省理工學院（MIT）聯(lián)合英偉達等機構，發(fā)布“馴服長尾”（TLT）技術，可以大幅提升推理大語言模型（LLM）的訓練效率。

援引博文介紹，推理大模型擅長通過拆解步驟來解決復雜問題，但在強化學習（RL）的訓練過程中，算力與能耗的消耗極為巨大。

研究團隊發(fā)現(xiàn)，生成多個備選答案的“推演”（rollout）階段占據(jù)了高達 85% 的訓練時間。由于不同處理器生成回答的長度不一，完成較快的處理器只能被迫閑置，等待其他處理器完成長文本任務，從而形成了嚴重的效率瓶頸。

MIT 研究人員為解決該痛點，聯(lián)合英偉達、蘇黎世聯(lián)邦理工學院等機構，提出了一種名為“馴服長尾（TLT）”的自適應解決方案。

該方案的核心在于創(chuàng)新性地運用“投機解碼”技術，即訓練一個較小的“草稿模型”（drafter）來快速預測大模型的未來輸出，隨后由大模型批量驗證這些猜測。這樣一來，大模型無需逐個順序生成輸出，從而大幅加快了處理進程。

在傳統(tǒng)的投機解碼中，草稿模型通常只訓練一次并保持靜態(tài)。然而在強化學習中，主模型需要更新數(shù)千次，靜態(tài)草稿模型會迅速失效。

因此，TLT 系統(tǒng)引入了“自適應草稿訓練器”。一旦部分處理器完成短查詢進入閑置狀態(tài)，系統(tǒng)會立即調(diào)度它們實時訓練草稿模型。

同時，“自適應推演引擎”會根據(jù)工作負載特征自動調(diào)整解碼策略，確保草稿模型始終與目標大模型保持高度同步，且不增加額外算力開銷。

基于真實世界數(shù)據(jù)集的測試表明，TLT 技術在保持模型準確率完全無損的情況下，將多個推理大語言模型的訓練速度提升了 70% 到 210%。

不僅如此，訓練得到的輕量級草稿模型還可以作為免費的副產(chǎn)品，直接用于后期的高效部署。研究團隊未來計劃將該技術融入更多訓練與推理框架中，進一步降低 AI 開發(fā)成本并提升能源利用率。