1 月 23 日消息,據(jù)晚點(diǎn) LatePost 報道,1 月下旬,字節(jié)正式設(shè)立代號為“Seed Edge”的研究項目,核心目標(biāo)是做比預(yù)訓(xùn)練和大模型迭代更長期、更基礎(chǔ)的 AGI 前沿研究,Seed Edge 已擬定 5 大研究方向。
下一代推理:探索更高效且更通用、提升模型推理能力的方法。
下一代感知:找到統(tǒng)一生成和理解表示的方法,表示和壓縮真實世界,構(gòu)建“世界模型”。
軟硬一體的模型設(shè)計:從軟硬一體出發(fā),探索 Transformer+GPU 之外的模型設(shè)計,發(fā)揮下一代硬件的能力。
下一代范式:在反向傳播、Transformer 架構(gòu)、預(yù)訓(xùn)練 + 對齊的模式之外,探索更高效的模型結(jié)構(gòu)和學(xué)習(xí)方法。
下一代 Scaling 方向:在預(yù)訓(xùn)練和推理階段的 Scaling Laws 之外,探索 Multi-Agent(多智能體)和 Test-Time Training(測試時間訓(xùn)練,動態(tài)調(diào)整模型參數(shù))等方向。
據(jù)了解,Seed Edge 會先以虛擬項目組的方式運(yùn)行,探索這些不確定性更強(qiáng)的研究方向。
過去一年,字節(jié)跳動密集發(fā)布了多款 AI 大模型產(chǎn)品。就在昨天,字節(jié)跳動還推出了豆包大模型 1.5 Pro,增強(qiáng)了其綜合能力,在知識、代碼、推理、中文等多個測評基準(zhǔn)上,據(jù)稱綜合得分優(yōu)于 GPT-4o、Claude 3.5 Sonnet 等模型。
字節(jié)跳動官方介紹稱,豆包大模型 1.5 Pro 宣稱“所有模型訓(xùn)練過程中,未使用任何其他模型生成的數(shù)據(jù)”。豆包大模型 1.5 全產(chǎn)品,包括 Doubao-1.5-pro,Doubao-1.5-lite,Doubao-1.5-vision-pro 等,將繼續(xù)保持原有模型價格不變,加量不加價。