近日,美國康奈爾大學(xué)團(tuán)隊(duì)給光學(xué)計(jì)算機(jī)成功減了肥,讓它縮小了 90% 以上,但性能卻幾乎沒有下降。這意味著我們距離一個(gè)萬物智能的世界更近了,比如智能手表有望搭載一個(gè)能以光速思考的 AI 助手,汽車可能擁有匹敵人類的視覺系統(tǒng)。
相關(guān)論文的第一作者、康奈爾大學(xué)博士后李彥棟開發(fā)出針對(duì)光學(xué)系統(tǒng)的模型壓縮與簡化策略,將光學(xué)神經(jīng)網(wǎng)絡(luò)的物理尺寸縮小到傳統(tǒng)設(shè)計(jì)的 1%–10%, 同時(shí)保持推理準(zhǔn)確率基本不變。
研究進(jìn)一步表明,隨著光學(xué)計(jì)算系統(tǒng)體積的增大,其推理準(zhǔn)確率的提升會(huì)逐漸趨緩,需要不斷擴(kuò)大架構(gòu)規(guī)模,才能獲得有限的性能提升。這意味著,在許多應(yīng)用場(chǎng)景中,通過優(yōu)化結(jié)構(gòu)與資源分配,在有限尺寸內(nèi)實(shí)現(xiàn)高效計(jì)算,往往比單純追求更大規(guī)模更為關(guān)鍵。

(來源:https://www.nature.com/articles/s41467-025-63453-8)
在傳統(tǒng)電子計(jì)算中,信息以電壓的形式存在,通過晶體管在電路中不斷調(diào)控來完成運(yùn)算。而在光計(jì)算中,信息被編碼在光的物理特征中,例如光的強(qiáng)度、相位、偏振和頻率。這些光信號(hào)在器件內(nèi)部或不同光學(xué)器件之間傳播時(shí),會(huì)嚴(yán)格按照物理規(guī)律發(fā)生變化。正是這些受控的物理變化過程,本身就構(gòu)成了一種模擬計(jì)算。更重要的是,這些光學(xué)器件并非一成不變。通過設(shè)計(jì)或調(diào)控器件的結(jié)構(gòu)和參數(shù),人們可以讓光在傳播過程中執(zhí)行特定的數(shù)學(xué)運(yùn)算,從而實(shí)現(xiàn)所需要的計(jì)算功能。
隨著 AI,尤其是大模型的快速發(fā)展,計(jì)算系統(tǒng)正面臨能耗、速度等多方面的挑戰(zhàn)。光計(jì)算正是在這些關(guān)鍵維度上,展現(xiàn)出獨(dú)特的潛在優(yōu)勢(shì)。
首先是能效優(yōu)勢(shì)。與電信號(hào)在金屬導(dǎo)線中傳輸相比,光在許多材料中的傳播損耗要低得多。在計(jì)算規(guī)模足夠大的情況下,例如超大規(guī)模矩陣運(yùn)算,用于調(diào)控光學(xué)器件的能耗相對(duì)于整體計(jì)算來說可以忽略不計(jì)。這使得光計(jì)算在大規(guī)模計(jì)算任務(wù)中,具備顯著優(yōu)于傳統(tǒng)電子計(jì)算的能效潛力。
然后是信息通量優(yōu)勢(shì)。光在信息承載能力上具有天然優(yōu)勢(shì)。在空間維度上,自由空間光學(xué)系統(tǒng)可以輕松支持上百萬個(gè)空間模式同時(shí)調(diào)控;在頻譜維度上,光的帶寬處于太赫茲量級(jí),可支持成百上千個(gè)頻域模式并行處理。
最后是速度優(yōu)勢(shì)。光計(jì)算的運(yùn)算速度,本質(zhì)上由光穿過器件的時(shí)間決定。雖然在現(xiàn)代電子處理器中,電信號(hào)的傳播速度本身也接近光速。但在處理光信號(hào)時(shí),電子處理器仍然需要進(jìn)行光電轉(zhuǎn)換。光計(jì)算的關(guān)鍵優(yōu)勢(shì)在于:當(dāng)輸入信號(hào)本身就是光時(shí),可以用光學(xué)器件對(duì)其直接進(jìn)行處理,從而避免光電轉(zhuǎn)換所帶來的時(shí)間延遲。這種低延遲特性在 AI 視覺相關(guān)應(yīng)用中非常關(guān)鍵,例如自動(dòng)駕駛、增強(qiáng)現(xiàn)實(shí)和具身智能等場(chǎng)景。

(來源:https://www.nature.com/articles/s43588-024-00657-w)
既然光計(jì)算優(yōu)勢(shì)顯著,尤其適合超大規(guī)模計(jì)算,為什么還沒有在實(shí)際系統(tǒng)中廣泛應(yīng)用?一個(gè)重要原因是,現(xiàn)有光計(jì)算設(shè)備往往體積較大。
光計(jì)算系統(tǒng)依賴特定形式的非定域性:某個(gè)輸出結(jié)果需要依賴來自多個(gè)空間位置的輸入信息。這要求光在器件內(nèi)部進(jìn)行橫向的信息交換,而不僅僅是沿傳播方向前進(jìn)。
在復(fù)雜計(jì)算任務(wù)中,不同輸出依賴的輸入?yún)^(qū)域往往高度重疊。為了避免相互干擾,系統(tǒng)需要支持大量互相獨(dú)立的橫向傳播通道,而這些并行通道通常只能通過增加器件厚度來實(shí)現(xiàn)。因此,隨著計(jì)算復(fù)雜度的提高,光計(jì)算設(shè)備往往不可避免地變得更厚、更大。

(來源:https://www.nature.com/articles/s41467-025-63453-8)
李彥棟的研究靈感,來自 AI 領(lǐng)域廣泛應(yīng)用的神經(jīng)網(wǎng)絡(luò)剪枝。在 AI 中,剪枝通過刪除冗余或不重要的參數(shù)與連接,在盡量保持性能不變的前提下,顯著降低模型規(guī)模和計(jì)算復(fù)雜度,已成為邊緣計(jì)算和大模型加速的關(guān)鍵技術(shù)。
但在光學(xué)計(jì)算中,真正需要“剪掉”的并不是參數(shù)數(shù)量,而是整個(gè)系統(tǒng)的物理尺寸。圍繞這一核心問題,李彥棟針對(duì)兩種主流光學(xué)平臺(tái)——自由空間光路和光子芯片——提出了面向物理約束的剪枝策略。
在自由空間光路中,要讓器件變薄,關(guān)鍵在于讓每個(gè)輸出主要依賴附近的局域輸入,而不是與整個(gè)輸入平面耦合,即限制光所需的橫向“信息交換范圍”?;谶@一物理直覺,他在訓(xùn)練過程中引導(dǎo)光學(xué)神經(jīng)網(wǎng)絡(luò)形成“本地稀疏結(jié)構(gòu)”,通過懲罰遠(yuǎn)距離連接并重新排列神經(jīng)元位置,將非定域連接壓縮到局部區(qū)域。結(jié)合常規(guī)權(quán)重剪枝后,器件厚度可降至傳統(tǒng)設(shè)計(jì)的 2%–25%,同時(shí)顯著改善規(guī)模定律(Scaling Law):計(jì)算規(guī)模擴(kuò)大 100 倍,器件厚度僅增加約 10 倍,而不再是傳統(tǒng)設(shè)計(jì)的線性 100 倍增長。
在光子芯片平臺(tái)上,若所有輸入與輸出完全耦合,所需器件數(shù)量會(huì)隨規(guī)模平方增長,成為小型化瓶頸。對(duì)此,他提出將計(jì)算結(jié)構(gòu)引導(dǎo)為塊對(duì)角形式,把高度耦合的運(yùn)算拆分為多個(gè)相互獨(dú)立的小模塊。這種設(shè)計(jì)雖然犧牲了部分全局耦合,但模型性能基本保持,同時(shí)所需器件數(shù)量大幅下降,使系統(tǒng)的規(guī)模定律從平方級(jí)改善為準(zhǔn)線性。在超大規(guī)模計(jì)算場(chǎng)景下,相比傳統(tǒng)設(shè)計(jì),所需器件數(shù)量可減少約 99%,為超大規(guī)模片上光計(jì)算提供了可行路徑。
在嚴(yán)格證明規(guī)模定律改進(jìn)的同時(shí),李彥棟將這套剪枝策略應(yīng)用到實(shí)際的光學(xué)神經(jīng)網(wǎng)絡(luò)中,設(shè)計(jì)了小型化的光子芯片模塊,用于替換目標(biāo)檢測(cè)模型 Faster R-CNN 中的大規(guī)模矩陣運(yùn)算。通過將這部分計(jì)算轉(zhuǎn)移到光學(xué)模塊,60% 以上的 GPU 側(cè)參數(shù)被移除,顯著減輕了 GPU 的計(jì)算負(fù)擔(dān)。

(來源:李彥棟)
小型化、可擴(kuò)展光學(xué)神經(jīng)網(wǎng)絡(luò)的突破,并不是終點(diǎn),而是新的起點(diǎn)。它引出了更深層次的問題:從信息論的角度,應(yīng)該如何理解光學(xué)系統(tǒng)的計(jì)算與信息處理能力?
與此同時(shí),李彥棟也期待這一方向能夠催生新的應(yīng)用范式——將光計(jì)算視為一種全新的計(jì)算資源,或許可以像量子計(jì)算一樣,構(gòu)建基于光學(xué)計(jì)算的云平臺(tái),讓更多研究者和開發(fā)者能夠低門檻地接觸、試用,并開發(fā)直接適配光學(xué)硬件的高效算法。
“小型化光學(xué)系統(tǒng)的設(shè)計(jì),仍然高度依賴我們對(duì)物理規(guī)律和系統(tǒng)約束的理解?!崩顝澅硎?,“我希望模型能夠自主‘理解’物理規(guī)律、任務(wù)目標(biāo)、資源投入與回報(bào),進(jìn)而演化為具備完全自動(dòng)優(yōu)化能力的智能體,讓算法與物理系統(tǒng)協(xié)同進(jìn)化,為未來的智能硬件打開更大的想象空間。”

