眾所周知，虛擬（VR）和增強現(xiàn)實（AR）設(shè)備本質(zhì)上是希望將用戶直接“放置”在另一個環(huán)境、世界和體驗中。這些技術(shù)所承諾的身臨其境式體驗非常受消費者的歡迎，不過該領(lǐng)域還有一種特殊的技術(shù)——全息顯示器，它可以帶來更接近現(xiàn)實生活的沉浸式體驗。
根據(jù)外媒Science Daily報道，為了設(shè)計開發(fā)出這種沉浸式效果更好的顯示器，斯坦福計算成像實驗室結(jié)合了他們在光學(xué)和人工智能方面的專業(yè)知識。他們在該領(lǐng)域的最新進展，以論文的形式在11月12日的《科學(xué)進展》期刊上作了詳細(xì)介紹，另外該研究成果也會發(fā)表于12月的SIGGRAPH ASIA 2021上。
圖1. 全息顯示設(shè)備原型，圖片來源：斯坦福計算成像實驗室
這項研究的背景是這樣一個事實，即當(dāng)前的增強現(xiàn)實和虛擬現(xiàn)實顯示器只能傳遞給每個觀眾以一幅2D圖像，而不是我們在現(xiàn)實世界中看到的3D或全息圖像。
“它們在感知上并不現(xiàn)實，”電氣工程副教授兼斯坦福計算成像實驗室負(fù)責(zé)人戈登·韋茨斯坦 （Gordon Wetzstein）解釋說。韋茨斯坦和他的同事們正在努力開發(fā)一種新的解決方案，這種方案一方面可以彌合上述模擬與現(xiàn)實畫面之間的差距，另一方面還可以讓畫面顯示更具視覺吸引力。
發(fā)表在《科學(xué)進展》期刊上的研究論文，詳細(xì)介紹了一種減少激光全息顯示器常見散斑問題的技術(shù)。而發(fā)表在SIGGRAPH Asia上的論文提出了一種新的技術(shù)，它可以更真實地表示3D場景畫面。
橋接模擬畫面與現(xiàn)實場景
幾十年來，現(xiàn)有全息顯示器的圖像質(zhì)量一直不佳，受到很多固有問題的限制。正如韋茨斯坦教授所解釋的那樣，研究人員一直面臨著如何將全息顯示器的顯示質(zhì)量提高到LCD顯示器水準(zhǔn)的問題。
其中一個困難問題是，研究人員在設(shè)計上很難以全息圖的分辨率控制光波的形狀。另外一個阻礙高圖像質(zhì)量全息顯示器設(shè)計的問題是，如何讓模擬環(huán)境中發(fā)生的場景和真實環(huán)境中的相同場景看起來完全一樣，沒有差別。
此前，無數(shù)科學(xué)家們都曾嘗試通過不同的算法構(gòu)建來解決上述兩個重要問題。韋茨斯坦教授和他同事們的基本方案還是從算法開發(fā)出發(fā)，不過，不一樣的是他們使用了一種稱作神經(jīng)網(wǎng)絡(luò)的算法，這是一種試圖模仿人類大腦學(xué)習(xí)信息方式的人工智能形式，他們稱之為“神經(jīng)全息技術(shù)”。
“人工智能已經(jīng)徹底改變了工程及其他領(lǐng)域的幾乎所有方面，”韋茨斯坦說，“但在全息顯示或計算機生成全息（Computer-generated Holography）這一特定領(lǐng)域，人們才剛剛開始探索使用這種人工智能技術(shù)來幫助優(yōu)化設(shè)計?！?/p>
斯坦福計算成像實驗室的博士后研究員Yifan Peng正在利用他在光學(xué)和計算機科學(xué)方面的跨學(xué)科背景來幫助設(shè)計全息顯示用光學(xué)引擎。
“直到最近，隨著機器智能創(chuàng)新的出現(xiàn)，我們現(xiàn)在能夠使用強大的工具和能力來利用計算機技術(shù)的進步助力我們的研究，”該論文的共同作者Yifan Peng說道。
這些研究人員開發(fā)的神經(jīng)全息顯示器，通過對神經(jīng)網(wǎng)絡(luò)的訓(xùn)練在全息顯示器中模擬真實世界發(fā)生的物理現(xiàn)象，進而獲得實時的全息3D圖像。然后，他們將其與環(huán)形校準(zhǔn)（Loop Calibration Strategy）相機相結(jié)合，這種環(huán)形校準(zhǔn)策略可以提供實時反饋和相應(yīng)的調(diào)整改善。通過創(chuàng)建與所見圖像實時運行的算法和校準(zhǔn)技術(shù)，研究人員最終創(chuàng)建出具有更好色彩重現(xiàn)能力、對比度、清晰度的逼真視覺效果。
發(fā)表于SIGGRAPH Asia的這篇論文，重點介紹了斯坦福計算成像實驗室首次將其神經(jīng)全息系統(tǒng)應(yīng)用于3D場景顯示的過程。該系統(tǒng)以非常高的畫面質(zhì)量和逼真程度顯示了包含豐富深度信息的場景畫面，這些場景畫面的顯示體現(xiàn)了預(yù)定的失焦效果。
《科學(xué)進展》期刊上的研究論文中，研究人員所呈現(xiàn)工作同樣使用了環(huán)形校準(zhǔn)策略，結(jié)合了一種受人工智能啟發(fā)的算法，最終開發(fā)出一種使用部分相干光源（LED和SLED）的改善版全息顯示系統(tǒng)。這些光源的成本非常低、外形尺寸緊湊且能耗低，這些都是研究人員對此產(chǎn)生興趣的原因。另外，相對于傳統(tǒng)基于相干光源（如激光）的傳統(tǒng)全息顯示系統(tǒng)，這種新的系統(tǒng)還能夠讓顯示畫面免于散斑問題。
不過，這種方案同時也會伴隨帶來一些問題，比如光源的非相干特性會讓所顯示圖像變得模糊，對比度降低。針對這一問題，研究人員提出了一種針對非相干光源物理特性的算法，并利用這種算法，基于普通LED和SLED制作出第一張高質(zhì)量且無散斑的全息2D和3D圖像。
變革行業(yè)的潛力
韋茨斯坦教授和Peng博士都認(rèn)為，未來幾年，新興人工智能技術(shù)和虛擬現(xiàn)實、增強現(xiàn)實的結(jié)合將會在許多行業(yè)中變得越來越普遍。
韋茨斯坦教授說，“總的來說，我非常相信可穿戴計算系統(tǒng)以及虛擬現(xiàn)實和增強現(xiàn)實顯示的未來。我認(rèn)為這些技術(shù)會對人們的生活產(chǎn)生變革性的影響”。他認(rèn)為，這一點也許不會出現(xiàn)在未來的幾年，但肯定是未來的“大趨勢”。
雖然增強現(xiàn)實和虛擬現(xiàn)實技術(shù)現(xiàn)在主要用于游戲等應(yīng)用，但潛在應(yīng)用還包括醫(yī)學(xué)等領(lǐng)域。實際上，醫(yī)學(xué)生現(xiàn)在可以使用增強現(xiàn)實技術(shù)進行培訓(xùn)，也可以將來自CT掃描和MRI的醫(yī)學(xué)數(shù)據(jù)直接疊加到患者身上。
“每年，這些類型的技術(shù)已經(jīng)用于數(shù)千次手術(shù)，”韋茨斯坦教授說，“我們認(rèn)為更小、更輕、視覺更舒適的頭戴式顯示器將是未來手術(shù)項目的重要組成部分?！?/p>
“看到研究人員使用這種新的計算成像方法，在相同的硬件條件下提高全息顯示質(zhì)量是非常令人興奮的，”英偉達的訪問學(xué)者，同時也是上面兩篇論文的合作者Jonghyun Kim說道，“這種新的計算成像方法可以產(chǎn)生更好的顯示效果，在未來可以改變顯示行業(yè)的游戲規(guī)則。”
