自Pixel 2以來,Google一直在其智能手機(jī)中包含自己的配套芯片組,以改善攝影和其他功能。不過,隨著Google確認(rèn)其最新的旗艦智能手機(jī)Pixel 5中放棄了Neural Core,谷歌似乎已經(jīng)結(jié)束了這一趨勢(shì)。
Pixel Neural Core是Pixel Visual Core的后繼產(chǎn)品。兩種芯片組均由Google制造,旨在改善攝影效果。特別是在神經(jīng)核心上,谷歌還使用該芯片來加快面部劫奪,谷歌助手和Pixel 4上的其他新功能。
不過,谷歌的Pixel“ a”系列基本上證實(shí)了確實(shí)不需要添加芯片。Pixel 3a和4a在拍攝和處理速度方面都與Pixel 3和Pixel 4差不多,但是令人驚訝的是,Pixel 5的規(guī)格列表中缺少了自制芯片組。
谷歌在接受Android Police采訪時(shí)證實(shí),Pixel 5和Pixel 4a 5G都缺乏神經(jīng)核心。谷歌還提到,通過優(yōu)化,Pixel 5的Snapdragon 765G能夠保持與Pixel 4“相似”的相機(jī)性能。
兩款新手機(jī)都沒有Pixel Neural Core,也沒有面部解鎖功能。
這是否意味著Pixel Neural Core永遠(yuǎn)消失了?可能不是。谷歌已經(jīng)提到它將在未來的硬件中恢復(fù)Soli,因此可以肯定的是,神經(jīng)核心也將最終回歸。不過,值得注意的是,兩款新Pixel仍提供Titan M芯片以確保安全性。
延伸閱讀:谷歌手機(jī)上的這顆芯片或?qū)⒏淖兪謾C(jī)攝影行業(yè)
谷歌的上一代手機(jī)Pixel 3被譽(yù)為最佳拍照手機(jī)是有原因的。因?yàn)镚oogle在上面使用了其HDR +軟件包中的軟件算法來處理像素,當(dāng)當(dāng)這些與一點(diǎn)機(jī)器學(xué)習(xí)結(jié)合使用時(shí),一些非常壯觀的照片可能來自具有標(biāo)準(zhǔn)配置硬件的手機(jī)。
為了幫助處理這些算法,谷歌使用了一種被稱為Pixel Visual Core的專用處理器,這是我們于2017年首次在Pixel 2上看到的芯片。今年看來,谷歌似乎已經(jīng)用一種稱為Pixel Neural Core的東西代替了Pixel VIsual Core。
據(jù)知乎用戶Chenjie Luo介紹,Pixel 1的HDR+是在高通的HVX加速器上跑的,因?yàn)镠VX不是針對(duì)圖像處理設(shè)計(jì),所以速度很慢。為了達(dá)到快速連拍的用戶體驗(yàn),google camera做了一個(gè)圖像緩存,把camera sensor的每一幀都存在內(nèi)存里,排隊(duì)處理HDR。這樣一代的Pixel用戶就不會(huì)察覺HDR處理的時(shí)間。但是這種處理方式帶來了一個(gè)問題:像Instagram這樣的第三方拍照共享的app需要所拍即所得,用戶是不能等好幾秒HDR做完了再p圖分享的。所以在一代上,HDR+是google camera app獨(dú)有的功能,不能用在第三方app上。由于這個(gè)原因以及老板的滿腔熱血,就催生了Pixel Visual Core來硬件加速HDR+,這樣第三方的app就可以瞬間完成HDR+計(jì)算得到處理后的照片。實(shí)測(cè)效果驚艷,特別是在高光照對(duì)比下前后景都非常清晰,不會(huì)出現(xiàn)臉部過暗的照片。這個(gè)芯片牛逼的地方就在于8個(gè)IPU core是可以編程的,不完全是一個(gè)ASIC,所以有很多其他的應(yīng)用場(chǎng)景。當(dāng)時(shí)設(shè)計(jì)這個(gè)芯片的初衷就是做個(gè)全能的圖像處理芯片,HDR+是第一個(gè)showcase。
最初的Pixel Visual Core旨在加速Google的HDR +圖像處理使用的算法,這就使得Pixel 2和Pixel 3拍攝的照片看起來很棒。它使用了一些機(jī)器學(xué)習(xí)程序和所謂的計(jì)算攝影來智能地填充不太完美的照片部分。而實(shí)際上效果也真的很好;它允許帶有現(xiàn)成相機(jī)傳感器的手機(jī)拍攝的照片質(zhì)量更優(yōu)。
如果我們相信Pixel Neural Core,那么Pixel 4將再一次爭(zhēng)奪智能手機(jī)攝影領(lǐng)域的頭把交椅。
神經(jīng)網(wǎng)絡(luò)
看來Google正在使用以神經(jīng)網(wǎng)絡(luò)技術(shù)為模型的芯片,以改善其2019年P(guān)ixel手部的圖像處理能力。神經(jīng)網(wǎng)絡(luò)是您可能會(huì)聽到不止一兩次的內(nèi)容,但該概念并不經(jīng)常被解釋。相反,它看起來像是一些類似于魔術(shù)的Google級(jí)計(jì)算機(jī)。事實(shí)并非如此,而神經(jīng)網(wǎng)絡(luò)背后的想法實(shí)際上很容易使您的頭腦很容易混亂。
神經(jīng)網(wǎng)絡(luò)是根據(jù)人類大腦建模的算法組。它“效仿”的并不是大腦的外觀甚至工作原理,而是大腦如何處理信息的方法。神經(jīng)網(wǎng)絡(luò)通過所謂的機(jī)器感知(通過機(jī)器傳感器等外部傳感器收集和傳輸?shù)臄?shù)據(jù))獲取感官數(shù)據(jù),并識(shí)別。
這些數(shù)據(jù)是稱為向量的數(shù)字。來自“真實(shí)”世界的所有外部數(shù)據(jù)(包括圖像,聲音和文本)都被轉(zhuǎn)換為矢量,并被分類和分類為數(shù)據(jù)集。我們可以將神經(jīng)網(wǎng)絡(luò)視為存儲(chǔ)在計(jì)算機(jī)或電話上的事物之上的額外層,該層包含有關(guān)其含義的數(shù)據(jù)——它的外觀,聽起來像什么,它說什么以及何時(shí)發(fā)生。建立目錄后,可以對(duì)新數(shù)據(jù)進(jìn)行分類并與之進(jìn)行比較。
一個(gè)真實(shí)的例子可以使這一切解析得更清楚。NVIDIA生產(chǎn)的處理器非常擅長(zhǎng)運(yùn)行神經(jīng)網(wǎng)絡(luò)。該公司花費(fèi)了大量時(shí)間將貓的照片掃描并復(fù)制到網(wǎng)絡(luò)中,一旦完成,通過神經(jīng)網(wǎng)絡(luò)的計(jì)算機(jī)集群就可以在其中包含貓的任何照片中識(shí)別出貓。小型貓,大型貓,白色貓,印花布貓,甚至山獅或老虎都是貓,這主要是因?yàn)樯窠?jīng)網(wǎng)絡(luò)擁有關(guān)于貓“是”什么的大量數(shù)據(jù)。
考慮到該示例,我們不難理解Google為什么要在手機(jī)內(nèi)部利用這種功能。這些能夠與大量數(shù)據(jù)鏈接的神經(jīng)核心將能夠識(shí)別相機(jī)鏡頭所看到的內(nèi)容,然后決定要做什么。也許有關(guān)其所見和所期望的數(shù)據(jù)可以傳遞給圖像處理算法?;蛘撸梢詫⑾嗤臄?shù)據(jù)輸入給Assistant來識(shí)別毛衣或蘋果?;蛘撸苍S您可以比Google現(xiàn)在更快,更準(zhǔn)確地翻譯書面文本。
毫不費(fèi)吹灰之力地認(rèn)為Google可以設(shè)計(jì)一種可以與神經(jīng)網(wǎng)絡(luò)和電話內(nèi)的圖像處理器接口的小型芯片,并且很容易理解為什么要這樣做。我們不確定確切地說是Pixel Neural Core是什么,或者可能用于什么用途,但是一旦“正式”發(fā)布時(shí),一旦看到手機(jī)及其實(shí)際細(xì)節(jié),我們肯定會(huì)知道更多。