ISP（Image Signal Processor，圖像處理器）是手機(jī)芯片系統(tǒng)中的重要組成部分，負(fù)責(zé)圖像處理部分。隨著智能手機(jī)市場(chǎng)的發(fā)展，我們正在看到越來(lái)越多的手機(jī)廠商在自研ISP。國(guó)外的重要手機(jī)廠商中，蘋果和三星一直在使用自研的ISP芯片模組，而谷歌再其Pixel系列手機(jī)中也用上了帶有眾多實(shí)驗(yàn)特性的自研ISP；而在中國(guó)的手機(jī)廠商中，我們也在看到越來(lái)越多的公司加入自研ISP的隊(duì)列。華為作為中國(guó)手機(jī)市場(chǎng)技術(shù)的領(lǐng)頭羊，其自研ISP早已落地在自己的手機(jī)系列中；此外，近些年來(lái)積極開發(fā)芯片的Oppo和Vivo也有消息正在自研ISP。最近，小米也加入了自研ISP的行列，可見無(wú)論是在國(guó)外還是國(guó)內(nèi)，手機(jī)廠商自研ISP正在成為主流。

　　為何手機(jī)廠商要自研ISP？

　　手機(jī)廠商自研ISP的最根本原因還是照相系統(tǒng)在手機(jī)中是一個(gè)極其重要的組成部分，同時(shí)拍照質(zhì)量也是決定手機(jī)消費(fèi)者體驗(yàn)的一個(gè)極重要的參數(shù)。每年的新手機(jī)發(fā)布會(huì)上，幾乎都離不開照相圖像質(zhì)量相關(guān)的內(nèi)容，而ISP則很大程度上決定了圖像質(zhì)量。

　　具體來(lái)說(shuō)，在手機(jī)的照相系統(tǒng)中，圖像傳感器（CIS）負(fù)責(zé)提供原始圖像，通常是RGGB RAW圖像。該原始圖像和用戶看到的最終圖像相差甚遠(yuǎn)，而需要大量的后續(xù)處理，這些處理通常包括自動(dòng)白平衡，去噪，tone mapping等等，而不同的ISP將直接決定最終圖像質(zhì)量。一般來(lái)說(shuō)，無(wú)論是使用自研的ISP還是使用第三方提供的ISP，在使用在手機(jī)上的時(shí)候都需要經(jīng)過(guò)大量的參數(shù)調(diào)整，即根據(jù)圖像傳感器和主要應(yīng)用場(chǎng)景，需要工程師去仔細(xì)調(diào)整ISP各個(gè)處理的參數(shù)甚至是算法，才能確保圖像質(zhì)量達(dá)到最優(yōu)。顯然，如果是手機(jī)廠商自研ISP，則可以更好地根據(jù)手機(jī)的目標(biāo)應(yīng)用場(chǎng)景和CIS等來(lái)實(shí)現(xiàn)協(xié)同設(shè)計(jì)，其最終的圖像質(zhì)量效果往往會(huì)好過(guò)使用第三方ISP然后再去調(diào)整ISP參數(shù)。

　　不同ISP參數(shù)對(duì)于圖像質(zhì)量影響巨大

　　另外，我們看到在手機(jī)應(yīng)用中，拍照的應(yīng)用場(chǎng)景正在越來(lái)越多。除了傳統(tǒng)的拍照之外，隨著直播、抖音等應(yīng)用的普及，越來(lái)越多的用戶正在成為這類視頻應(yīng)用的創(chuàng)作者，而這就讓越來(lái)越多的用戶對(duì)于圖像質(zhì)量有更高的需求。此外，在谷歌、蘋果等公司都在力推的AR應(yīng)用中，通常的使用方式都是用戶使用手機(jī)的照相機(jī)去拍攝真實(shí)世界的實(shí)時(shí)圖像，而AR應(yīng)用則把虛擬物件渲染疊加在真實(shí)世界的圖像上。例如，目前地圖類應(yīng)用中得到應(yīng)用的AR導(dǎo)航就是把路線指示疊加在用戶實(shí)時(shí)拍攝的真實(shí)世界圖像中，從而以一種更直觀的方式完成導(dǎo)航。隨著AR應(yīng)用得到更多應(yīng)用，我們認(rèn)為拍照也在獲得更多的使用時(shí)長(zhǎng)，因此對(duì)于ISP的功能、延遲和功耗等都提出了一定需求。為了能在越來(lái)越多的拍照應(yīng)用中實(shí)現(xiàn)差異化，手機(jī)廠商自研ISP也是順理成章。

　　最后，研發(fā)ISP芯片可以說(shuō)是手機(jī)廠商自研芯片路線圖中的一個(gè)重要里程碑。對(duì)于想要自研芯片的手機(jī)廠商來(lái)說(shuō)，ISP是一個(gè)極好的起步點(diǎn)：它的重要性高，一個(gè)好的ISP能幫助手機(jī)實(shí)現(xiàn)更好的拍照質(zhì)量從而與其他手機(jī)實(shí)現(xiàn)差異化；另一方面，它的開發(fā)難度相比modem等模塊來(lái)說(shuō)又較為簡(jiǎn)單，在可以將越來(lái)越多芯片設(shè)計(jì)環(huán)節(jié)外包的今天，我們認(rèn)為手機(jī)廠商開發(fā)ISP芯片無(wú)論是投入還是風(fēng)險(xiǎn)都比較小。因此，ISP可以說(shuō)是投入和風(fēng)險(xiǎn)較小，而潛在的回報(bào)又較大，因此很適合作為想要自研芯片的手機(jī)廠商的第一個(gè)芯片模組。

　　ISP的技術(shù)發(fā)展方向

　　ISP目前正在經(jīng)歷一個(gè)新的技術(shù)革新期，而這個(gè)技術(shù)革新的主要?jiǎng)恿?lái)自計(jì)算機(jī)視覺技術(shù)的新發(fā)展以及計(jì)算機(jī)視覺技術(shù)的新需求。我們將對(duì)這兩個(gè)方向分別分析。

　　首先，計(jì)算機(jī)視覺技術(shù)在這幾年革新很快：隨著機(jī)器學(xué)習(xí)技術(shù)和計(jì)算機(jī)視覺技術(shù)的結(jié)合，在這幾年中，我們看到了許多基于機(jī)器學(xué)習(xí)的算法正在取代傳統(tǒng)的機(jī)器視覺技術(shù)。舉例來(lái)說(shuō)，基于機(jī)器學(xué)習(xí)算法的超分辨、去噪、低光照?qǐng)鼍皥D像增強(qiáng)等都取得了遠(yuǎn)超傳統(tǒng)機(jī)器視覺算法的效果，而在未來(lái)幾年我們預(yù)計(jì)還將看到更多類似的新計(jì)算機(jī)視覺技術(shù)更新。因此，我們認(rèn)為基于機(jī)器學(xué)習(xí)的算法會(huì)越來(lái)越多地進(jìn)入手機(jī)的照相系統(tǒng)中，而這也會(huì)影響ISP芯片模組的設(shè)計(jì)。例如，之前許多ISP算法都是固化的算法模塊，不同的環(huán)節(jié)擁有不同的計(jì)算邏輯和電路；而隨著基于神經(jīng)網(wǎng)絡(luò)的機(jī)器學(xué)習(xí)算法逐漸取代傳統(tǒng)的ISP算法，我們可望看到在ISP中也會(huì)有越來(lái)越多的神經(jīng)網(wǎng)絡(luò)加速模塊——這些神經(jīng)網(wǎng)絡(luò)加速模塊根據(jù)具體設(shè)計(jì)可能會(huì)成為ISP中專用的模塊，也可以作為手機(jī)整體AI加速器的一部分，在ISP有需求的時(shí)候來(lái)完成相應(yīng)的算法加速。

　　另外，新的計(jì)算機(jī)視覺技術(shù)對(duì)于ISP也有新的需求。我們看到計(jì)算機(jī)視覺算法越來(lái)越多進(jìn)入手機(jī)和下一代智能設(shè)備——例如VR設(shè)備中就有基于這類算法的手部追蹤來(lái)完成人機(jī)交互，而這些算法算法對(duì)于圖像質(zhì)量的需求往往和人眼對(duì)于圖像質(zhì)量的需求不盡相同，例如算法需要的圖像分辨率常常在400x400以下，對(duì)于許多細(xì)節(jié)的噪聲等也不是很敏感；而另一方面這些基于計(jì)算機(jī)是覺得應(yīng)用常常需要照相系統(tǒng)長(zhǎng)時(shí)間打開（而不像傳統(tǒng)用戶主導(dǎo)的拍照通常只會(huì)開啟很短時(shí)間）。因此，對(duì)于這些應(yīng)用來(lái)說(shuō)，我們更希望ISP能在滿足算法對(duì)基本圖像質(zhì)量需求的同時(shí)，盡可能減少功耗，從而能滿足智能設(shè)備散熱以及電池使用時(shí)間的要求。類似的設(shè)計(jì)往往還需要結(jié)合一些圖像傳感器的特殊特性來(lái)設(shè)計(jì)——例如使用某些算法需要直接使用圖像傳感器的低幀率低分辨率模式，從而實(shí)現(xiàn)能效比的最優(yōu)化。

　　因此，我們認(rèn)為ISP技術(shù)將在未來(lái)幾年內(nèi)有較大的演進(jìn)，因此現(xiàn)在是手機(jī)廠商開始自研ISP的一個(gè)很好時(shí)間節(jié)點(diǎn)。

　　ISP市場(chǎng)將如何變化？

　　目前ISP芯片模組供應(yīng)商中，除了蘋果等自研廠商之外，其余的供應(yīng)商大致可以分為幾類。首先是高通這類的SoC供應(yīng)商在其SoC中已經(jīng)包括了ISP進(jìn)行打包銷售，但是ISP不會(huì)單獨(dú)銷售。另一類是提供ISP IP授權(quán)的供應(yīng)商，例如ARM和芯原等等。還有介于這兩類之間的設(shè)計(jì)服務(wù)提供商，例如Socionext等，他們擁有ISP模組設(shè)計(jì)，而客戶可以根據(jù)需求去對(duì)這些ISP模組進(jìn)行部分定制并集成在其整體芯片方案中。

　　隨著越來(lái)越多公司開始自研ISP，我們認(rèn)為設(shè)計(jì)服務(wù)提供商可能將會(huì)從中受益。首先，對(duì)于初次自研ISP的廠商來(lái)說(shuō)，從設(shè)計(jì)服務(wù)提供商的參考ISP設(shè)計(jì)出發(fā)，在這個(gè)基礎(chǔ)上加入一些定制化的特性將會(huì)是一種不錯(cuò)的方式。此外，無(wú)論是否要使用設(shè)計(jì)服務(wù)提供商的參考方案，廠商自研ISP通常都需要設(shè)計(jì)服務(wù)商提供的物理設(shè)計(jì)等服務(wù)，而這都有利于設(shè)計(jì)服務(wù)提供商。

　　對(duì)于ISP的IP提供商以及SoC整體供應(yīng)商來(lái)說(shuō)，手機(jī)廠商開始自研ISP意味著自己的客戶正在開始與自己競(jìng)爭(zhēng)，如果要繼續(xù)保持出貨量則可能需要在性能上做到提升，同時(shí)在價(jià)格上則可能要有更多讓步。對(duì)于高通這樣的SoC供應(yīng)商來(lái)說(shuō)，小米和Oppo等自研ISP的手機(jī)廠商仍然需要使用高通的SoC來(lái)實(shí)現(xiàn)主要功能，因此如何利用這一點(diǎn)來(lái)部分抵消客戶自研ISP的影響將成為重要的課題。