有公司做了十多年ISP，也沒(méi)有進(jìn)入行業(yè)一流水平。

　　過(guò)去十多年，中國(guó)的手機(jī)廠(chǎng)商們借高通和聯(lián)發(fā)科的SoC芯片，推動(dòng)了智能手機(jī)的普及，同時(shí)也躋身全球手機(jī)行業(yè)的前列。然而，隨著手機(jī)市場(chǎng)競(jìng)爭(zhēng)的加劇，以及消費(fèi)者對(duì)手機(jī)使用體驗(yàn)的更高追求，通用的手機(jī)SoC成為了手機(jī)巨頭們提升競(jìng)爭(zhēng)力的瓶頸。

　　于是，小米、OPPO、VIVO相繼走上了自研芯片的道路，他們的終極目標(biāo)是自研SoC芯片，但當(dāng)下都聚焦ISP（Image Signal Processor，圖像信號(hào)處理器）的研發(fā)。手機(jī)巨頭們?yōu)槭裁炊歼x擇從自研ISP芯片入門(mén)？消費(fèi)者需求、手機(jī)廠(chǎng)商的技術(shù)積累、ISP的技術(shù)特性、手機(jī)市場(chǎng)的未來(lái)趨勢(shì)等都是關(guān)鍵原因，這也是本文將詳細(xì)解答的問(wèn)題。

　　至于手機(jī)巨頭們自研芯片能否成功？多位業(yè)內(nèi)資深人士都告訴雷鋒網(wǎng)，這在于手機(jī)廠(chǎng)商的決心。

　　“困”在芯片里的手機(jī)巨頭，踏上自研之路

　　2013年12月，中國(guó)開(kāi)啟4G時(shí)代。三年后的2016年，國(guó)產(chǎn)手機(jī)開(kāi)始全面崛起，這一年，蘋(píng)果和三星在中國(guó)的市場(chǎng)份額開(kāi)始下降，華為、OPPO和VIVO的市場(chǎng)份額高速增長(zhǎng)，小米也憑借超高性?xún)r(jià)比迅速占領(lǐng)市場(chǎng)。

　　兩大市場(chǎng)研究機(jī)構(gòu)Counterpoint和canalys 2021年第二季度的數(shù)據(jù)顯示，小米、OPPO、VIVO位列全球五大手機(jī)廠(chǎng)商之列，分別排名第二、第三和第五位，合計(jì)市場(chǎng)份額超過(guò)35%。小米創(chuàng)始人董事長(zhǎng)兼首席執(zhí)行官雷軍更是在近日放出豪言，“5至10年后，小米會(huì)成世界第一的手機(jī)公司?！?/p>

　　躋身全球前五的三大手機(jī)廠(chǎng)商們有一個(gè)共同點(diǎn)，每一代手機(jī)功能的重大提升都與高通、聯(lián)發(fā)科當(dāng)年最新的SoC的特性密切相關(guān)。這也讓他們面臨一個(gè)共同的挑戰(zhàn)，在增長(zhǎng)乏力的手機(jī)市場(chǎng)，想要實(shí)現(xiàn)性能和體驗(yàn)的差異被芯片制約。

　　自研芯片是一條被證明可行的路徑，蘋(píng)果、華為和三星都通過(guò)自研芯片實(shí)現(xiàn)了差異化，并成功占領(lǐng)了高端手機(jī)市場(chǎng)。實(shí)際上，要沖擊世界第一的小米早在2014年就踏上了芯片自研之路，在2017年發(fā)布了首款手機(jī)SoC澎湃S1，但體驗(yàn)不盡人意。

　　有業(yè)內(nèi)人士對(duì)雷鋒網(wǎng)表示：“澎拜S1失敗一個(gè)非常關(guān)鍵的原因是太急于求成。”

　　研發(fā)SoC受挫，小米又在2019年研發(fā)了一款I(lǐng)SP芯片澎湃C1，這款芯片與2021年3月發(fā)布的小米折疊屏手機(jī)MIX FOLD同時(shí)亮相，能夠?qū)崿F(xiàn)更好的3A（自動(dòng)對(duì)焦，自動(dòng)白平衡，自動(dòng)曝光）處理，自研ISP+自研算法也順勢(shì)成為這款旗艦手機(jī)的一大賣(mài)點(diǎn)。

　　這邊MIX FOLD已經(jīng)開(kāi)賣(mài)，那邊OPPO和VIVO也在自研芯片的道路上快步前行。

　　2019年9月，VIVO執(zhí)行副總裁胡柏山透露其在2018年初就開(kāi)始考慮深度參與SoC的設(shè)計(jì)中，并在當(dāng)年年底發(fā)布了與三星聯(lián)合研發(fā)的SoC芯片Exynos 980。雖然已經(jīng)深度參與SoC研發(fā)，但自研才是VIVO的目標(biāo)。界面新聞7月報(bào)道，VIVO內(nèi)部代號(hào)“悅影”的首款自研芯片即將推出，可能也是ISP芯片，將會(huì)在X70系列手機(jī)上首發(fā)。

　　OPPO公布自研芯片的進(jìn)展相對(duì)較晚，2020年2月OPPO CEO特別助理發(fā)布內(nèi)部文章提出了芯片、軟件開(kāi)發(fā)、云服務(wù)的三大計(jì)劃，其中芯片項(xiàng)目名為“馬里亞納計(jì)劃”。有消息人士爆料，OPPO自研的首款芯片也是ISP芯片，將在2022年初上市的Find X4系列手機(jī)上首發(fā)。

　　這就意味著，“困”在第三方手機(jī)SoC里的三大手機(jī)巨頭，明年將會(huì)進(jìn)入新一輪的芯片比拼。但為什么是ISP芯片？

　　自研ISP的四大理由

　　自2017年全球手機(jī)市場(chǎng)增速開(kāi)始下降，手機(jī)廠(chǎng)商們的競(jìng)爭(zhēng)就愈加激烈。今日頭條發(fā)布的2018年手機(jī)行業(yè)營(yíng)銷(xiāo)白皮書(shū)指出，2018年手機(jī)功能營(yíng)銷(xiāo)的競(jìng)爭(zhēng)點(diǎn)趨于集中，AI類(lèi)特性有8個(gè)、屏幕類(lèi)5個(gè)、解鎖方式和配色各4個(gè)，其中，AI功能又以AI拍照和攝影類(lèi)居多。

　　此后的三年間，手機(jī)行業(yè)對(duì)于攝像頭的關(guān)注只增不減，2020騰訊手機(jī)行業(yè)洞察白皮書(shū)指出，消費(fèi)者對(duì)攝像頭、用途和電池的關(guān)注度顯著提升，其中攝像頭的關(guān)注度增長(zhǎng)率僅次于操作系統(tǒng)。

　　“影像系統(tǒng)其實(shí)是一個(gè)很長(zhǎng)的鏈條，包括前端傳感器、鏡頭、馬達(dá)，承載圖像處理的核心部件——ISP芯片，以及后端標(biāo)定和調(diào)優(yōu)等過(guò)程?！卑仓\科技高級(jí)產(chǎn)品經(jīng)理柴衛(wèi)華對(duì)雷鋒網(wǎng)表示。

　　“相同的鏡頭和傳感器經(jīng)過(guò)不同的ISP，也會(huì)有不同的效果?！睈?ài)芯科技ISP負(fù)責(zé)人、系統(tǒng)架構(gòu)師張興同時(shí)表示，“ISP的價(jià)值是提升圖像質(zhì)量。但I(xiàn)SP是非標(biāo)準(zhǔn)化的芯片IP，既有客觀(guān)的性能指標(biāo)，比如攝像頭的數(shù)量、分辨率幀率、帶寬、功耗、延遲等。也有比較難以完全客觀(guān)化的圖像評(píng)價(jià)指標(biāo)，包括亮度指標(biāo)（動(dòng)態(tài)范圍、對(duì)比度、曝光準(zhǔn)確和速度等）、色彩相關(guān)指標(biāo)（飽和度、色彩準(zhǔn)確度、悅目程度等）、清晰度等。從經(jīng)驗(yàn)中來(lái)，關(guān)于圖像主觀(guān)和客觀(guān)的測(cè)試，大概有40-60種甚至更多?！?愛(ài)芯科技是一家AI視覺(jué)芯片創(chuàng)業(yè)公司，AI ISP是其自研技術(shù)之一。

　　雖然對(duì)于好畫(huà)質(zhì)很難有統(tǒng)一的標(biāo)準(zhǔn)，但亮度、色彩和清晰度也有一些客觀(guān)指標(biāo)，比如有標(biāo)準(zhǔn)的顏色模型衡量色差。“在客觀(guān)指標(biāo)達(dá)到一定程度之后，客戶(hù)通常也會(huì)根據(jù)不同的需求去調(diào)整主觀(guān)指標(biāo)。ISP的一個(gè)特點(diǎn)是有很多的可調(diào)參數(shù)，工程師可以調(diào)整設(shè)計(jì)好的ISP硬件參數(shù)以適應(yīng)不同的環(huán)境。一款好的通用ISP，要提供有足夠靈活性和具備可擴(kuò)展性?！辈裥l(wèi)華指出。

　　影像功能是消費(fèi)者關(guān)注的重點(diǎn)，而ISP是實(shí)現(xiàn)差異化的關(guān)鍵，并且手機(jī)出貨量巨大，自研芯片如果成功最終可以轉(zhuǎn)化為整機(jī)的成本優(yōu)勢(shì)，這是手機(jī)巨頭們選擇自研ISP的初始動(dòng)力，也是第一個(gè)理由。

　　“華為能夠用自研的NPU+ISP實(shí)現(xiàn)獨(dú)具特色的AI拍照功能，相比之下，使用高通和聯(lián)發(fā)科SoC的手機(jī)廠(chǎng)商發(fā)揮的空間會(huì)受到限制?！币举Y本投資總監(jiān)于光說(shuō)，“由于硬件迭代的周期比較長(zhǎng)，手機(jī)廠(chǎng)商的需求也不能被快速滿(mǎn)足，特別是差異化的需求，自研ISP芯片實(shí)現(xiàn)硬件和軟件的緊密結(jié)合是一個(gè)不錯(cuò)的選擇?！?/p>

　　張興進(jìn)一步解釋?zhuān)琁SP一旦設(shè)計(jì)完成，可供調(diào)的參數(shù)大致就確定了，但是這些參數(shù)是有限的，如果想要提供調(diào)試出所有風(fēng)格的可調(diào)參數(shù)，芯片面積又會(huì)很大到無(wú)法承受，這中間需要進(jìn)行平衡。

　　想要實(shí)現(xiàn)差異化的手機(jī)廠(chǎng)商們，在影像系統(tǒng)領(lǐng)域有了多年的積累，也就有了自研ISP的底氣，這也是手機(jī)廠(chǎng)商選擇自研ISP的第二個(gè)理由。

　　研發(fā)ISP芯片的可行性是手機(jī)廠(chǎng)商堅(jiān)定邁入自研芯片之路的關(guān)鍵，也是第三個(gè)理由。億智電子創(chuàng)始人兼CEO陳峰說(shuō)：“由于ISP芯片更加專(zhuān)用，研發(fā)ISP在生態(tài)上的限制小很多。研發(fā)ISP的主要挑戰(zhàn)主要有三點(diǎn)：由于圖像算法每年都有新的方法，技術(shù)在不斷迭代；另外，圖像的效果需要在滿(mǎn)足圖像測(cè)試客觀(guān)指標(biāo)之外，也需要在主觀(guān)效果可調(diào)整性上下功夫；最后是需要適應(yīng)不同的場(chǎng)景，ISP要能夠做到自適應(yīng)調(diào)整好各個(gè)環(huán)境下的參數(shù)。”

　　芯片公司最寬的護(hù)城河就是生態(tài)，既然ISP芯片的生態(tài)限制相對(duì)較小，再加上手機(jī)廠(chǎng)商在算法以及對(duì)場(chǎng)景需求的理解上已經(jīng)有豐富的經(jīng)驗(yàn)，并且已經(jīng)各有特色，特別是在場(chǎng)景適應(yīng)方面，手機(jī)廠(chǎng)商都有豐富的經(jīng)驗(yàn)。

　　手機(jī)廠(chǎng)商研發(fā)ISP，還有適應(yīng)未來(lái)視頻攝影+AI功能競(jìng)爭(zhēng)的長(zhǎng)遠(yuǎn)價(jià)值，這是第四個(gè)理由。

　　“手機(jī)廠(chǎng)商已經(jīng)在拍照中享受到了AI算法帶來(lái)的好處，包括超級(jí)夜景、AI美顏等功能，從趨勢(shì)來(lái)看未來(lái)幾年，AI拍照最火的幾個(gè)功能會(huì)從拍照推向視頻。這就需要一顆高效的AI ISP芯片，以及將AI算法和傳統(tǒng)ISP進(jìn)行更好的結(jié)合?！睆埮d認(rèn)為。

　　柴衛(wèi)華也認(rèn)為：“隨著短視頻的需求發(fā)展，手機(jī)也越來(lái)越重視視頻拍攝的性能。視頻流對(duì)于ISP除了有畫(huà)質(zhì)的要求之外，非常重要的挑戰(zhàn)就是實(shí)時(shí)性。要實(shí)時(shí)處理4K甚至8K視頻的海量數(shù)據(jù)，呈現(xiàn)完美的影像效果，處理器性能、算法優(yōu)異、存儲(chǔ)帶寬和與系統(tǒng)延遲都是挑戰(zhàn)?！?/p>

　　AI是提升拍照和視頻效果的關(guān)鍵。陳峰指出，目前AI與ISP結(jié)合主要有兩種形式，一種是ISP For AI，這種結(jié)合方式主要用于檢測(cè)或識(shí)別功能的產(chǎn)品，目標(biāo)是保證檢測(cè)或識(shí)別的準(zhǔn)確率，比如人臉門(mén)禁以及輔助駕駛。另一種是AI For ISP，這種結(jié)合是用AI替換ISP中的一個(gè)或多個(gè)圖像增強(qiáng)算法，在包括HDR（高動(dòng)態(tài)范圍）、夜景降噪、超級(jí)分辨率等方面有較好的效果。

　　“近幾年，手機(jī)業(yè)界發(fā)現(xiàn)在目前AI算力的支持下，AI算法已經(jīng)超越了傳統(tǒng)ISP算法的效果，因此目前主流的趨勢(shì)是用AI算法替代一個(gè)傳統(tǒng)算法，或者將AI算法與傳統(tǒng)算法結(jié)合。”張興進(jìn)一步表示，“要充分發(fā)揮NPU算力與ISP結(jié)合的價(jià)值，實(shí)現(xiàn)真正意義上的AI ISP，需要在設(shè)計(jì)的最初就將兩個(gè)IP結(jié)合起來(lái)設(shè)計(jì)。如果是買(mǎi)來(lái)的IP，兩者結(jié)合實(shí)現(xiàn)好的功能難度很大，即便實(shí)現(xiàn)，也會(huì)有大量的功耗和芯片面積的浪費(fèi)。”

　　陳峰具體指出，“在視頻應(yīng)用領(lǐng)域，效果稍微好的AI降噪算法，實(shí)時(shí)處理1080p@30fps視頻就需要10Tops以上的算力，目前這種應(yīng)用方案還比較少?！?/p>

　　總體看來(lái)，消費(fèi)者對(duì)手機(jī)更好拍照和攝影功能的追求是原動(dòng)力，在手機(jī)廠(chǎng)商有手機(jī)多年影像技術(shù)積累的前提下，自研ISP芯片成為了手機(jī)廠(chǎng)商可實(shí)現(xiàn)的目標(biāo)，而將AI+ISP的能力從拍照延伸至視頻領(lǐng)域能夠提升手機(jī)廠(chǎng)商當(dāng)下和未來(lái)的競(jìng)爭(zhēng)力。自研ISP芯片自然成了手機(jī)廠(chǎng)商們不約而同的選擇。

　　沖擊高端成敗的關(guān)鍵在“決心”

　　接下來(lái)的關(guān)注點(diǎn)是，自研ISP芯片到底能帶來(lái)哪些不同？已經(jīng)發(fā)布的小米澎湃C1，官方的說(shuō)法是自研ISP將數(shù)字信號(hào)處理效率提升100%，可以進(jìn)行更精細(xì)、更先進(jìn)的3A處理。

　　業(yè)內(nèi)一位資深人士說(shuō)：“澎湃C1實(shí)際上是一個(gè)協(xié)處理器，或者說(shuō)Pre-ISP，在SoC ISP前進(jìn)行圖像處理，相對(duì)而言會(huì)比較容易處理，能夠輔助處理一些特定場(chǎng)景的應(yīng)用。不過(guò)，由于是在SoC外單獨(dú)增加了一顆芯片，因此無(wú)論是成本還是功耗都會(huì)有所增加?！?/p>

　　至于實(shí)際的使用體驗(yàn)是否有明顯的速度和質(zhì)的提升，還需要更多的用戶(hù)反饋。

　　手機(jī)廠(chǎng)商的自研ISP要從賣(mài)點(diǎn)真正轉(zhuǎn)化為差異化優(yōu)勢(shì)，ISP團(tuán)隊(duì)非常重要。“ISP的發(fā)展一直在進(jìn)步，遠(yuǎn)還沒(méi)到成熟的階段。要設(shè)計(jì)出有競(jìng)爭(zhēng)力的ISP芯片，取決于隊(duì)伍自身的成熟性。有公司做了十多年ISP，也沒(méi)有進(jìn)入行業(yè)的一流水平。當(dāng)然，這也與一家公司對(duì)于ISP的認(rèn)知以及投入有很大的關(guān)系?！睆埮d表示。

　　業(yè)內(nèi)資深人士也表示，“手機(jī)廠(chǎng)商自研芯片成敗的關(guān)鍵在于投入的決心，特別是SoC。”

　　但國(guó)內(nèi)整個(gè)芯片行業(yè)都缺人才，想要組建有豐富經(jīng)驗(yàn)的ISP團(tuán)隊(duì)挑戰(zhàn)巨大。柴衛(wèi)華說(shuō)：“ISP研究與發(fā)展涉及到算法、電路設(shè)計(jì)、系統(tǒng)整合、器件調(diào)較、畫(huà)質(zhì)調(diào)優(yōu)等多方面。因此相應(yīng)的人才要求不僅專(zhuān)，而且廣，除了需要掌握數(shù)學(xué)、物理、計(jì)算機(jī)、集成電路的知識(shí)，還需要有光學(xué)、顏色等學(xué)科知識(shí)。國(guó)內(nèi)在這一領(lǐng)域的積累還比較有限，所以相關(guān)人才也比較缺乏?！?/p>

　　“國(guó)內(nèi)在手機(jī)ISP領(lǐng)域有豐富經(jīng)驗(yàn)的人才本來(lái)就比較有限，不過(guò)現(xiàn)在華為海思的不穩(wěn)定，展銳也有一些相關(guān)的人才，這都是其它公司獲取人才的機(jī)會(huì)?！睒I(yè)內(nèi)資深人士表示。

　　“即便能設(shè)計(jì)出有競(jìng)爭(zhēng)力的ISP。要讓消費(fèi)者對(duì)手機(jī)廠(chǎng)商的自研芯片有認(rèn)知也需要時(shí)間，我認(rèn)為這至少需要2-3代的迭代?！?一位芯片行業(yè)的分析師對(duì)雷鋒網(wǎng)表示，“我認(rèn)為小米和OPPO自研芯片從現(xiàn)金流的角度會(huì)更有優(yōu)勢(shì)，而VIVO挑戰(zhàn)會(huì)更大一些?！?/p>

　　該分析師同時(shí)表示：“自研ISP主要會(huì)用于高端手機(jī)，因此對(duì)高通的影響可能會(huì)大一些?！?/p>

　　有意思的是，聯(lián)發(fā)科在今年七月份發(fā)布了天璣5G開(kāi)放架構(gòu)的平臺(tái)，基于其旗艦SoC為手機(jī)廠(chǎng)商提供更接近底層的開(kāi)放資源，包括相機(jī)、顯示器、圖形、AI處理單元、傳感器和無(wú)線(xiàn)連接等子系統(tǒng)。這既可以理解為順應(yīng)手機(jī)廠(chǎng)商自研芯片追求差異化的趨勢(shì)，也可以理解為阻擋手機(jī)廠(chǎng)商自研SoC的舉措。

　　無(wú)論如何，自研芯片都是手機(jī)廠(chǎng)商站上手機(jī)市場(chǎng)金字塔頂端的必選項(xiàng)，但這條路在時(shí)間、技術(shù)和資本投入方面都充滿(mǎn)挑戰(zhàn)，高通和聯(lián)發(fā)科在手機(jī)SoC領(lǐng)域都有幾十年的積累，蘋(píng)果和華為也是經(jīng)歷十多年的努力和迭代才取得了如今的成就，而小米、OPPO、VIVO才剛剛開(kāi)始。

　　小米ISP芯片架構(gòu)師左坤隆在《強(qiáng)國(guó)基石》的紀(jì)錄片中透露，ISP只是小米自研芯片的起點(diǎn)，其SoC同樣也在研發(fā)中。

　　據(jù)悉，小米和OPPO都在上海大力招聘芯片人才，有消息稱(chēng)OPPO芯片團(tuán)隊(duì)的人數(shù)已經(jīng)超過(guò)千人。他們是要直接要研發(fā)一款SoC芯片還是會(huì)研發(fā)其它單芯片？上述分析師認(rèn)為電源管理芯片是不錯(cuò)的選擇，因?yàn)榭斐湟彩鞘謾C(jī)的一大賣(mài)點(diǎn)。

　　于光指出，在電源管理芯片市場(chǎng)已經(jīng)有一些不錯(cuò)的創(chuàng)業(yè)公司，手機(jī)巨頭們?cè)谶@一領(lǐng)域也已經(jīng)投資了多家公司。

　　熱鬧過(guò)后，誰(shuí)會(huì)是下一個(gè)擁有自研SoC高端手機(jī)玩家？

　　作者 | 包永剛

　　編輯 | 李帥飛