OPPO突圍AI底層技術(shù)，首顆自研影像NPU攪動AI產(chǎn)業(yè)。

　　如今每個人對于“AI”這個名詞或許都能聊上兩句。各類智能硬件設(shè)備不斷深度介入我們的生活中，大到智能汽車、小到一部手機。在智能硬件爆發(fā)的背后，AI算法也在快速迭代發(fā)展，算法模型越來越復(fù)雜，對于硬件的要求也更高，“AI芯片”這個概念也成為了近幾年來AI產(chǎn)業(yè)關(guān)注的焦點之一。

　　其實，能夠用于人工智能應(yīng)用、實現(xiàn)AI加速的模塊，都可以稱為廣泛意義上的AI芯片。比如我們大多數(shù)人手機處理器中的NPU（神經(jīng)網(wǎng)絡(luò)處理器）模塊，就是一種AI芯片。

　　就在兩天前，OPPO發(fā)布了自家第一個自研芯片，這是一個專門用于影像處理的NPU芯片，名為馬里亞納 X，與世界上最深的海溝“同名”，OPPO要趟自研芯片這最深的水。

　　面向AI應(yīng)用的全新DSA架構(gòu)、臺積電6nm先進工藝以及40倍的AI能效比提升，馬里亞納 X將手機計算影像推向了“4K+20bit RAW+AI+Ultra HDR”的時代，同時，也首次將AI影像算法與傳感器、SoC進行了垂直整合，完成了影像鏈路的閉環(huán)。

　　一句話來說，馬里亞納 X作為開發(fā)專用AI算法，到算力硬化全鏈路垂直整合能力標(biāo)準(zhǔn)對芯片，彌合了AI算法與硬件之間的鴻溝，成為加速AI算法落地的“橋梁”。

　　正如OPPO創(chuàng)始人兼首席執(zhí)行官陳明永所說，OPPO已經(jīng)走入了技術(shù)研發(fā)的“深水區(qū)”， 對于OPPO來說，馬里亞納 X的落地證明了OPPO自研芯片的技術(shù)與能力，而對于AI產(chǎn)業(yè)來說，馬里亞納 X或許為AI在移動領(lǐng)域的加速落地提供了新的思路。

　　01.AI能效比暴漲40倍，算法落地視頻成為可能，DSA架構(gòu)劍指計算影像

　　從芯片技術(shù)架構(gòu)來看，常見的AI芯片主要有通用芯片（CPU、GPU）、半定制化芯片（FPGA）、全定制化芯片（ASIC）、類腦芯片以及軟件定義硬件芯片五大類。

　　馬里亞納 X這枚NPU主要用于手機影像計算領(lǐng)域，相對來說應(yīng)用更專一，并且芯片專門為提升OPPO手機的影像體驗而定制對專用AI芯片，其中既有接近ASIC芯片的專用性而帶來的超高效率，同時又具備AISC所沒有的靈活性。

　　目前通用手機SoC中都包含了ISP（圖像信號處理）模塊，顧名思義，ISP的主要作用是對圖像傳感器采集到的信息進行處理，它也是一種ASIC芯片，但大都集成于手機SoC中。而ISP與馬里亞納 X最核心的區(qū)別就在于ISP并不具備AI性能，在SoC中必須要依靠另外的AI計算單元來配合。例如蘋果A系列芯片的ISP，也需要依賴整個芯片的Neural Engine提供AI的算力支持。

　　馬里亞納 X的AI算力達到了18TOPS，已經(jīng)可以比肩蘋果A15，而在峰值算力強勁的同時，實現(xiàn)較好的能效是OPPO更加看重的，這一點在手機這類移動設(shè)備上顯得尤為重要。

　　馬里亞納 X能夠做到11.6TOPS/W的能效比，這是移動設(shè)備中罕見的兩位數(shù)對能效比性能，意味著手機能夠在消耗既定電量都條件下，能夠處理更加大量的數(shù)據(jù)。

　　值得一提的是，該結(jié)果是基于真實落地商用的復(fù)雜AI算法和隨機生成圖片得來，實際上，如果基于現(xiàn)實世界的人像、風(fēng)景等真實圖片進行處理，馬里亞納 X的能效比還會更高。與搭載驍龍888的Find X3 Pro進行對比，馬里亞納 X運行OPPO自研AI降噪模型的性能可以達到40FPS，大約是OPPO Find X3的20倍。

　　在此基礎(chǔ)上，馬里亞納 X的功耗僅有800毫瓦，僅為OPPO Find X3上驍龍888的一半，因此能效比達到了40倍，這種提升無疑是一種“質(zhì)變式”的。

　　實際上，雖然手機計算攝影發(fā)展多年，但大多數(shù)AI算法仍然只能針對單張或者多張照片進行處理，比如AI美顏、AI夜景拍照的后處理，本質(zhì)上依然是以時間換計算，如果要算的更多，那意味著消費者往往需要在拍攝后等待更久的處理。

　　但這樣的算法，面對需要實時處理大量視頻拍攝卻很難應(yīng)用。因為在視頻拍攝中，AI算法運行最低性能門檻也要有30FPS，這意味著芯片需要提供30倍以上的性能，才能讓后處理的算法，能夠?qū)崟r去運行。

　　可以說，馬里亞納 X讓算法在視頻端的應(yīng)用從不可能變?yōu)榱丝赡?，這對于AI算法應(yīng)用效果的提升來說是“從量變到質(zhì)變”?；谶@樣的AI性能及高能效比，馬里亞納 X在手機影像領(lǐng)域?qū)崿F(xiàn)了諸多突破。

　　比如在成像的動態(tài)范圍方面，馬里亞納 X最高能夠支持20bit Ultra HDR成像、覆蓋100萬：1的最大亮度范圍，這樣的能力已經(jīng)媲美“人眼級”，也是目前行業(yè)中如驍龍8、天璣9000這類主流移動SoC HDR能力的4倍。

　　根據(jù)OPPO給出的拍攝樣例對比可以看到，在人像拍攝和靜物拍攝兩類場景中，采用馬里亞納 X方案的機型拍出的視頻，可以明顯提升暗部的細節(jié)，同時高光部分也沒有過曝現(xiàn)象。

　　在強勁AI性能和對影像體驗的直觀改善背后，馬里亞納 X芯片在架構(gòu)層面也進行了大膽突破。馬里亞納 X采用了AI時代的DSA架構(gòu)理念，簡單來說，DSA就是“應(yīng)用在特定領(lǐng)域的架構(gòu)”，馬里亞納 X的“特定領(lǐng)域”，顯然就是手機計算影像。

　　目前在通用手機SoC中也有用于提升AI算力的模塊，不同的廠商或許叫法不同，但可以廣泛地看作一類通用NPU，這種通用NPU要兼顧很多不同場景中的算法模型。相比之下，馬里亞納 X的DSA架構(gòu)更加專用，針對OPPO自研的AI模型去硬化對應(yīng)的算子，這也是OPPO影像專用芯片與傳統(tǒng)NPU的核心區(qū)別之一。

　　可以看到，OPPO在通過一種“專芯專用”的芯片設(shè)計思路，彌合傳統(tǒng)硬件和AI算力鴻溝。而在核心的AI性能領(lǐng)域，馬里亞納 X已經(jīng)具備足夠能力突破目前手機計算攝影的“天花板”。

　　02.AI賦能千行百業(yè)之下，OPPO成AI賽道黑馬

　　馬里亞納 X的發(fā)力點是手機計算影像，而放眼整個AI行業(yè)，AI落地的大潮已經(jīng)在千行百業(yè)中快速滲透?！癆I芯片將無處不在”的預(yù)言正在成為現(xiàn)實。

　　從智能手機到智能家居，從數(shù)據(jù)中心到邊緣設(shè)備，我們的生活正在被AI芯片全面入侵。僅僅在智能手機領(lǐng)域，AI技術(shù)已經(jīng)深入移動游戲、視覺識別、音頻交互、通信優(yōu)化、智能充電等各個角落。

　　業(yè)內(nèi)通常將AI產(chǎn)業(yè)分為應(yīng)用層、技術(shù)層和基礎(chǔ)層，其實OPPO目前面向萬物互融時代的“3+N+X”戰(zhàn)略，包含了軟件硬件基礎(chǔ)技術(shù)、AI技術(shù)以及以充電、影像為代表的差異化技術(shù)，在AI產(chǎn)業(yè)的應(yīng)用層和技術(shù)層，OPPO已有較多儲備。而此次的馬里亞納 X，顯然是OPPO面向AI芯片領(lǐng)域的一次大膽探索和前瞻性布局，AI芯片也是目前AI產(chǎn)業(yè)基礎(chǔ)層中愈發(fā)重要的一環(huán)。

　　在AI芯片中的通用CPU、GPU領(lǐng)域，由于GPU擅長重復(fù)性高的大規(guī)模并行計算任務(wù)，因此可以作為AI加速器使用。在這一領(lǐng)域，英偉達因其成熟高效的GPU解決方案，在AI訓(xùn)練芯片市場中獨領(lǐng)風(fēng)騷，其各類AI加速器產(chǎn)品在業(yè)內(nèi)被廣泛應(yīng)用于云端和終端側(cè)。

　　▲NVIDIA A100 GPU

　　如英偉達、AMD、英特爾這樣的頭部玩家，通過定制化CPU和GPU提供AI加速器解決方案，成為了全球AI領(lǐng)域基礎(chǔ)設(shè)施建設(shè)的最大獲益者，不過他們的產(chǎn)品鮮有涉及移動端，主要以面向桌面端平臺為主。在移動端，手機AI芯片目前還主要以NPU模塊的形式存在于通用手機SoC中，這也與手機的算力需求以及功耗要求密切相關(guān)。

　　由于能效比要求更高，并且定制化需求更加“千人千面”，移動端也需要有針對性的AI芯片產(chǎn)品出現(xiàn)。從過去兩年來看，手機AI芯片市場格局基本穩(wěn)定，由蘋果、華為、高通三大巨頭牢牢把控高端市場，聯(lián)發(fā)科、展銳等廠商在中端及入門級市場中表現(xiàn)亮眼。

　　但實際上，隨著手機功能越來越豐富，以計算影像為代表的應(yīng)用場景對于算力和功耗的要求越來越苛刻，這些通用手機AI芯片應(yīng)對某個特定領(lǐng)域的AI需求已經(jīng)有些捉襟見肘。

　　此時OPPO無疑成為了手機AI芯片領(lǐng)域的一位新晉玩家，用三年時間，經(jīng)過上千人研發(fā)團隊的努力，終于將馬里亞納 X這枚影像專用NPU帶到了我們的視野中，并即將于明年落地在旗艦級Find X系列中。

　　除了對于AI產(chǎn)業(yè)基礎(chǔ)層AI芯片的突破，OPPO也把握住了一次AI產(chǎn)業(yè)中的重要趨勢變革，也就是軟硬件的深度結(jié)合，將算法寫入硬件中，做“硬件級的算法”，也一直是OPPO致力實現(xiàn)的目標(biāo)。在終端AI芯片在移動領(lǐng)域的應(yīng)用側(cè)，OPPO在特定領(lǐng)域率先實現(xiàn)了突破。與其說OPPO在做一個影像專用NPU芯片，不如說OPPO在用一種新的思路，實現(xiàn)AI算法在終端側(cè)的加速實現(xiàn)。

　　03.結(jié)語：OPPO亮劍AI芯片產(chǎn)業(yè)

　　馬里亞納 X以其強勁的AI算力和AI能效比，顯著提升了手機計算影像的體驗，同時也用軟硬件深度結(jié)合、專芯專用的思路和方式，準(zhǔn)確切入了AI芯片賽道，成為終端AI芯片產(chǎn)業(yè)的一位新晉玩家。在AI強勢侵入并顛覆各個傳統(tǒng)領(lǐng)域的同時，AI芯片正在云計算、手機、安防監(jiān)控、智能家居、自動駕駛等場景上演新的群雄爭霸賽。終端AI芯片戰(zhàn)場格局復(fù)雜，新老玩家、跨界玩家交融，各展其華，而OPPO也走出了一條屬于自己芯片之路。

　　作者 |  云鵬

　　編輯 |  漠影