首先是自動(dòng)駕駛/輔助駕駛領(lǐng)域。機(jī)器視覺(jué)是自動(dòng)駕駛/輔助駕駛的支柱技術(shù)，如果沒(méi)有機(jī)器視覺(jué)那么這些新的智能駕駛技術(shù)恐怕都很難成功。在自動(dòng)駕駛/輔助駕駛領(lǐng)域，ISP扮演著重要的角色。ISP負(fù)責(zé)把原始影像（RAW Image）作相應(yīng)處理，使之成為能夠更好地被機(jī)器視覺(jué)模型處理的圖像。在這個(gè)過(guò)程中，為了確保自動(dòng)駕駛/輔助駕駛技術(shù)的可靠性，需要確保在低光照等情況下機(jī)器視覺(jué)模型也能正確工作，這就需要ISP能對(duì)于圖像做夜視和降噪處理。傳統(tǒng)上可以通過(guò)提高曝光時(shí)間來(lái)降低噪聲的影響，然而對(duì)于自動(dòng)駕駛/輔助駕駛這類對(duì)于延遲非常敏感的場(chǎng)景，提高曝光時(shí)間并非一個(gè)有用的選項(xiàng)，這就需要ISP能夠使用下一代降噪和夜視技術(shù)來(lái)滿足相應(yīng)的需求。

　　在自動(dòng)駕駛/輔助駕駛之外，安防也是對(duì)于ISP技術(shù)有新需求的新智能場(chǎng)景。安防場(chǎng)景中，也需要處理各種低光照等場(chǎng)景，為了確保成像質(zhì)量不受影響，也需要ISP能很好地處理這些場(chǎng)景，從而確保安防監(jiān)控能真正在所有時(shí)間段和所有場(chǎng)景下都能提供保護(hù)。

　　最后，在多媒體場(chǎng)景下（如手機(jī)等），拍攝也在越來(lái)越智能化，用戶對(duì)于拍攝成像質(zhì)量的需求也在逐漸提升，除了和前述相似的夜景拍攝之外，還有各種智能化的需求，包括自動(dòng)場(chǎng)景識(shí)別（從而能夠根據(jù)場(chǎng)景自動(dòng)調(diào)用最佳的傳感器設(shè)定），自動(dòng)人臉檢測(cè)（從而確保自動(dòng)曝光和對(duì)焦等算法的準(zhǔn)確性），超分辨（從而實(shí)現(xiàn)更好的遠(yuǎn)距離拍攝）等等。這些都要么需要對(duì)原有的ISP功能做改進(jìn)，要么就是需要ISP引入新的功能，從而確保用戶體驗(yàn)。

　　人工智能能解決ISP的技術(shù)挑戰(zhàn)

　　在前述的智能化應(yīng)用中，事實(shí)上使用新一代的人工智能神經(jīng)網(wǎng)絡(luò)往往是夜視、場(chǎng)景識(shí)別、人臉檢測(cè)、超分辨等的最佳解決方案。

　　從夜視降噪來(lái)說(shuō)，目前的最優(yōu)解決方案就是使用神經(jīng)網(wǎng)絡(luò)來(lái)完成降噪。由于噪聲是一個(gè)隨機(jī)過(guò)程，因此很難有解析的公式來(lái)完成降噪；而是用神經(jīng)網(wǎng)絡(luò)則可以通過(guò)收集大量的同一個(gè)場(chǎng)景的低光照／高光照照片對(duì)來(lái)實(shí)現(xiàn)訓(xùn)練，確保神經(jīng)網(wǎng)絡(luò)能在訓(xùn)練數(shù)據(jù)集上能夠?qū)⒌凸庹照掌瑪M合到高光照照片上，這樣當(dāng)訓(xùn)練數(shù)據(jù)量足夠大的時(shí)候，該神經(jīng)網(wǎng)絡(luò)就能夠有很好的泛化能力，從而在所有的場(chǎng)景下都能夠完成夜視降噪。如下圖所示，右邊使用人工智能神經(jīng)網(wǎng)絡(luò)的解決方案效果遠(yuǎn)遠(yuǎn)好于傳統(tǒng)ISP的夜視降噪方案。

　　除了夜視降噪之外，超分辨是人工智能另一個(gè)有顯著優(yōu)勢(shì)的場(chǎng)景。超分辨和夜視降噪一樣，很難對(duì)于整個(gè)問(wèn)題做數(shù)學(xué)上的建模，但是通過(guò)大量數(shù)據(jù)的學(xué)習(xí)，神經(jīng)網(wǎng)絡(luò)可以實(shí)現(xiàn)非常好的超分辨效果，其效果遠(yuǎn)遠(yuǎn)超過(guò)普通的數(shù)字變焦，從而可以以較低的硬件成本（無(wú)需高倍鏡頭）就能實(shí)現(xiàn)很好的用戶體驗(yàn)。

　　最后，對(duì)于場(chǎng)景識(shí)別、人臉檢測(cè)等功能來(lái)說(shuō)，本來(lái)人工智能就已經(jīng)在這類場(chǎng)景得到大量的廣泛應(yīng)用，因此把相關(guān)的模型使用到ISP相關(guān)的領(lǐng)域，讓ISP來(lái)根據(jù)模型的輸出來(lái)做相關(guān)的拍攝參數(shù)調(diào)整，也是自然不過(guò)的選擇。值得注意的是，場(chǎng)景識(shí)別和人臉檢測(cè)使用神經(jīng)網(wǎng)絡(luò)的準(zhǔn)確度會(huì)比使用其他傳統(tǒng)方法高許多（判斷錯(cuò)誤的概率甚至可以低一個(gè)數(shù)量級(jí)），因此未來(lái)使用人工智能也是自然的方向。

　　人工智能與ISP的整合

　　回到芯片設(shè)計(jì)的角度，為了在ISP中加入人工智能的元素，就需要對(duì)于ISP做相應(yīng)的調(diào)整，來(lái)和人工智能做整合。

　　眾所周知，這一代的基于神經(jīng)網(wǎng)絡(luò)的人工智能的一個(gè)重要特點(diǎn)是神經(jīng)網(wǎng)絡(luò)參數(shù)多，計(jì)算量大，因此為了滿足ISP的相關(guān)需求，需要能有一個(gè)能高效處理人工智能計(jì)算的相應(yīng)模塊（AI引擎）來(lái)滿足ISP的需求。同時(shí)需要注意的是，由于ISP對(duì)于延遲和功耗都有需求，因此AI引擎也必須考慮這兩方面的因素。

　　為此，有兩種不同的ISP整合人工智能解決方案。第一種方案是把ISP和AI引擎整合到一起，在同一個(gè)IP模塊里面。這樣做的好處在于ISP和AI引擎耦合度較高，因此能夠通過(guò)ISP和AI引擎的協(xié)同優(yōu)化來(lái)實(shí)現(xiàn)較高的延遲和功耗。舉例來(lái)說(shuō)，ISP往往是一個(gè)流水線，處理像素的時(shí)候也是分批處理（而不會(huì)一直是等到所有像素都傳到之后再處理）；另一方面，基于卷積神經(jīng)網(wǎng)絡(luò)的AI模型也可以利用類似的流水線特性，將像素分批處理。通過(guò)將ISP和AI引擎深度整合在一起，就可以協(xié)同設(shè)計(jì)這樣的流水線，從而實(shí)現(xiàn)更好的延遲。另外，神經(jīng)網(wǎng)絡(luò)和ISP事實(shí)上對(duì)于DRAM訪問(wèn)都有很高的需求，如果能夠?qū)SP和AI引擎通過(guò)深度整合來(lái)協(xié)同優(yōu)化內(nèi)存訪問(wèn)的調(diào)度，從而確保兩者不會(huì)同時(shí)大量訪問(wèn)內(nèi)存，將會(huì)大大減少對(duì)于DRAM帶寬的壓力。然而，這樣設(shè)計(jì)的問(wèn)題在于AI引擎只能被ISP調(diào)用，因此如果ISP不工作的時(shí)候，AI引擎事實(shí)上就不會(huì)被打開，從而就有了dark silicon（芯片面積浪費(fèi)）的問(wèn)題；另外ISP和AI引擎的協(xié)同設(shè)計(jì)很多時(shí)候是假設(shè)AI引擎會(huì)跑幾個(gè)固定的模型，如果想要更新模型的話類似的硬件上固化的設(shè)計(jì)就不再是最優(yōu)的了。

　　除了深度整合之后，另一種設(shè)計(jì)思路是將ISP和AI引擎分開，但是確保ISP可以AI引擎之間有順暢的數(shù)據(jù)通路，同時(shí)確保ISP有高優(yōu)先級(jí)調(diào)用AI引擎。這樣的好處是AI引擎不會(huì)被浪費(fèi)，就是ISP不啟動(dòng)的時(shí)候也可以給其他應(yīng)用調(diào)用；另外可以靈活配置使用在AI引擎中的模型，從而讓ISP中使用的神經(jīng)網(wǎng)絡(luò)模型可以使用軟件控制。當(dāng)然，由于ISP和AI引擎耦合度較低，這樣也較難深度地為ISP和AI引擎做協(xié)同優(yōu)化，從而在延遲和能效比方面將會(huì)有一定成本。

　　我們認(rèn)為，在這兩種整合模式中，如果目標(biāo)產(chǎn)品本身就是一塊ISP芯片，那么顯然第一種整合方式是最合理的，因?yàn)镮SP芯片的首要目標(biāo)就是高性能高能效比，而且其AI引擎本來(lái)就不會(huì)被系統(tǒng)中的其它模塊所調(diào)用。另一方面，如果目標(biāo)產(chǎn)品是ISP IP的話，那么兩種整合方式都有其合理性，對(duì)于追求性能的高端ISP IP，我們認(rèn)為更有可能會(huì)在ISP中集成一個(gè)較為強(qiáng)力的AI引擎，確保高性能高能效比；對(duì)于中端的ISP IP，未來(lái)的方向可能是在ISP IP中整合進(jìn)一個(gè)較為基本的AI引擎，來(lái)確保基本的相關(guān)模型可以運(yùn)行，同時(shí)也會(huì)在ISP上留夠接口，使得ISP能通過(guò)片內(nèi)互聯(lián)的方式來(lái)訪問(wèn)SoC上的其他AI引擎，從而如果需要運(yùn)行較大的模型時(shí)候可以使用其他的AI引擎實(shí)現(xiàn)。

　　AI ISP在芯片業(yè)界已經(jīng)漸成主流

　　AI ISP事實(shí)上已經(jīng)得到了半導(dǎo)體業(yè)界的重視，相關(guān)的產(chǎn)品已經(jīng)漸漸問(wèn)世。

　　去年年底，海思就宣布推出了下一代用于安放場(chǎng)景的越影ISP芯片，其主要的亮點(diǎn)就是通過(guò)與AI引擎的深度整合，實(shí)現(xiàn)夜視降噪的高效處理。同樣是在去年，Oppo發(fā)布了自研的馬里亞納ISP芯片，其主要特點(diǎn)也是通過(guò)整合高達(dá)18TOPS算力的AI引擎，從而實(shí)現(xiàn)4K影像的實(shí)時(shí)夜視降噪，從而為手機(jī)用戶帶來(lái)全新的用戶體驗(yàn)。

　　在今年，也有越來(lái)越多的廠商推出了AI ISP。今年年初，安霸在CES上發(fā)布了AISP，該產(chǎn)品充分利用了安霸在圖像和AI領(lǐng)域的積累，從而實(shí)現(xiàn)高效的下一代ISP；上個(gè)月，芯原也推出了AI-ISP的IP，同樣是針對(duì)夜視降噪場(chǎng)景；愛(ài)芯元智的愛(ài)芯智眸AI-ISP也正式發(fā)布，通過(guò)將ISP中的幾個(gè)關(guān)鍵硬件模塊抽離并用AI算法取而代之，實(shí)現(xiàn)整個(gè)AI ISP的最佳效果。

　　如前所述，隨著自動(dòng)駕駛/輔助駕駛、安防、消費(fèi)電子的進(jìn)一步智能化，相應(yīng)的對(duì)于ISP的需求正在推動(dòng)ISP和人工智能做整合，而上述公司的新產(chǎn)品也恰好是針對(duì)了這些重要的應(yīng)用場(chǎng)景。我們認(rèn)為，隨著智能化的進(jìn)一步加深，AI將會(huì)成為ISP中越來(lái)越重要的一個(gè)環(huán)節(jié)，未來(lái)ISP芯片和IP中也會(huì)看到AI引擎的進(jìn)一步整合。

　更多信息可以來(lái)這里獲取==>>電子技術(shù)應(yīng)用-AET<<