TinyML 或優(yōu)化機(jī)器學(xué)習(xí) （ML） 模型以在資源受限的設(shè)備上運(yùn)行，是 ML 發(fā)展最快的子領(lǐng)域之一。為了實(shí)現(xiàn) TinyML（或有時(shí)稱為 TinyAI）所需的這種超低功耗、高性能計(jì)算，工程師們探索了許多令人興奮的新技術(shù)。

　　TinyML 在邊緣計(jì)算中的地位概述

　　利用這一趨勢(shì)，以色列公司 Polyn 上周宣布其 最新的神經(jīng)形態(tài)模擬信號(hào)處理器 TinyML/TinyAI 處理器 已成功封裝和評(píng)估。

　　在本文中，我們將了解 Polyn 提供的技術(shù)，以了解它可能對(duì)整個(gè) TinyML 產(chǎn)生的影響。

　　人工智能的神經(jīng)形態(tài)計(jì)算

　　在追求更低功耗、更高性能的人工智能計(jì)算硬件的過程中，令人興奮的新興技術(shù)之一是 神經(jīng)形態(tài)計(jì)算 。

　　神經(jīng)形態(tài)計(jì)算的概念是，人腦是人類已知的最節(jié)能的計(jì)算設(shè)備。在嘗試運(yùn)行 AI 應(yīng)用程序時(shí)，創(chuàng)建盡可能模擬大腦生物過程的計(jì)算硬件將是有利的。雖然這聽起來是一項(xiàng)艱巨的任務(wù)，但工程師可以通過硬件和軟件的結(jié)合來嘗試這種娛樂方式。

　　神經(jīng)形態(tài)解決方案的實(shí)現(xiàn)

　　從硬件的角度來看，神經(jīng)形態(tài)芯片試圖通過充當(dāng)神經(jīng)元、軸突的電路元件以及它們之間的加權(quán)連接來模仿大腦。

　　為了進(jìn)一步模擬大腦，該硬件通常通過模擬電路實(shí)現(xiàn)，這也有助于提高性能和電源效率。然后，神經(jīng)形態(tài)計(jì)算依賴于專門的 神經(jīng)網(wǎng)絡(luò) ，例如尖峰神經(jīng)網(wǎng)絡(luò)和電信號(hào)調(diào)制來模擬大腦信號(hào)的變化。

　　有了這個(gè)基本的了解，我們來看看 Polyn 的新技術(shù)。

　　Polyn 的 NeuroSense 和 NASP 技術(shù)

　　本周，Polyn 宣布其專有的名為 NeuroSense 的神經(jīng)形態(tài)計(jì)算芯片已首次被封裝和評(píng)估，這受到高度關(guān)注。NASP 技術(shù)被稱為其 神經(jīng)形態(tài)模擬信號(hào)處理器 （NASP） 技術(shù)，旨在成為實(shí)時(shí)邊緣傳感器信號(hào)處理器。

　　NASP 演示芯片

　　根據(jù) Polyn 的說法，他們的技術(shù)利用了一個(gè)獨(dú)特的平臺(tái)，該平臺(tái)將經(jīng)過訓(xùn)練的神經(jīng)網(wǎng)絡(luò)作為輸入，并使用數(shù)學(xué)建模將網(wǎng)絡(luò)合成為真正的神經(jīng)形態(tài)芯片。它的 NASP 芯片使用模擬電路，其中神經(jīng)元使用運(yùn)算放大器實(shí)現(xiàn)，而軸突則由薄膜電阻器實(shí)現(xiàn)。

　　他們聲稱其平臺(tái)生產(chǎn)的合成芯片已經(jīng)完全布局并準(zhǔn)備好制造。

　　NASP 設(shè)計(jì)過程

　　這種新封裝和評(píng)估的 NeurorSense 芯片采用 55 nm CMOS 技術(shù)實(shí)現(xiàn)。此外，據(jù)說它充當(dāng)邊緣信號(hào)傳感器，能夠使用神經(jīng)形態(tài)計(jì)算處理原始傳感器數(shù)據(jù)，而無需對(duì)模擬信號(hào)進(jìn)行任何數(shù)字化。

　　出于這個(gè)原因，該公司將其稱為第一款無需模數(shù)轉(zhuǎn)換器 （ADC） 即可直接在傳感器旁邊使用的神經(jīng)形態(tài)模擬 TinyML 芯片。

　　雖然許多技術(shù)規(guī)格尚不清楚，但據(jù)稱，對(duì)于始終在線的應(yīng)用，Polyn 的 NASP 提供 100 uW 的功耗，具有傳統(tǒng)算法的“兩倍精度”。

　　將 TinyML 芯片帶入未來

　　目前，Polyn 對(duì)其發(fā)展感到鼓舞，稱其芯片的成功封裝和評(píng)估驗(yàn)證了其技術(shù)和整個(gè) NASP 系統(tǒng)。未來，Polyn 表示，它希望在 2023 年第一季度向客戶提供該芯片，作為一種集成了光電體積描記術(shù) （PPG） 和慣性測(cè)量單元 （IMU） 傳感器的可穿戴設(shè)備。

　　用于近傳感器 Tiny-AI 的 NASP 技術(shù)

　　按照Polyn所說，許多應(yīng)用程序可以從 AI 中受益，尤其是從神經(jīng)網(wǎng)絡(luò)范式中受益，但這種強(qiáng)大的數(shù)學(xué)方法的實(shí)際實(shí)現(xiàn)在以傳統(tǒng)方式在標(biāo)準(zhǔn) CPU 或 GPU 上執(zhí)行時(shí)會(huì)出現(xiàn)過多的功耗。如果應(yīng)用程序使用大量數(shù)據(jù)，并且經(jīng)常訪問內(nèi)存，則會(huì)導(dǎo)致馮諾依曼架構(gòu)出現(xiàn)瓶頸。對(duì)于具有連續(xù)信號(hào)流的情況，專用處理器效率更高。

　　一個(gè)很好的例子是具有心率 （HR） 跟蹤和人體活動(dòng)識(shí)別 （HAR） 的可穿戴設(shè)備，其中 PPG/IMU 傳感器不斷生成數(shù)據(jù)，其處理會(huì)消耗大量電池電量。

　　對(duì)于執(zhí)行真正始終在線測(cè)量的設(shè)備，神經(jīng)形態(tài)模擬信號(hào)處理 （NASP） 是一個(gè)理想的解決方案，與傳統(tǒng)算法相比，它具有 100uW 的超低功耗和兩倍的精度。提高的精度還可以簡(jiǎn)化整個(gè)系統(tǒng)，并降低相關(guān)成本。

　　另一個(gè)耗電的應(yīng)用是預(yù)測(cè)性維護(hù) （PDM） 傳感器節(jié)點(diǎn)。工業(yè)物聯(lián)網(wǎng) （IIoT） 利用物聯(lián)網(wǎng)設(shè)備和傳感器來監(jiān)控機(jī)器和環(huán)境，以確保設(shè)備和流程的最佳性能。PDM 監(jiān)控機(jī)器的健康狀況以識(shí)別（也稱為預(yù)測(cè)）組件的可能故障是最近受到很多關(guān)注的物聯(lián)網(wǎng)技術(shù)。為了實(shí)現(xiàn)有效的 PDM，需要通過機(jī)器學(xué)習(xí) （ML） 算法收集、處理和分析大量數(shù)據(jù)。如果所有這些數(shù)據(jù)都必須發(fā)送到一個(gè)中心進(jìn)行分析，那么數(shù)據(jù)通信和處理將比它的價(jià)值更麻煩。傳感器數(shù)據(jù)預(yù)處理可以顯著減少發(fā)送到云端的數(shù)據(jù)量，節(jié)省資金并改善延遲。

　　NASP 解決了所有這些情況，以及直接在傳感器上對(duì)原始數(shù)據(jù)進(jìn)行智能優(yōu)化（預(yù)處理）的許多其他用途。它不僅可以解決現(xiàn)有應(yīng)用程序的問題，還可以為整個(gè)行業(yè)開辟新的機(jī)遇。

　　傳感器數(shù)據(jù)優(yōu)化

　　NASP 是一個(gè)真正的 Tiny AI 解決方案，旨在優(yōu)化原始數(shù)據(jù)并減少 CPU 負(fù)載和轉(zhuǎn)發(fā)到云的數(shù)據(jù)量。NASP 芯片位于傳感器旁邊，形成 Tiny AI 邏輯層。它是一種推理解決方案，使用已經(jīng)訓(xùn)練好的機(jī)器學(xué)習(xí)模型進(jìn)行預(yù)測(cè)。

　　在 NASP 概念中，數(shù)據(jù)處理芯片是由 NASP 自動(dòng)化工具從已經(jīng)訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)中合成的。

　　基于 POLYN 多年的專業(yè)知識(shí)，“僅推理”方法對(duì)于語音提取、聲音/振動(dòng)處理、可穿戴設(shè)備測(cè)量等應(yīng)用非常有效。它在功率、準(zhǔn)確性和延遲方面提供了巨大的優(yōu)勢(shì)。

　　NASP 背后的神經(jīng)科學(xué)

　　神經(jīng)網(wǎng)絡(luò)計(jì)算的主要優(yōu)點(diǎn)是并行操作。最大的優(yōu)勢(shì)是神經(jīng)形態(tài)計(jì)算，特別是通過硬件和軟件設(shè)計(jì)實(shí)現(xiàn)最大并行性，努力模仿人腦并實(shí)現(xiàn)其計(jì)算到功耗的功效。除了低功耗和提高計(jì)算工作負(fù)載的性能外，神經(jīng)網(wǎng)絡(luò)還提供容錯(cuò)能力，這意味著如果傳感器數(shù)據(jù)不一致，系統(tǒng)仍然可以產(chǎn)生結(jié)果。

　　同時(shí)進(jìn)入 NASP 芯片輸入層的所有傳感器信號(hào)被并行傳輸?shù)胶罄m(xù)層。沒有執(zhí)行周期，也沒有指向/來自內(nèi)存的指令。

　　人腦不僅是一個(gè)超低功耗的并行操作系統(tǒng)，還是一個(gè)模擬系統(tǒng)，處理各種信號(hào)而不需要將它們轉(zhuǎn)換成二進(jìn)制格式。對(duì)于信號(hào)感知等任務(wù)，模擬系統(tǒng)更可取。據(jù)半導(dǎo)體研究公司稱，預(yù)計(jì)未來十年將出現(xiàn)大量模擬信號(hào)，這需要硬件方面的根本性突破，以產(chǎn)生更智能的世界機(jī)器接口。

　　NASP 正是這些突破之一，旨在感知模擬信號(hào)和數(shù)字信號(hào)，最重要的是，為各種傳感器增加“智能”。

　　NASP 芯片包含人工神經(jīng)元（執(zhí)行計(jì)算的節(jié)點(diǎn)）和使用電路元件實(shí)現(xiàn)的軸突（節(jié)點(diǎn)之間的權(quán)重連接）：神經(jīng)元使用運(yùn)算放大器實(shí)現(xiàn)，軸突使用薄膜電阻器實(shí)現(xiàn)。

　　NASP芯片設(shè)計(jì)體現(xiàn)了稀疏神經(jīng)網(wǎng)絡(luò)的方法，只有推理所需的神經(jīng)元之間的必要連接，這意味著該解決方案顯著有效地減少了神經(jīng)連接。與每個(gè)神經(jīng)元連接到每個(gè)相鄰神經(jīng)元的內(nèi)存設(shè)計(jì)相比，NASP 方法簡(jiǎn)化了芯片布局。這種設(shè)計(jì)特別適用于連接非常稀疏的卷積神經(jīng)網(wǎng)絡(luò) （ CNN），以及  RNN、Transformers和Autoencoders 。

　　對(duì)芯片設(shè)計(jì)進(jìn)行神經(jīng)網(wǎng)絡(luò)調(diào)整是每個(gè)片上神經(jīng)網(wǎng)絡(luò)解決方案的重要組成部分。當(dāng)今市場(chǎng)上可用的可編程解決方案具有架構(gòu)限制，會(huì)對(duì)神經(jīng)網(wǎng)絡(luò)施加額外的轉(zhuǎn)換。有時(shí)，原始神經(jīng)網(wǎng)絡(luò)在移植過程中會(huì)經(jīng)歷幾乎 100% 的轉(zhuǎn)換，這是一種代價(jià)高昂的方法。

　　為了解決這個(gè)問題，NASP 模型包括芯片設(shè)計(jì)自動(dòng)化工具，即 POLYN 的 T 編譯器和綜合工具，可將任何經(jīng)過訓(xùn)練的神經(jīng)網(wǎng)絡(luò)轉(zhuǎn)換為最佳數(shù)學(xué)模型，以進(jìn)一步生成芯片布局，同時(shí)完全符合 POLYN 的客戶神經(jīng)網(wǎng)絡(luò)，并節(jié)省相關(guān)的努力和成本。

　　出于多種原因，如果沒有模擬計(jì)算的復(fù)興，該行業(yè)將接受的數(shù)字化轉(zhuǎn)型將是不可能的。

　　一是節(jié)能理念。過多的功耗與感官系統(tǒng)中的數(shù)據(jù)計(jì)算不兼容。

　　下一個(gè)趨勢(shì)是人工智能越來越向邊緣移動(dòng)，并在今天應(yīng)用于傳感器節(jié)點(diǎn)。需要優(yōu)化數(shù)十億物聯(lián)網(wǎng)設(shè)備之間的通信，并從云端卸載數(shù)據(jù)處理，從而提高 TCO 和效率。

　　與擅長(zhǎng)處理復(fù)雜信息并隨時(shí)間動(dòng)態(tài)變化的人腦一樣，神經(jīng)形態(tài)模擬信號(hào)處理器擅長(zhǎng)實(shí)時(shí)計(jì)算，從而有助于數(shù)字和模擬技術(shù)世界的有益嚙合。