網(wǎng)絡(luò)邊緣已迅速成為 AI 處理未來發(fā)展至關(guān)重要的一部分。隨著 5G 連接數(shù)十億設(shè)備，互連將無處不在。市場(chǎng)對(duì)應(yīng)用人工智能和機(jī)器學(xué)習(xí)（AI/ML）的興趣不斷增長(zhǎng)，對(duì)于在網(wǎng)絡(luò)邊緣運(yùn)行、具備 AI/ML 處理功能的低功耗高科技設(shè)備的需求也十分巨大。在網(wǎng)絡(luò)邊緣進(jìn)行高級(jí)處理能夠極大降低終端和終端用戶的延遲，更好地保護(hù)用戶隱私。此外，網(wǎng)絡(luò)邊緣智能設(shè)備能對(duì)發(fā)送到云端的數(shù)據(jù)進(jìn)行篩選，從而降低網(wǎng)絡(luò)成本和帶寬要求。

這些網(wǎng)絡(luò)邊緣智能設(shè)備大多使用圖像傳感器來實(shí)現(xiàn)各類嵌入式視覺應(yīng)用，包括對(duì)象計(jì)數(shù)和存在檢測(cè)等基于 AI/ML 的應(yīng)用。然而，在網(wǎng)絡(luò)邊緣支持嵌入式視覺應(yīng)用，要求設(shè)備具有某些設(shè)計(jì)和性能上的特征：如低功耗、高性能、高可靠性和小尺寸。針對(duì)這類應(yīng)用，萊迪思推出了全新 CrossLink-NX?系列 FPGA。新的芯片旨在滿足視頻處理的最新趨勢(shì)：如混用多個(gè)傳感器和顯示屏、視頻分辨率更高、使用多個(gè)接口以及網(wǎng)絡(luò)邊緣 AI 處理等。

CrossLink 遇見 Nexus

為幫助開發(fā)人員支持全新及現(xiàn)有的嵌入式視覺系統(tǒng)，萊迪思推出了 CrossLinkPlus? 這款專業(yè)化、小尺寸、低功耗 FPGA 產(chǎn)品系列。 

圖 1： CrossLinkPlus 與  CrossLink-NX? 對(duì)比

 CrossLinkPlus 的可編程邏輯能滿足處理需求，還支持各類接口標(biāo)準(zhǔn)，是網(wǎng)絡(luò)邊緣應(yīng)用中視頻信號(hào)聚合和圖像協(xié)處理的絕佳選擇。CrossLinkPlus FPGA 采用 40 nm bulk CMOS 工藝制造。 

針對(duì)需要更高性能的嵌入式視覺系統(tǒng)，萊迪思發(fā)布了 CrossLink-NX? 系列 FPGA。這是基于萊迪思全新 FPGA 技術(shù)平臺(tái) Lattice Nexus? 的首款 FPGA，也是業(yè)界首款采用 28 nm 全耗盡型絕緣層上硅（FD-SOI）工藝的主流低功耗 FPGA 平臺(tái)。得益于 28nm FD-SOI 工藝以及針對(duì)低功耗和小型封裝進(jìn)行了優(yōu)

化的全新 FPGA  架構(gòu)，CrossLink-NX?  極大擴(kuò)展了 CrossLink FPGA  系列的功能。CrossLink-NX?  提供更低的功耗、

更小的封裝、更高的性能和可靠性以及易于使用的新工具，為開發(fā)人員提供了視頻和傳感器處理的創(chuàng)新選擇，其表現(xiàn)顯著優(yōu)于同類競(jìng)品 FPGA。

CrossLink-NX? 的應(yīng)用市場(chǎng)：汽車、移動(dòng)設(shè)備、工業(yè)等

CrossLink-NX? 系列產(chǎn)品非常靈活，可以滿足視頻切換和圖像處理領(lǐng)域多個(gè)細(xì)分市場(chǎng)的需求。

這些領(lǐng)域的應(yīng)用大多需要支持在多個(gè)顯示屏、攝像頭和傳感器（圖像傳感器等）之間橋接和/或聚合數(shù)據(jù)流。此外，這些組件可用于即時(shí)視頻處理和 AI/ML 推理。由于 FPGA 具有較高的能效，因此它們可以用于電池供電的移動(dòng)設(shè)備中，并且可以提供足夠的性能，在計(jì)算和工業(yè)控制應(yīng)用中大放異彩。 

圖2：嵌入視覺的發(fā)展趨勢(shì)   資料來源：萊迪思

 在視頻監(jiān)控和安防應(yīng)用中，CrossLink-NX? 可以實(shí)現(xiàn) AI 推理，從而對(duì)傳感器數(shù)據(jù)進(jìn)行預(yù)處理，這類應(yīng)用包括人臉識(shí)別和存在檢測(cè)。此外，它還可以用于傳感器聚合和橋接。

此款芯片可用作嵌入式視覺協(xié)處理器，合并多達(dá) 14 個(gè)傳感器。它還可以用于視頻縮放、旋轉(zhuǎn)和色彩空間轉(zhuǎn)換。設(shè)計(jì)人員可以使用該芯片將一個(gè)傳感器數(shù)據(jù)流發(fā)送到多個(gè)位置，這在汽車應(yīng)用中非常實(shí)用，因?yàn)閿z像頭常常需要向多個(gè)處理單元提供數(shù)據(jù)。

在本白皮書的以下各節(jié)中，我們將比較 CrossLink-NX? 和邏輯單元密度及 I/O 支持相近的FPGA。以下是萊迪思提供的性能和功耗比較測(cè)試。

高性能 CrossLink-NX? 實(shí)現(xiàn)網(wǎng)絡(luò)邊緣 AI

人們通常認(rèn)為 AI 處理需要在云端完成，然而在網(wǎng)絡(luò)邊緣實(shí)現(xiàn)設(shè)備端的 AI 功能越來越重要，因?yàn)檫@能夠更好地保護(hù)用戶隱私、減少上傳到云端的數(shù)據(jù)量、還能降低數(shù)據(jù)延遲以縮短設(shè)備響應(yīng)時(shí)間。

對(duì)于硬件開發(fā)人員而言，多種因素導(dǎo)致了實(shí)現(xiàn)網(wǎng)絡(luò)邊緣 AI/ML 充滿挑戰(zhàn)。例如，為了提高 AI/ML 結(jié)果的準(zhǔn)確性或?qū)崿F(xiàn)新的應(yīng)用，嵌入式視覺開發(fā)人員需要為其系統(tǒng)添加更多傳感器和/或更高分辨率/更高幀率的攝像頭。與此同時(shí)，嵌入式視覺設(shè)計(jì)人員希望使用符合

MIPI 標(biāo)準(zhǔn)的組件。MIPI 起初是為移動(dòng)市場(chǎng)開發(fā)的，如今，各類應(yīng)用的設(shè)計(jì)人員開始尋找方法利用應(yīng)用處理器等 MIPI 組件帶來的高性能和規(guī)模經(jīng)濟(jì)的優(yōu)勢(shì)。 

圖3 ：CrossLink-NX? 框圖   資料來源：萊迪思

 CrossLink-NX? FPGA 擁有足夠的資源處理多個(gè)視頻數(shù)據(jù)流和即時(shí)執(zhí)行 AI 計(jì)算功能，它還支持各類現(xiàn)有接口。

該產(chǎn)品系列擁有多個(gè) MIPI D-PHY 接口和 CSI-2 攝像頭接口，旨在服務(wù)于視頻和顯示屏應(yīng)用。兩個(gè)硬核 D-PHY 接口，每個(gè)接口支持四個(gè)通道，通道速率高達(dá) 2.5 Gbps（共 10 Gbps），另外的軟核 MIPI D-PHY 配置支持最多 12 個(gè)速率為 1.5 Gbps 的 MIPI 數(shù)據(jù)流。其他 I/O 包括硬核 5 Gbps PCIe Gen2 和 1066 Mbps LPDDR3 DRAM。 

CrossLink-NX? 的硬核 DSP 模塊可用于在本地處理神經(jīng)網(wǎng)絡(luò)（NN）。該系列平均每個(gè)邏輯單元有 170 bit 存儲(chǔ)空間，擁有同類產(chǎn)品中最高的存儲(chǔ)與邏輯比。FPGA 的大型片上 SRAM 從 1 到 2.5 MB 不等，可存儲(chǔ)神經(jīng)網(wǎng)絡(luò)激活和權(quán)重。

FD-SOI 工藝實(shí)現(xiàn)創(chuàng)新的功耗模式和更高的穩(wěn)定性

萊迪思采用 FD-SOI 工藝，為開發(fā)人員管理功耗提供了一種創(chuàng)新的思路。該工藝可以實(shí)現(xiàn)在裸片的背面施加電壓（負(fù)偏壓），從而改變閾值電壓。該芯片因此可以提供兩種工作模式——低功耗模式和高性能模式。通過功耗優(yōu)化，較高頻率下的工作功率可以在 200mW 左右，而靜態(tài)漏電功耗僅為十幾毫瓦。與其他同類競(jìng)品相比，CrossLink-NX? FPGA 的功耗降低多達(dá) 75％。

FD-SOI 工藝還帶來了另一個(gè)優(yōu)勢(shì)，即軟錯(cuò)誤（高能粒子撞擊 FPGA 中的晶體管并損壞性能的現(xiàn)象）大大減少。使用 FD-SOI 工藝可顯著減小芯片上容易受到軟錯(cuò)誤影響的物理區(qū)域。為確?；?SRAM 的 LUT穩(wěn)定運(yùn)行，還使用了存儲(chǔ)塊錯(cuò)誤校正代碼進(jìn)行軟件錯(cuò)誤檢查?？偠灾?，基于 FD-SOI 工藝的 CrossLink-NX? 的軟錯(cuò)誤率（SER）比 bulk CMOS 工藝制造的同類競(jìng)品 FPGA 解決方案降低 100 多倍。

CrossLink-NX? 尺寸更小

移動(dòng)應(yīng)用往往有非常嚴(yán)格的空間限制。萊迪思將推出該系列的兩款產(chǎn)品，分別支持不同級(jí)別的邏輯大小（17K 或 40K 邏輯單元）。CrossLink-NX? 系列的一大優(yōu)勢(shì)是它占據(jù)的空間極小，最小尺寸僅為 3.7 mm x 4.1 mm（17K 邏輯單元器件）。CrossLink-NX? 系列的器件引腳兼容，因此同樣的電路板設(shè)計(jì)可用于不同的應(yīng)用，還可以對(duì)使用這些器件的設(shè)計(jì)的未來版本進(jìn)行性能升級(jí)。

瞬時(shí)啟動(dòng)

CrossLink-NX? FPGA 使用 quad-SPI 閃存存儲(chǔ)配置文件?？梢栽?3 毫秒內(nèi)首先配置 I/O 引腳，然后在 14 毫秒內(nèi)即可完成邏輯配置。這些特性實(shí)現(xiàn)了瞬時(shí)啟動(dòng)，降低了在許多應(yīng)用中可能出現(xiàn)的運(yùn)行問題。

CrossLink-NX? 提供易用的體驗(yàn)

CrossLink-NX? FPGA 擁有大量不斷更新的軟件支持，包括萊迪思 Radiant 設(shè)計(jì)工具（最近的更新包括了片上調(diào)試、信號(hào)完整性分析和工程變更單編輯器等功能）和用于嵌入式視覺應(yīng)用的各類 IP 核（MIPI D-PHY、格式轉(zhuǎn)換、PCIe、SGMII 和 OpenLDI）。萊迪思還提供針對(duì)常見應(yīng)用（例如攝像頭聚合）的開發(fā)板和參考設(shè)計(jì)，未來將發(fā)布更多開發(fā)板和參考設(shè)計(jì)。

結(jié)論

萊迪思通過 CrossLink-NX? FPGA 系列產(chǎn)品，將可編程性與高性能處理及高速 I/O 互連相結(jié)合。這些器件將以高度的靈活性、低功耗、可編程性、小尺寸和高速視頻接口，為開發(fā)人員提供實(shí)現(xiàn)嵌入式智能視覺應(yīng)用的多種選擇。該系列僅僅是基于萊迪思 Nexus FPGA 技術(shù)平臺(tái)的首款產(chǎn)品，未來的新產(chǎn)品值得期待！