強(qiáng)大的生成式 AI 模型、云原生應(yīng)用程序接口（ API）和微服務(wù)已應(yīng)用于邊緣。

生成式 AI 正在將 Transformer 模型和大語言模型的強(qiáng)大力量帶到各行各業(yè)，應(yīng)用范圍現(xiàn)已擴(kuò)展到邊緣、機(jī)器人和物流系統(tǒng)相關(guān)領(lǐng)域，如缺陷檢測(cè)、實(shí)時(shí)資產(chǎn)追蹤、自主規(guī)劃和導(dǎo)航以及人機(jī)交互等。

NVIDIA 今日宣布，對(duì)適用于邊緣 AI 和機(jī)器人的 NVIDIA Jetson 平臺(tái)上的兩個(gè)框架進(jìn)行大規(guī)模擴(kuò)展。NVIDIA Isaac ROS 機(jī)器人框架已全面上市，NVIDIA Metropolis 在 Jetson 平臺(tái)上的擴(kuò)展也即將推出。

為加速邊緣 AI 應(yīng)用的開發(fā)和部署，NVIDIA 還創(chuàng)建了一個(gè) Jetson 生成式 AI 實(shí)驗(yàn)室，以供開發(fā)者利用最新的開源生成式 AI 模型進(jìn)行開發(fā)。

目前，已有超過 120 萬名開發(fā)者和 1 萬多家客戶選擇了 NVIDIA AI 和 Jetson 平臺(tái)，包括亞馬遜云科技（AWS）、思科、約翰迪爾、美敦力、百事、西門子等。

隨著 AI 領(lǐng)域的快速發(fā)展，其應(yīng)用場(chǎng)景日益變得復(fù)雜，開發(fā)者在構(gòu)建邊緣 AI 應(yīng)用時(shí)也面臨著開發(fā)周期延長(zhǎng)的挑戰(zhàn)。為了實(shí)時(shí)滿足客戶不斷變化的環(huán)境、生產(chǎn)線和自動(dòng)化需求，需要反復(fù)對(duì)機(jī)器人和 AI 系統(tǒng)進(jìn)行編程，這不僅非常耗時(shí)，還要求開發(fā)者具備足夠的專業(yè)技能。

生成式 AI 所具有的“零樣本學(xué)習(xí)”能力（即模型能夠識(shí)別訓(xùn)練中從未見過的特定事物）和自然語言界面能夠簡(jiǎn)化邊緣 AI 的開發(fā)、部署與管理。

推動(dòng) AI 領(lǐng)域的變革

生成式 AI 通過理解人類的語言提示，對(duì)模型進(jìn)行更改，從而極大地提高了易用性。這些 AI 模型在檢測(cè)、分割、追蹤、搜索甚至重新編程方面都更加靈活，并借此超越了基于卷積神經(jīng)網(wǎng)絡(luò)（CNN）的傳統(tǒng)模型。

據(jù) ABI Research 預(yù)測(cè)，到 2033 年，生成式 AI 將為全球制造業(yè)務(wù)增收 105 億美元。

NVIDIA 嵌入式和邊緣計(jì)算副總裁 Deepu Talla 表示：“生成式 AI 具有前所未有的泛用性、易用性和精確性，這將顯著加快邊緣 AI 的部署。我們?cè)?Jetson 平臺(tái)上對(duì) Metropolis 和 Isaac 框架進(jìn)行了有史以來規(guī)模最大的軟件擴(kuò)展，并結(jié)合 Transformer 模型與生成式 AI 的強(qiáng)大功能來滿足這一需求?！?/p>

相關(guān)精彩視頻已在NVIDIA中國(guó)西瓜視頻賬號(hào)發(fā)布：

NVIDIA Jetson Orin 賦能邊緣生成式 AI 模型

利用邊緣生成式AI進(jìn)行開發(fā)

NVIDIA Jetson 生成式 AI 實(shí)驗(yàn)室為 Jetson 開發(fā)者提供經(jīng)過優(yōu)化的工具和教程，用以部署開源大語言模型（LLM）、以交互方式生成驚艷圖像的擴(kuò)散模型、視覺語言模型（VLM）以及視覺 Transformer （ViT）。其中，ViT 結(jié)合了視覺 AI 和自然語言處理，可提供對(duì)場(chǎng)景的全面理解。

開發(fā)者還可以使用 NVIDIA TAO Toolkit，為邊緣應(yīng)用創(chuàng)建高效而精確的 AI 模型。TAO 提供了一個(gè)用于微調(diào)和優(yōu)化 ViT、視覺基礎(chǔ)模型等視覺 AI 模型的低代碼接口。此外，還可以定制并微調(diào) NVIDIA NV-DINOv2 等基礎(chǔ)模型或 OpenCLIP 等公共模型，用很少的數(shù)據(jù)創(chuàng)建高度精確的視覺 AI 模型?，F(xiàn)在，TAO 還推出了一個(gè)基于 Transformer 的新型缺陷檢測(cè)模型 —— VisualChangeNet。

充分運(yùn)用全新的 Metropolis 和 Isaac 框架

NVIDIA Metropolis 能夠幫助企業(yè)更輕松、更經(jīng)濟(jì)高效地使用全球頂尖的視覺 AI 解決方案，以改善至關(guān)重要的運(yùn)營(yíng)效率和安全問題。該平臺(tái)提供了一系列功能強(qiáng)大的應(yīng)用編程接口和微服務(wù)，供開發(fā)人員快速開發(fā)基于視覺的復(fù)雜應(yīng)用。

包括寶馬集團(tuán)、百事、克羅格、泰森食品、印孚瑟斯和西門子在內(nèi)的 1,000 多家公司正在使用 NVIDIA Metropolis 開發(fā)者工具，通過視覺 AI 來解決物聯(lián)網(wǎng)（IoT）、傳感器處理和運(yùn)營(yíng)方面的難題。NVIDIA Metropolis 開發(fā)者工具的采用速度日益加快，目前已被希望構(gòu)建視覺 AI 應(yīng)用的用戶下載了 100 多萬次。

為了幫助開發(fā)者快速構(gòu)建和部署可擴(kuò)展的視覺 AI 應(yīng)用程序，NVIDIA Jetson 平臺(tái)上的 Metropolis API 和微服務(wù)擴(kuò)展集將在年底前推出。

相關(guān)精彩視頻已在NVIDIA中國(guó)西瓜視頻賬號(hào)發(fā)布：

快速構(gòu)建復(fù)雜的視覺 AI 應(yīng)用程序

數(shù)百家客戶使用 NVIDIA Isaac 平臺(tái)，在農(nóng)業(yè)、倉儲(chǔ)自動(dòng)化、最后一公里配送、服務(wù)機(jī)器人等多個(gè)領(lǐng)域開發(fā)了高性能機(jī)器人解決方案。

在 ROSCon 2023 上，NVIDIA 宣布推出 Isaac ROS 和 Isaac Sim 軟件的全新版本，對(duì)感知和模擬功能進(jìn)行了重大改進(jìn)。基于常用的開源機(jī)器人操作系統(tǒng)（ROS）的 Isaac ROS，為自動(dòng)化帶來了感知能力，讓移動(dòng)的物體有了“眼睛”和“耳朵”。借助 GPU 加速的 GEM 所擁有的強(qiáng)大功能（包括視覺里程測(cè)量、深度知覺、3D 場(chǎng)景重建、定位和規(guī)劃等），機(jī)器人開發(fā)者就擁有了為不同應(yīng)用快速定制機(jī)器人解決方案所需要各種的工具。

隨著 Isaac ROS 2.0 最新版本的發(fā)布，Isaac ROS 已達(dá)到生產(chǎn)就緒狀態(tài)，能夠幫助開發(fā)者使用 Jetson 平臺(tái)創(chuàng)建并推出高性能機(jī)器人解決方案。

開源機(jī)器人基金會(huì)首席技術(shù)官 Geoff Biggs 表示：“ROS 在不斷發(fā)展進(jìn)化，并為整個(gè)機(jī)器人社區(qū)提供開源軟件。NVIDIA 此次版本中全新預(yù)構(gòu)建的 ROS 2 軟件包將助力廣大 NVIDIA Jetson 開發(fā)者社區(qū)隨時(shí)使用 ROS 2，從而加速這一發(fā)展。”

提供新的 AI 工作流參考

為開發(fā)生產(chǎn)級(jí) AI 解決方案，需要開發(fā)和訓(xùn)練針對(duì)特定用例定制的 AI 模型，在平臺(tái)上實(shí)現(xiàn)強(qiáng)大的安全功能，編排應(yīng)用，管理機(jī)隊(duì)，建立邊緣到云的無縫通信等。

NVIDIA 推出了一套基于 Metropolis 和 Isaac 框架的精選 AI 工作流參考，幫助開發(fā)者快速采用整個(gè)工作流或有選擇性地集成獨(dú)立的部分，從而大幅減少開發(fā)時(shí)間和成本。三個(gè) AI 工作流包括： 網(wǎng)絡(luò)視頻錄制、自動(dòng)光學(xué)檢測(cè)和自主移動(dòng)機(jī)器人。

Tirias Research 首席分析師 Jim McGregor 表示：“NVIDIA Jetson 憑借其廣泛而多樣化的用戶群與合作伙伴生態(tài)，助推了邊緣機(jī)器人和 AI 革命。隨著應(yīng)用需求的日益復(fù)雜化，我們需要從根本上轉(zhuǎn)向能夠簡(jiǎn)化和加速邊緣部署創(chuàng)建的平臺(tái)。NVIDIA 的這一重要軟件擴(kuò)展為開發(fā)者帶來了全新的多傳感器模型和生成式 AI 功能?！?/p>

更多精彩即將呈現(xiàn)

NVIDIA 推出了一系列系統(tǒng)服務(wù)，為每個(gè)開發(fā)者提供在構(gòu)建邊緣AI解決方案時(shí)必不可少的基本功能，簡(jiǎn)化與工作流的集成，使他們不必再費(fèi)時(shí)費(fèi)力地從頭開始構(gòu)建這些服務(wù)。

全新 NVIDIA JetPack 6 將于今年年底推出，AI 開發(fā)者將無需全面升級(jí) Jetson Linux 就能保持在計(jì)算領(lǐng)域的最前沿，從而大幅加快開發(fā)進(jìn)度，不再依賴 Jetson Linux。JetPack 6 還將通過與 Linux 發(fā)行版合作伙伴的合作，擴(kuò)大基于 Linux 的發(fā)行版的選擇范圍，包括 Canonical 的優(yōu)化及經(jīng)過驗(yàn)證的 Ubuntu、Wind River Linux、并行實(shí)時(shí) Redhawk Linux 以及各種基于 Yocto 的發(fā)行版。

合作伙伴生態(tài)系統(tǒng)受益于平臺(tái)擴(kuò)展

Jetson 合作伙伴生態(tài)系統(tǒng)提供了從硬件、AI 軟件和應(yīng)用設(shè)計(jì)服務(wù)到傳感器、連接和開發(fā)者工具的廣泛支持。這些創(chuàng)新的合作伙伴作為 NVIDIA 合作伙伴網(wǎng)絡(luò)（NPN）中的一部分，是為市場(chǎng)上在售的眾多產(chǎn)品提供構(gòu)件和子系統(tǒng)的中堅(jiān)力量。

最新版本通過采用更多具有更強(qiáng)性能與功能的 AI 技術(shù)，將助力 Jetson 合作伙伴加快產(chǎn)品上市并擴(kuò)大客戶群。

獨(dú)立軟件供應(yīng)商合作伙伴也將能夠?yàn)?Jetson 提供更多產(chǎn)品。

歡迎參加 NVIDIA 于 2023 年 11 月 7 日（星期二）上午  9 點(diǎn)舉行的“利用 NVIDIA Jetson 實(shí)現(xiàn)生成式 AI”網(wǎng)絡(luò)研討會(huì)，屆時(shí)技術(shù)專家將深入探討在此發(fā)布的新聞，包括在 Jetson 上利用  TensorRT 優(yōu)化視覺 Transformer 部署 LLM 和 VLM 的加速 API 和量化方法等更多內(nèi)容。