《電子技術(shù)應(yīng)用》
您所在的位置:首頁 > 人工智能 > 業(yè)界動態(tài) > NVIDIA 擴展機器人平臺,迎接生成式 AI 的崛起

NVIDIA 擴展機器人平臺,迎接生成式 AI 的崛起

基于 NVIDIA Jetson 平臺進行開發(fā)的 1 萬多家公司現(xiàn)在可以利用全新的生成式 AI、API 和微服務(wù)來加快推進行業(yè)數(shù)字化
2023-10-19
來源:NVIDIA
關(guān)鍵詞: NVIDIA 機器人平臺 生成式AI

強大的生成式 AI 模型、云原生應(yīng)用程序接口( API)和微服務(wù)已應(yīng)用于邊緣。

生成式 AI 正在將 Transformer 模型和大語言模型的強大力量帶到各行各業(yè),應(yīng)用范圍現(xiàn)已擴展到邊緣、機器人和物流系統(tǒng)相關(guān)領(lǐng)域,如缺陷檢測、實時資產(chǎn)追蹤、自主規(guī)劃和導航以及人機交互等。

NVIDIA 今日宣布,對適用于邊緣 AI 和機器人的 NVIDIA Jetson 平臺上的兩個框架進行大規(guī)模擴展。NVIDIA Isaac ROS 機器人框架已全面上市,NVIDIA Metropolis 在 Jetson 平臺上的擴展也即將推出。

為加速邊緣 AI 應(yīng)用的開發(fā)和部署,NVIDIA 還創(chuàng)建了一個 Jetson 生成式 AI 實驗室,以供開發(fā)者利用最新的開源生成式 AI 模型進行開發(fā)。

目前,已有超過 120 萬名開發(fā)者和 1 萬多家客戶選擇了 NVIDIA AI 和 Jetson 平臺,包括亞馬遜云科技(AWS)、思科、約翰迪爾、美敦力、百事、西門子等。

隨著 AI 領(lǐng)域的快速發(fā)展,其應(yīng)用場景日益變得復雜,開發(fā)者在構(gòu)建邊緣 AI 應(yīng)用時也面臨著開發(fā)周期延長的挑戰(zhàn)。為了實時滿足客戶不斷變化的環(huán)境、生產(chǎn)線和自動化需求,需要反復對機器人和 AI 系統(tǒng)進行編程,這不僅非常耗時,還要求開發(fā)者具備足夠的專業(yè)技能。

生成式 AI 所具有的“零樣本學習”能力(即模型能夠識別訓練中從未見過的特定事物)和自然語言界面能夠簡化邊緣 AI 的開發(fā)、部署與管理。

推動 AI 領(lǐng)域的變革

生成式 AI 通過理解人類的語言提示,對模型進行更改,從而極大地提高了易用性。這些 AI 模型在檢測、分割、追蹤、搜索甚至重新編程方面都更加靈活,并借此超越了基于卷積神經(jīng)網(wǎng)絡(luò)(CNN)的傳統(tǒng)模型。

據(jù) ABI Research 預(yù)測,到 2033 年,生成式 AI 將為全球制造業(yè)務(wù)增收 105 億美元。

NVIDIA 嵌入式和邊緣計算副總裁 Deepu Talla 表示:“生成式 AI 具有前所未有的泛用性、易用性和精確性,這將顯著加快邊緣 AI 的部署。我們在 Jetson 平臺上對 Metropolis 和 Isaac 框架進行了有史以來規(guī)模最大的軟件擴展,并結(jié)合 Transformer 模型與生成式 AI 的強大功能來滿足這一需求。”

相關(guān)精彩視頻已在NVIDIA中國西瓜視頻賬號發(fā)布:

NVIDIA Jetson Orin 賦能邊緣生成式 AI 模型

利用邊緣生成式AI進行開發(fā)

NVIDIA Jetson 生成式 AI 實驗室為 Jetson 開發(fā)者提供經(jīng)過優(yōu)化的工具和教程,用以部署開源大語言模型(LLM)、以交互方式生成驚艷圖像的擴散模型、視覺語言模型(VLM)以及視覺 Transformer (ViT)。其中,ViT 結(jié)合了視覺 AI 和自然語言處理,可提供對場景的全面理解。

開發(fā)者還可以使用 NVIDIA TAO Toolkit,為邊緣應(yīng)用創(chuàng)建高效而精確的 AI 模型。TAO 提供了一個用于微調(diào)和優(yōu)化 ViT、視覺基礎(chǔ)模型等視覺 AI 模型的低代碼接口。此外,還可以定制并微調(diào) NVIDIA NV-DINOv2 等基礎(chǔ)模型或 OpenCLIP 等公共模型,用很少的數(shù)據(jù)創(chuàng)建高度精確的視覺 AI 模型?,F(xiàn)在,TAO 還推出了一個基于 Transformer 的新型缺陷檢測模型 —— VisualChangeNet。

充分運用全新的 Metropolis 和 Isaac 框架

NVIDIA Metropolis 能夠幫助企業(yè)更輕松、更經(jīng)濟高效地使用全球頂尖的視覺 AI 解決方案,以改善至關(guān)重要的運營效率和安全問題。該平臺提供了一系列功能強大的應(yīng)用編程接口和微服務(wù),供開發(fā)人員快速開發(fā)基于視覺的復雜應(yīng)用。

微信截圖_20231019223341.png

包括寶馬集團、百事、克羅格、泰森食品、印孚瑟斯和西門子在內(nèi)的 1,000 多家公司正在使用 NVIDIA Metropolis 開發(fā)者工具,通過視覺 AI 來解決物聯(lián)網(wǎng)(IoT)、傳感器處理和運營方面的難題。NVIDIA Metropolis 開發(fā)者工具的采用速度日益加快,目前已被希望構(gòu)建視覺 AI 應(yīng)用的用戶下載了 100 多萬次。

為了幫助開發(fā)者快速構(gòu)建和部署可擴展的視覺 AI 應(yīng)用程序,NVIDIA Jetson 平臺上的 Metropolis API 和微服務(wù)擴展集將在年底前推出。

相關(guān)精彩視頻已在NVIDIA中國西瓜視頻賬號發(fā)布:

快速構(gòu)建復雜的視覺 AI 應(yīng)用程序

數(shù)百家客戶使用 NVIDIA Isaac 平臺,在農(nóng)業(yè)、倉儲自動化、最后一公里配送、服務(wù)機器人等多個領(lǐng)域開發(fā)了高性能機器人解決方案。

在 ROSCon 2023 上,NVIDIA 宣布推出 Isaac ROS 和 Isaac Sim 軟件的全新版本,對感知和模擬功能進行了重大改進?;诔S玫拈_源機器人操作系統(tǒng)(ROS)的 Isaac ROS,為自動化帶來了感知能力,讓移動的物體有了“眼睛”和“耳朵”。借助 GPU 加速的 GEM 所擁有的強大功能(包括視覺里程測量、深度知覺、3D 場景重建、定位和規(guī)劃等),機器人開發(fā)者就擁有了為不同應(yīng)用快速定制機器人解決方案所需要各種的工具。

微信截圖_20231019223559.png

隨著 Isaac ROS 2.0 最新版本的發(fā)布,Isaac ROS 已達到生產(chǎn)就緒狀態(tài),能夠幫助開發(fā)者使用 Jetson 平臺創(chuàng)建并推出高性能機器人解決方案。

開源機器人基金會首席技術(shù)官 Geoff Biggs 表示:“ROS 在不斷發(fā)展進化,并為整個機器人社區(qū)提供開源軟件。NVIDIA 此次版本中全新預(yù)構(gòu)建的 ROS 2 軟件包將助力廣大 NVIDIA Jetson 開發(fā)者社區(qū)隨時使用 ROS 2,從而加速這一發(fā)展?!?/p>

提供新的 AI 工作流參考

為開發(fā)生產(chǎn)級 AI 解決方案,需要開發(fā)和訓練針對特定用例定制的 AI 模型,在平臺上實現(xiàn)強大的安全功能,編排應(yīng)用,管理機隊,建立邊緣到云的無縫通信等。

NVIDIA 推出了一套基于 Metropolis 和 Isaac 框架的精選 AI 工作流參考,幫助開發(fā)者快速采用整個工作流或有選擇性地集成獨立的部分,從而大幅減少開發(fā)時間和成本。三個 AI 工作流包括: 網(wǎng)絡(luò)視頻錄制、自動光學檢測和自主移動機器人。

Tirias Research 首席分析師 Jim McGregor 表示:“NVIDIA Jetson 憑借其廣泛而多樣化的用戶群與合作伙伴生態(tài),助推了邊緣機器人和 AI 革命。隨著應(yīng)用需求的日益復雜化,我們需要從根本上轉(zhuǎn)向能夠簡化和加速邊緣部署創(chuàng)建的平臺。NVIDIA 的這一重要軟件擴展為開發(fā)者帶來了全新的多傳感器模型和生成式 AI 功能?!?/p>

更多精彩即將呈現(xiàn)

NVIDIA 推出了一系列系統(tǒng)服務(wù),為每個開發(fā)者提供在構(gòu)建邊緣AI解決方案時必不可少的基本功能,簡化與工作流的集成,使他們不必再費時費力地從頭開始構(gòu)建這些服務(wù)。

全新 NVIDIA JetPack 6 將于今年年底推出,AI 開發(fā)者將無需全面升級 Jetson Linux 就能保持在計算領(lǐng)域的最前沿,從而大幅加快開發(fā)進度,不再依賴 Jetson Linux。JetPack 6 還將通過與 Linux 發(fā)行版合作伙伴的合作,擴大基于 Linux 的發(fā)行版的選擇范圍,包括 Canonical 的優(yōu)化及經(jīng)過驗證的 Ubuntu、Wind River Linux、并行實時 Redhawk Linux 以及各種基于 Yocto 的發(fā)行版。

合作伙伴生態(tài)系統(tǒng)受益于平臺擴展

Jetson 合作伙伴生態(tài)系統(tǒng)提供了從硬件、AI 軟件和應(yīng)用設(shè)計服務(wù)到傳感器、連接和開發(fā)者工具的廣泛支持。這些創(chuàng)新的合作伙伴作為 NVIDIA 合作伙伴網(wǎng)絡(luò)(NPN)中的一部分,是為市場上在售的眾多產(chǎn)品提供構(gòu)件和子系統(tǒng)的中堅力量。

最新版本通過采用更多具有更強性能與功能的 AI 技術(shù),將助力 Jetson 合作伙伴加快產(chǎn)品上市并擴大客戶群。

獨立軟件供應(yīng)商合作伙伴也將能夠為 Jetson 提供更多產(chǎn)品。

微信截圖_20231019223646.png

歡迎參加 NVIDIA 于 2023 年 11 月 7 日(星期二)上午  9 點舉行的“利用 NVIDIA Jetson 實現(xiàn)生成式 AI”網(wǎng)絡(luò)研討會,屆時技術(shù)專家將深入探討在此發(fā)布的新聞,包括在 Jetson 上利用  TensorRT 優(yōu)化視覺 Transformer 部署 LLM 和 VLM 的加速 API 和量化方法等更多內(nèi)容。



本站內(nèi)容除特別聲明的原創(chuàng)文章之外,轉(zhuǎn)載內(nèi)容只為傳遞更多信息,并不代表本網(wǎng)站贊同其觀點。轉(zhuǎn)載的所有的文章、圖片、音/視頻文件等資料的版權(quán)歸版權(quán)所有權(quán)人所有。本站采用的非本站原創(chuàng)文章及圖片等內(nèi)容無法一一聯(lián)系確認版權(quán)者。如涉及作品內(nèi)容、版權(quán)和其它問題,請及時通過電子郵件或電話通知我們,以便迅速采取適當措施,避免給雙方造成不必要的經(jīng)濟損失。聯(lián)系電話:010-82306118;郵箱:aet@chinaaet.com。