使用新 NVIDIA Isaac 基礎模型和工作流創

使用新 NVIDIA Isaac 基礎模型和工作流創建、設計和部署機器人應用

器人技術在智能制造設施、商用廚房、醫院、倉儲物流和農業領域等各種環境中的應用正在迅速擴大。該行業正在向智能自動化轉型，因此要求機器人具備更強的能力來執行感知、測繪、導航、負載處理、物體抓取、復雜裝配任務等功能。

AI 由于能夠增強機器人的性能，因此在這一發展演進過程中起到了舉足輕重的作用。通過集成 NVIDIA AI 加速功能，機器人能夠以更高的精度和效率處理復雜的任務，充分發揮出它們在各種應用中的潛能。

NVIDIA 在 COMPUTEX 上發布了幾項新功能來幫助機器人專家和工程師打造智能機器人，包括：

NVIDIA Isaac Perceptor：一款適用于自主移動機器人（AMR）和自動導引車（AGV）的全新參考工作流。
NVIDIA Isaac Manipulator：為工業機械臂提供全新的基礎模型和參考工作流。
NVIDIA Jetson for Robotics：在 NVIDIA JetPack 6.0 中進行了最新更新。
NVIDIA Isaac Sim 4.0：帶來適用于機器人學習的輕量級應用 NVIDIA Isaac Lab。

視頻 1. 全球機器人開發領域的領先者正在采用 NVIDIA Isaac

來研究、開發和生產新一代 AI 機器人

NVIDIA Isaac Perceptor

AMR 和 AGV 對裝配線效率、材料搬運和醫療物流至關重要。由于這些機器人需要在復雜的非結構化環境中穿梭，因此必須具備對周圍環境的感知和反應能力。

Isaac Perceptor 建立在 NVIDIA Isaac 機器人操作系統（ROS）上，能夠幫助原始設備制造商（OEM）、貨運服務供應商、軟件廠商和 AMR 生態系統加速機器人技術的開發。開發團隊可以為移動機器人加入感知能力，使其能夠在非結構化環境中成功導航和避障。

Isaac Perceptor 的早期合作伙伴中既有倉儲/內部物流行業的領先企業，也有汽車制造商、工業機器人制造公司和機器人解決方案提供商，例如 ArcBest、比亞迪電子、Gideon、凱傲、Kudan、idealworks、RGo 和泰瑞達機器人。

Isaac Perceptor 的關鍵功能

Isaac Perceptor 為基于 AI 的自主移動機器人提供多攝像頭 3D 環視功能。

基于 AI 的多攝像頭深度感知

Isaac Perceptor 能夠以 30 赫茲的頻率，每秒處理每個攝像頭的 1650 萬個深度點。立體視差是根據來自立體攝像頭的同步圖像對計算得出的，并將其用于生成深度圖像或場景點云。高效半監督深度神經網絡（ESS DNN）為基于 DNN 的立體視差提供了 GPU 加速軟件包。

圖 1. ESS DNN 檢測 5 米處的障礙物

多攝像頭視覺慣性測距

Isaac ROS Visual SLAM 提供用于視覺同步定位與映射（VSLAM）和視覺里程測量（VO）的 ROS 2 軟件包。該功能基于 NVIDIA CUDA Visual SLAM（cuVSLAM）庫，在無特征環境中導航時，可提供平移誤差小于 1% 的穩健導航。

眾所周知，VSLAM 解決方案所面臨的挑戰之一是在視覺特征稀疏或模式重復的環境中導航。通過融合來自多個視角的輸入，可以緩解這一問題。在最新的更新中，cuVSLAM 融合了來自多個立體攝像頭的并發視覺里程測量估算值。

我們的測試結果顯示出明顯的改進。使用多個攝像頭時，機器人始終能夠實現導航目標；而使用單個攝像頭時，這一比例不到 25%。

表 1 cuVSLAM 與 FRVO、S-PTAM 和 ORB-SLAM2 的性能比較。cuVSLAM 在使用多攝像頭的機器人導航中展現出更強大的性能

在 GitHub 頁面了解更多信息：

https://nvidia-isaac-ros.github.io/repositories_and_packages/isaac_ros_visual_slam/isaac_ros_visual_slam/index.html

圖 2. Isaac ROS Visual SLAM 使用一個攝像頭與使用兩個攝像頭和四個攝像頭的比較

實時多攝像頭體素網格映射

Isaac Perceptor 的核心是 nvblox，它是一個由 CUDA 加速的 3D 重構庫，可以識別五米以外的障礙物，從而提供 2D 成本圖并在 300 毫秒內完成更新。

Isaac ROS nvblox 提供了用于重建 3D 場景和生成進行導航的本地障礙物成本圖的 ROS 2 軟件包。該軟件包可用于靜態環境以及有人員和移動物體的場景。

該版本新增了多攝像頭支持，最多可使用三個 HAWK 攝像頭擴大覆蓋范圍，提供約 270° 的視野。

有關更多信息，請訪問 Isaac ROS nvblox 文檔：

https://isaac_ros.gitlab-master-pages.nvidia.com/isaac_ros_docs/repositories_and_packages/isaac_ros_nvblox/index.html

圖 3. 使用 Isaac ROS Nvblox 進行體素 3D 重建，包括懸置障礙物的重建

NVIDIA Nova Orin 開發者套件

該開發者套件采用 NVIDIA Jetson AGX Orin，可支持多達六個攝像頭，包括三個立體攝像頭和三個魚眼攝像頭，攝像頭內的延遲低于 100 微秒。

立體攝像頭的分辨率為每臺 200 萬像素，視野為 110X70，適用于 3D 占用網格映射、深度感知、視覺里程測量和人員檢測。通過 Segway 或 Leopard Imaging 購買 Nova Orin 開發者套件后，即可使用 Isaac Perceptor。

Isaac Perceptor 的參考圖最多可支持三個立體攝像頭。該版本通過 ROS 2 軟件包加強了模塊化，并提供與 Nova Carter 參考機器人上的 Nav2 的參考集成：

https://nav2.org/

增強與攝像頭和傳感器的兼容性

Isaac Perceptor 為攝像頭和傳感器合作伙伴提供更加強大的集成支持。Orbbec 成功地將其 Gemini 335L 攝像頭與 NVDIA Isaac Perceptor 組件集成在一起，并在 NVIDIA Jetson AGX Orin 上使用 Isaac ROS Visual SLAM 和 Nvblox 進行了演示。

LIPS 也成功地將其 AE450 攝像頭與 Isaac Perceptor 組件 nvblox 進行了集成。

NVIDIA Isaac Manipulator

Isaac Manipulator 是 NVIDIA 加速庫和 AI 模型的一個工作流。開發者能夠使用它為機械臂或機械手帶來 AI 加速功能，使其能夠無縫感知、理解環境并與環境互動。

其基礎模型和加速庫可以作為獨立模塊，也可以集成為解決方案開發中的整個工作流。除了獨立的模塊化組件外，開發者還能獲得工作流示例（ROS 2 啟動腳本），這些示例結合了 Isaac Manipulator 組件，能夠實現完整的端到端參考集成。

圖 4. 利用 NVIDIA 組件（綠色）的 Isaac Manipulator 工作流示例

Isaac Manipulator 的早期合作伙伴包括機器人開發平臺公司、原始設備制造商和 ISV/SI，例如 Intrinsic（Alphabet 旗下公司）、西門子、所羅門、達明機器人、泰瑞達機器人、Vention 和安川電機。

Isaac Manipulator 的主要特點

Isaac Manipulator 帶來了可加速機械臂開發的 AI 功能。

cuMotion 加速路徑規劃

這款 GPU 加速運動規劃器有助于縮短周期時間。cuMotion 可作為 MoveIt 2 運動規劃框架的一個插件使用，該框架是由一個國際社區開發的開源項目，并由 PickNik Robotics 領導。

cuMotion 可在多個種子上并行運行軌跡優化，并返回最佳解決方案。

圖 5. PickNik MoveIt 2 的 NVIDIA cuMotion 插件

所羅門是先進視覺和機器人解決方案領域的領先企業，同時也是 Isaac Manipulator 的早期合作伙伴。與傳統算法相比，其拾取系統通過 Isaac Manipulator cuMotion 的增強，路徑規劃速度提高了 8 倍，路徑奇異性的發生率降低了 50%。

表 2. 使用 Isaac Manipulator 的所羅門拾取系統的性能提升情況。

所羅門在成功率、移動時間、軌跡長度和規劃時間方面都有明顯改善，路徑奇異性現象也有所減少。該數據由所羅門公司提供。

FoundationPose

FoundationPose 是一種新的統一基礎模型，適用于單樣本 6D 姿態估計和新物體追蹤。該模型在遇到以前未見過的物體時，無需進行微調即可在應用中高精度地工作。

目前，FoundationPose 在 2023 BOP 未見物體 6D 定位排行榜上名列前茅。它在遮擋、快速運動以及紋理和比例等各種物體屬性下都具有很強的魯棒性，在各種場景中都能發揮可靠的性能。開發者可以從任何角度生成逼真的物體視圖。從 GitHub 獲取 FoundationPose 模型：

https://nvidia-isaac-ros.github.io/repositories_and_packages/isaac_ros_pose_estimation/index.html

圖 6. 使用 NVIDIA FoundationPose 進行姿態估計和追蹤

SyntheticaDETR

SyntheticaDETR 是一套基于實時檢測轉換器（DETR）的模型，用于在使用 NVIDIA Omniverse 生成的合成數據上進行單樣本圖像空間物體檢測訓練。與傳統的物體檢測器相比，它采用轉換器編碼器-解碼器架構一次性預測所有物體，從而實現了一種更加高效的方法。

圖 7. 使用 SyntheticaDETR 進行物體檢測和追蹤

SyntheticaDETR 使用合成數據和真實數據進行訓練而成。它在使用 YCB-Video 數據集對可見物體進行 2D 檢測的 BOP 排行榜上名列前茅（平均精確度為 0.885，平均召回率為 0.903）。

這些模型還可以將物體檢測為 NVIDIA FoundationPose 等姿態估計器的 2D 邊界框感興趣區域。下載 SyntheticaDETR 模型：https://catalog.ngc.nvidia.com/orgs/nvidia/teams/isaac/models/synthetica_detr

下載 Isaac Manipulator：

https://developer.nvidia.com/isaac/manipulator

NVIDIA JetPack 6.0

NVIDIA Isaac ROS 3.0 兼容 JetPack 6.0，并支持所有 NVIDIA Jetson Orin 模塊和開發者套件。

NVIDIA Jetson 平臺服務即將推出 API 驅動的模塊化服務，使用戶能夠更加快速、輕松地構建生成式 AI 和機器人應用，這些預構建和可定制的服務將加速 NVIDIA Jetson Orin 系統模塊上的 AI 應用開發。

NVIDIA Isaac Sim 4.0

使用 Isaac Sim，開發者可以通過業界領先的傳感器和機器人類型測試生成合成數據和各種虛擬復雜測試環境，從而進行高度逼真的仿真，同時對數千個機器人進行實時測試。

NVIDIA Isaac Lab

Isaac Lab 是一款基于 Isaac Sim 平臺構建的輕量級參考應用，它在機器人基礎模型訓練中發揮著舉足輕重的作用。Isaac Lab 支持強化學習、模仿學習和遷移學習，它可以訓練各種機器人模型以供開發者研究設計和功能。

新版本還通過兼容性檢查器實現與 VSCode 的輕松集成、為強化學習提供多 GPU 支持、通過 RTX 傳感器平鋪渲染提高性能，并提供優化的緩存和著色器管理。

Isaac Sim 的其他新特點包括：

便于使用 PIP 安裝以及機器人導入等功能的向導
合成數據生成（SDG）速度提高了 80%，從而提高了性能
新的 SDG 格式，支持 COCO 格式和用于姿態估計的自定義寫入器
ROS 2 啟動支持，提供端到端工作流并為基于圖像的發布器提供更好的性能
支持更多內置機器人：包括優傲機器人 UR20 和 UR30 以及波士頓動力 Spot。還有許多人形機器人，包括 1X Neo、宇樹 H1、Agility Digit、傅利葉智能 GR1、Sanctuary A1 Phoenix 和小鵬 PX5。

立即開始使用

開發者需要先下載 Isaac ROS、Isaac Perceptor、Isaac Manipulator 和 Isaac Sim 才能開始使用。

其他資源：

參見最新的 Isaac ROS 版本說明：https://nvidia-isaac-ros.github.io/releases/index.html
文檔：https://nvidia-isaac-ros.github.io/index.html
在開發者論壇和技術網絡研討會點播中了解關于 Isaac ROS 的更多信息：https://forums.developer.nvidia.com/c/agx-autonomous-machines/isaac/isaac-ros/600；
https://gateway.on24.com/wcc/experience/elitenvidiabrill/1407606/3998202/isaac-ros-webinar-series?partner-ref=product-page

物理 AI 驅動的 AI 機器人時代已經來臨。物理 AI 模型能夠理解周圍環境，并在物理世界中自主完成復雜的任務。許多復雜任務都難以編程（如靈巧的操作和人形機器人在崎嶇的地形上運動），需要依賴在仿真環境中使用強化學習（RL）訓練而成的生成式物理 AI 模型。

借助基于 NVIDIA Omniverse 的參考應用 NVIDIA Isaac Sim，開發者可以在遵守物理定律的虛擬環境中設計、仿真、測試和訓練 AI 機器人和自主機器。

NVIDIA Isaac Sim 可幫助團隊生成合成數據、訓練機器人策略，并運行多種假設場景，以便在部署前驗證整個機器人堆棧。

本文介紹了最新的 Isaac Sim 4.0 版本，其中包括 NVIDIA PhysX 5.4 和 Isaac Lab。Isaac Sim 4.0 現已開放下載，它基于 NVIDIA Omniverse Kit 106 構建，讓開發者能夠更輕松地控制工作流。

NVIDIA Isaac Sim 4.0 的新功能

Isaac Sim 4.0 提供強大的新功能并增強了現有功能，為您的機器人工作流提供強大助力，其中包括：

通過 PIP 加快安裝速度
改進了基于向導的導入和系統兼容性檢查器的可用性
新的資產、環境、機器人、環境傳感器
新的 PhysX 功能，如仿真關節、TGS 求解器、殘差可視化等
用于強化學習的多 GPU 和多節點功能

以下將對這些新功能進行詳細介紹，并介紹在仿真階段使用的全新 PhysX 和傳感器功能。

通過 PIP 安裝更快地上手

現在，您可以使用 Python 包管理器（例如 PIP）在本地或遠程系統上安裝 Isaac Sim。這極大地加速并簡化了使用開發者所熟悉的相同開發環境的安裝過程，在基于云的 IDE（如 Jupyter）中輕松部署 Isaac Sim。

此外，您現在還可以使用兼容性檢查器來檢查系統需求和兼容性，在開始安裝之前獲得即時反饋：

https://docs.omniverse.nvidia.com/isaacsim/latest/installation/requirements.html#isaac-sim-compatibility-checker

改進基于向導的導入的可用性

每次仿真都需要先構建虛擬環境和其中的機器人。為了加快這項工作，Isaac Sim 現在提供了一個向導，引導用戶如何在預先設計的環境中導入和調優機器人。向導中還有大量其它選項文檔，最常見的工具包括 CAD 導入器、傳感器、裝配機器人等。

圖 1. Isaac Sim 中的導入向導提供了用于導入機器人的相關工具、每個工具的離線指南

以及一系列按順序排列的建議步驟

更多資產庫

使用以下新資產進行仿真：

預建倉庫模型
機器人模型

優傲機器人 UR20 和 UR30 機械臂

波士頓動力公司的 Spot 機器人

人形機器人

1X Neo

宇樹 Unitree H1

Agility Digit

傅利葉 Fourier GR1

Sanctuary AI Phoenix

小鵬 PX5

傳感器

Ouster

SICK

Velodyne

用于仿真和檢查關節的

全新 PhysX 5.4 功能

一旦場景構建完成、機器人在環境中設置完畢，您就可以在機器人模型上使用 NVIDIA PhysX 5.4 的一些新功能。

例如，“仿真關節”功能讓您可以對機器人的耦合關節位置進行建模。您可以對平行夾爪機制、四連桿、平行夾爪或機械手的機械耦合元件進行建模。仿真關節可以捕捉 URDF 規范關系：

關節位置=倍增器*參考關節位置 + 補償

關節速度受到類似約束，并且相互作用是雙向的。仿真關節為滿足約束條件而施加的力會根據倍增器反饋給參考關節（即齒輪傳動裝置）。

圖 2. 在 Isaac Sim 中仿真的用于機器人操作的平行夾爪。可使用 “仿真關節” 功能來仿真平行機制

通過在特定仿真場景中將機械臂定位到特定的姿勢，“物理檢查器”功能支持創建單個關節和最多關節。在實際仿真之前，團隊還可以直觀地檢查碰撞和自由度。

圖 3. “物理檢查器” 用戶界面顯示了 ANYmal 四足機器人的腿部定位調整情況

全新仿真功能

仿真階段的一些新功能旨在幫助增強物理和傳感器仿真。

增強的物理仿真

物理仿真在機器人整體運動和性能中起著不可或缺的作用。Isaac Sim 4.0 中新的增強功能提供了更好的仿真、可視化和調試工具。

最新的 TGS 求解器采用了一種新模式，有助于提高求解器的收斂性和碰撞保真度。通過新引入的求解器選項，TGS 能夠考慮重力和其它外力，并在每個 TGS 位置迭代（子步驟）中闡明關節動作，而不是在時間步開始時。在 “物理場景高級”選項或 USD PhysxSceneAPI EnableExternalForcesEveryIteration 屬性中啟用該模式：

http://omniverse-docs.s3-website-us-east-1.amazonaws.com/omni_usd_schema_physics/106.0/class_physx_schema_physx_scene_a_p_i.html#a042cd436d556038793473c3bcc5b1d0c

對于高性能仿真，在求解器迭代次數和仿真保真度之間找到適當的平衡是非常重要的。新的殘差報告功能可在時間步結束時顯示與求解器收斂質量相對應的數據，從而幫助完成仿真調優。數據可以在物理場景中匯總查詢，也可以按關節和最大坐標關節進行查詢。

圖 4. 移動機器人越過障礙物，仿真數據可視化器顯示相關仿真的殘差數據

您不僅可以看到求解器的殘差數據，還可以通過新的“仿真數據可視化窗口”檢測位置和方向等仿真數據。支持的屬性包括身體位置和方向、求解器殘差等。欲了解更多信息，請參閱可視化工具文檔：

https://docs.omniverse.nvidia.com/extensions/latest/ext_physics/simulation-control/physics-settings.html

此外，還可以使用統一的 API 來查詢剛體和關節鏈接的線性加速度和角加速度。例如，報告的值可用于計算慣性測量單元的仿真輸出。

其它功能包括 SDF 碰撞改進、接觸摩擦力報告等。

更好地支持傳感器仿真

傳感器是機器人感知堆棧的核心。Isaac Sim 擁有一套不斷擴增的真實傳感器模型庫，可以仿真地面真實感知和基于物理的傳感器。

最新版本包括對非可視材料的 RTX 支持，其中材料的光學特性擴展到非可視光譜，如紅外線、無線電波和紫外線，從而實現了更先進的新型傳感器建模。此外，您還可以利用基于 RTX 的雷達，這些雷達使用新型 RTX 非可視材料功能集，來準確地模擬雷達對不同類型材料和環境的響應。

此外，IMU 傳感器后端現在兼容 Tensor API。這有助于將 IMU 傳感器的物理后端與其它 Isaac Sim 傳感器和節點統一起來，從而能夠更一致地訪問最新的物理數據。

基于 OmniGraph 的傳感器管線的性能改進包括：只在需要時運行管線，而不是每幀都運行，從而減少了管線的開銷。

利用 Isaac Lab 加速強化學習

基于 Isaac Sim 的 Isaac Lab 是一個統一、模塊化、開源的機器人學習框架，旨在簡化強化、仿真和演示學習以及運動規劃等常見工作流。它集成了開源框架 Orbit 的功能，該框架由 NVIDIA、波士頓動力人工智能研究所、蘇黎世聯邦理工學院和多倫多大學聯合開發。

Isaac Lab 利用 PyTorch 分布式框架在 Linux 上進行多 GPU 和多節點訓練，幫助團隊進行擴展。使用 OSMO 可以輕松地在異構環境上擴展這些作業，OSMO 是一個云原生協調平臺，用于調度復雜的多階段和多容器異構計算工作流。

當在多個 GPU 上運行時，可實現更高的 rollout FPS（如圖 5 所示）。FPS 的提高意味著可以在相同的時間內生成更多的軌跡和經驗，從而為模型提供更豐富的數據集以供其學習。與在單個 GPU 上進行訓練相比，該模型可以更快地收斂并達到更高的性能水平。

圖 5. 使用多個 GPU 進行強化學習時每秒生成幀數的性能比較

在強化學習中，機器人必須執行大量相互獨立的場景。當這些機器人在多個攝像頭上執行任務時，對這些機器人的進展進行可視化可能會非常繁瑣，而分塊渲染有助于在單一視圖中可視化所有這些場景。分塊渲染的工作原理是將多個攝像頭輸出的圖像串聯起來，渲染出一張大圖像，而不是每個攝像頭生成的多張小圖。

圖 6. 分塊渲染將多個攝像頭的輸出合并為一張大圖像

此外，對于有許多環境的大型強化學習場景，PhysX 5.4 中的新優化功能最多可將環境克隆速度提高到上一版本的 3 倍。

生態系統的采用情況

1X、Agility Robotics、波士頓動力人工智能研究所、波士頓動力、傅立葉、銀河通用、逐際動力、星動紀元、Sanctuary AI 和優必選等領先的機器人開發商正在整合 Isaac Lab，用于開發下一代機器人和人形機器人。其中許多公司已經利用 Isaac Sim 在真實環境中測試了他們的機器人，并生成用于模型訓練的合成數據。

了解波士頓動力公司與 NVIDIA 以及波士頓動力人工智能研究所合作開發 Spot 強化學習研究工具包：

https://developer.nvidia.com/blog/closing-the-sim-to-real-gap-training-spot-quadruped-locomotion-with-nvidia-isaac-lab/；

https://bostondynamics.com/products/extras/reinforcement-learning-research-kit/

該工具包整合了先進的仿真、NVIDIA Jetson AI 技術和精準機器人控制，可高效地將四足機器人從虛擬環境過渡到真實世界的應用中。

Isaac Lab 在 BSD-3 許可下開源，可通過 GitHub 上的 isaac-sim/IsaacLab 獲取：

https://github.com/isaac-sim/IsaacLab

在 Isaac Sim 中

更好地支持 ROS 開發者

Isaac Sim 的最新版本為 ROS 開發者提供了豐富的新功能，使得在 Isaac Sim 中測試和仿真機器人變得前所未有的簡單。首先是更易于使用，支持從 ROS2 節點導入 URDF，可在 URDF 文件或包含機器人描述的 ROS2 節點之間切換。對于 Cyclone DDS 用戶，Isaac Sim 也在 Linux 系統上支持 Isaac ROS 或 Nav2 相關的工作流。

其它新功能包括：

簡化并改進了端到端工作流，支持 ROS2 啟動。
ROS2 服務質量，可通過 QoS 設置來配置任何 ROS 訂閱者或發布者。
支持任何可用消息類型的 ROS2 發布者/訂閱者和服務器/客戶端。可用來連接系統中安裝的任何可用消息以及自定義消息。

開始開發您的機器人解決方案

要想獲取以下附加資源和參考架構的更新信息，來支持您的開發目標，請注冊 NVIDIA 開發者計劃：

https://developer.nvidia.com/developer-program

NVIDIA Isaac ROS 基于開源 ROS 2 軟件框架構建，包含一套加速計算數據包和 AI 模型的集合，為世界各地的 ROS 開發者帶來由 NVIDIA 賦能的加速。

NVIDIA Isaac Sim 是基于 NVIDIA Omniverse 構建的一款參考應用，可幫助開發者在基于物理的虛擬環境中設計、仿真、測試并訓練 AI 機器人和自主機器。它包括用于機器人學習的輕量級應用 NVIDIA Isaac Lab。

NVIDIA Isaac Perceptor 是一個用于自主移動機器人（AMR）和自動導引車（AGV）的參考工作流。

NVIDIA Isaac Manipulator 為工業機械臂提供了全新的基礎模型和參考工作流。

NVIDIA Jetson 是面向自主機器和嵌入式應用的領先平臺。

加入 NVIDIA 機器人開發者論壇，通過有關 Isaac ROS 和 Isaac Sim 的自學培訓和網絡研討會了解更多信息：

https://forums.developer.nvidia.com/c/agx-autonomous-machines/55