NVIDIA在丹麥歐登塞(Odense)舉行的ROSCon大會上，與其機器人生態系合作夥伴宣布發表生成式人工智慧(AI)工具、模擬和感知AI工作流程，以促進機器人操作系統(Robot Operating System, ROS)開發者社群的發展。

NVIDIA 將生成式 AI 工具、模擬和感知工作流程帶入 ROS 開發者生態系

ROSCon發布的內容包括NVIDIA Isaac ROS和NVIDIA Isaac Sim技術與開發者指南，其中包含新的生成式AI節點和工作流程，供ROS開發人員部署到NVIDIA Jetson平台以實現邊緣AI和機器人技術。Isaac Sim中基於物理的模擬技術可幫助ROS開發者在部署之前模擬和驗證AI模型。生成式AI使機器人能夠感知和理解周圍環境的情境，自然地與人類交流，並自主做出適應性決策。

生成式AI進入ROS社群

基於ROS 2架構的ReMEmbR，利用生成式AI增強機器人的推理與行動能力。它結合大型語言模型(LLM)、視覺語言模型(VLM)以及檢索增強生成技術，使機器人能夠構建和查詢長期語義記憶，提升其在環境中的導航和互動能力。語音識別功能由WhisperTRT ROS 2節點驅動。該節點使用NVIDIA TensorRT最佳化OpenAI的Whisper模型，實現Jetson上的低延遲推論，從而實現回應靈敏的人機互動。

具有語音控制功能的ROS 2機器人專案使用NVIDIA Riva ASR-TTS服務，使機器人能夠理解並回應語音指令。美國太空總署(NASA)噴射推進實驗室(Jet Propulsion Laboratory, JPL)獨立展示用於ROS的AI驅動代理的ROSA，在Isaac Sim的Nebula-SPOT機器人上運作。在ROSCon上，Canonical展示NanoOWL，這是在Jetson Orin Nano模組系統上運行的零樣本目標偵測模型。它使機器人能夠在不依賴預先定義分類的情況下，即時識別各種物體。開發人員現在就可以開始使用ROS 2 Nodes for Generative AI，帶來由NVIDIA Jetson最佳化的大型語言模型與視覺語言模型，以增強機器人的能力。

模擬優先強化ROS工作流程

模擬對於在部署前安全測試和驗證AI驅動的機器人至關重要。Isaac Sim是一款基於OpenUSD和RTX的機器人模擬參考應用，為ROS開發者提供了一個虛擬環境，可以透過輕鬆連接到他們的ROS套件來測試機器人。全新的《使用Isaac Sim的ROS 2工作流程初學者指南》現已推出，該指南說明了機器人模擬和測試的端到端工作流程。

ROS 2

Foxglove作為NVIDIA Inception新創計畫的成員，展示一項整合功能，可幫助開發人員透過使用基於Isaac Sim構建的Foxglove客製化擴展，即時檢視模擬數據並進行除錯。

Isaac ROS建立在開源ROS 2軟體架構上，是一套用於機器人開發的加速運算套件和AI模型。即將發布的3.2版本增強了機器人感知、操作和環境映射能力。Isaac Manipulator的主要升級包括整合FoundationPose和cuMotion的全新參考工作流程，以加速機器人技術中拾取與放置和物件追蹤管道的開發。另一個升級則是Isaac Perceptor，它具有新的視覺SLAM參考工作流程、增強的多攝影機偵測和3D重建功能，以提高自主移動機器人(AMR)在倉庫等動態環境中的環境感知能力和效能。

Isaac ROS導入機器人應用

機器人公司正在將Isaac ROS加速函式庫和AI模型整合到他們的平台中。

 

・Teradyne Robotics旗下公司Universal Robots推出新的AI加速器工具套件，以支援AI驅動的協作機器人(Cobot)應用的開發。

・Miso Robotics正在使用Isaac ROS來加速其AI驅動的薯條製作機器人Flippy Fry Station，並推動食品服務自動化的效率和準確性提升。

・Wheel.me與RGo Robotics和NVIDIA合作，使用Isaac Perceptor建立生產就緒的AMR。

・Main Street Autonomy正在使用Isaac Perceptor來簡化感測器校準。

・Orbbec發布Perceptor Developer Kit，為適用於Isaac Perceptor的開箱即用AMR解決方案。

・LIPS Corporation推出了多攝影機感知開發套件，以改善AMR導航。

・Canonical強調為ROS開發人員提供經過全面認證的Ubuntu環境，提供開箱即擁有的長期支援。