自主机器人所面临的关键挑战之一是感知和理解周围的世界。
在ROS World 2021上，NVIDIA发布了向ROS开发者社区提供高性能感知技术的最新项目。这些项目将加速产品开发、提高产品性能，并最终简化为将先进计算机视觉和AI/ML功能整合到基于ROS的机器人应用程序中的任务。
自主机器人所面临的关键挑战之一是感知和理解周围的世界。
在ROS World 2021上，NVIDIA发布了向ROS开发者社区提供高性能感知技术的最新项目。这些项目将加速产品开发、提高产品性能，并最终简化为将先进计算机视觉和AI/ML功能整合到基于ROS的机器人应用程序中的任务。
广告
图1. NVIDIA Isaac ROS GEM软件框架图。
Isaac ROS GEM提供图像处理和计算机视觉等组件，其中有针对NVIDIA GPU和Jetson进行高度优化的DNN算法。
当自主机器在环境中移动时，它们必须持续追踪自己的位置。视觉测距通过估算摄像机与其起点的相对位置来解决这个问题。Isaac ROS GEM for stereo visual odometry为ROS开发者提供这项强大的功能。
该GEM为实时立体摄像机视觉测距解决方案提供最佳精度。点击可查看基于广泛使用的KITTI数据库所得到的公开结果。除了高精度之外，这个GPU加速组件的运行速度也非常快。现在已可以在NVIDIA Jetson Xavier AGX上以高清分辨率(1280×720)实时(>60fps)运行SLAM。
您可以使用NVIDIA在NGC上提供的众多推理模型中的任何一种，甚至可以使用DNN推理GEM(一套ROS2软件包)提供自己的DNN推理模型。开发者可以使用NVIDIA 对预训练模型进一步调整或者对自定义模型进行优化。
经过优化后，这些组件由NVIDIA推理服务器或部署。凭借使用（NVIDIA高性能推理SDK）的节点，可实现最佳推理性能。如果TensorRT不支持所需的DNN模型，则应使用Triton来部署该模型。
GEM包含对和的原生支持。基于TensorRT的U-Net组件可用于从图像中生成语义分割掩码。而DOPE组件可用于对所有检测到的物体进行三维姿态估计。
该工具是在ROS应用中加入高性能AI推理的最快方式。
图2. 来自3个Isaac ROS GEM的合成图像 - DNN（PeopleSemSegnet）/AprilTags/Disparity（Depth）。
Isaac Sim的GA版本将于2021年11月发布，这将是迄今为止对开发者最友好的版本。其用户界面、性能和实用构建模块经过了大量改进，使用户可以更快构建更强大的模拟。此外，经过改进的ROS桥和更多ROS样本将提高ROS开发者的开发体验。
点击查看视频，了解如何使用ROS MoveIT实现对Franka的联合控制：
自主机器人需要使用大量不同的数据集，来训练众多运行其感知栈的AI模型。从真实世界场景中获取全部训练数据的成本过高，而且一些极端场景可能存在危险。Isaac Sim提供的新合成数据工作流程，通过建立生产级数据集解决了自主机器人的安全和质量问题。
建立数据集的开发者，可以控制物体在场景中的随机分布、场景本身、照明和合成传感器。开发者也可以通过精细的控制，确保数据集中包含重要的极端案例。最后，该工作流程支持版本控制和调试信息，因此可以在需要审核和保障安全时完整地复制数据集。
图3. Isaac Sim中传感器库的合成数据实例。
了解关于Isaac ROS的更多信息。
欢迎各位参观ROS World 21上NVIDIA的虚拟展台，观看我们关于Isaac的技术演示。
10月21日下午4点，与NVIDIA首席模拟工程师Hammad Mazhar一起
10月21日下午5:20，，NVIDIA Isaac高级产品经理Liila Torabi将和一些世界上最大的机器人仿真产品的开发人员将讨论仿真的过去、现在和未来。
关于 NVIDIA (NASDAQ: NVDA) 1999年发明的GPU驱动了PC游戏市场的增长，并重新定义了现代计算机图形、高性能计算和人工智能。NVIDIA在加速计算和AI领域的创举正在重塑交通、医疗健康和制造业等价值数万亿美元的产业，并推动了许多其他产业的增长。更多信息，请访问。
图1. NVIDIA Isaac ROS GEM软件框架图。
Isaac ROS GEM提供图像处理和计算机视觉等组件，其中有针对NVIDIA GPU和Jetson进行高度优化的DNN算法。
当自主机器在环境中移动时，它们必须持续追踪自己的位置。视觉测距通过估算摄像机与其起点的相对位置来解决这个问题。Isaac ROS GEM for stereo visual odometry为ROS开发者提供这项强大的功能。
该GEM为实时立体摄像机视觉测距解决方案提供最佳精度。点击可查看基于广泛使用的KITTI数据库所得到的公开结果。除了高精度之外，这个GPU加速组件的运行速度也非常快。现在已可以在NVIDIA Jetson Xavier AGX上以高清分辨率(1280×720)实时(>60fps)运行SLAM。
您可以使用NVIDIA在NGC上提供的众多推理模型中的任何一种，甚至可以使用DNN推理GEM(一套ROS2软件包)提供自己的DNN推理模型。开发者可以使用NVIDIA 对预训练模型进一步调整或者对自定义模型进行优化。
经过优化后，这些组件由NVIDIA推理服务器或部署。凭借使用（NVIDIA高性能推理SDK）的节点，可实现最佳推理性能。如果TensorRT不支持所需的DNN模型，则应使用Triton来部署该模型。
GEM包含对和的原生支持。基于TensorRT的U-Net组件可用于从图像中生成语义分割掩码。而DOPE组件可用于对所有检测到的物体进行三维姿态估计。
该工具是在ROS应用中加入高性能AI推理的最快方式。
图2. 来自3个Isaac ROS GEM的合成图像 - DNN（PeopleSemSegnet）/AprilTags/Disparity（Depth）。
Isaac Sim的GA版本将于2021年11月发布，这将是迄今为止对开发者最友好的版本。其用户界面、性能和实用构建模块经过了大量改进，使用户可以更快构建更强大的模拟。此外，经过改进的ROS桥和更多ROS样本将提高ROS开发者的开发体验。
点击查看视频，了解如何使用ROS MoveIT实现对Franka的联合控制：
自主机器人需要使用大量不同的数据集，来训练众多运行其感知栈的AI模型。从真实世界场景中获取全部训练数据的成本过高，而且一些极端场景可能存在危险。Isaac Sim提供的新合成数据工作流程，通过建立生产级数据集解决了自主机器人的安全和质量问题。
建立数据集的开发者，可以控制物体在场景中的随机分布、场景本身、照明和合成传感器。开发者也可以通过精细的控制，确保数据集中包含重要的极端案例。最后，该工作流程支持版本控制和调试信息，因此可以在需要审核和保障安全时完整地复制数据集。
图3. Isaac Sim中传感器库的合成数据实例。
了解关于Isaac ROS的更多信息。
欢迎各位参观ROS World 21上NVIDIA的虚拟展台，观看我们关于Isaac的技术演示。
10月21日下午4点，与NVIDIA首席模拟工程师Hammad Mazhar一起
10月21日下午5:20，，NVIDIA Isaac高级产品经理Liila Torabi将和一些世界上最大的机器人仿真产品的开发人员将讨论仿真的过去、现在和未来。
关于 NVIDIA (NASDAQ: NVDA) 1999年发明的GPU驱动了PC游戏市场的增长，并重新定义了现代计算机图形、高性能计算和人工智能。NVIDIA在加速计算和AI领域的创举正在重塑交通、医疗健康和制造业等价值数万亿美元的产业，并推动了许多其他产业的增长。更多信息，请访问。
