NVIDIA自主机器平台Jetson及ISAAC解析有感

NVIDIA 自主机器专场开讲，本次专场李铭博士介绍 NVIDIA 的自主机器平台Jetson及生态，并重点解析面向自主机器人的ISAAC开发平台及开发案例。博主本科毕设就是在Jetson平台开展的，一直关注NVidia Jetson平台生态发展，笔记内容与大家分享。

一、自主机器在构建中的难点

以前训练使用GeForce卡和Digits训练和边缘端的推理， Jetson平台是应用于小一些的场景，更加灵动的部署。所有产品都是基于cuda架构，做边缘计算的开发接口。软件和算法对Jetson来说是核心的角色。

二、NVIDIA自主机器平台Jetson及生态

1、Jetson平台专注于边缘端，AI落地需要生态。

2、N厂有多重生态实施落地。

3、Jetson平台统一个软件开发包嵌入开发，JetPack是同一个。不需要对算法修改，只需要针对接口进行移植就可以。

4、JETSON XAVIER NX进行简单开发，核心模组可以直接放到机器人，无人机。

5、边缘计算上，JETSON平台全球已经有70万开发者，大众市场的边缘系统需要融合人工智能

① 交通领域的应用
② 应用机器视觉在工厂
③ 机器人网络家庭
④ AOT设备汇聚

6、 限制AI落地的三方面应用：
① 开源模型不够实用
② 算法不够精确
③ 开源应用场景

AI WORKFLOW有多个预训练模型，边缘端和服务器是想用的框架，使开源模型针对不同的应用场景进行优化。

迭代过程准确率的比较、速度的比较

三、面向自主机器人的ISAAC开发平台解析

1、对视频处理来说，其实需要解码图像预处理，包括神经网络的一个应用，包括CPU还有dsp解码模块、编码模块等等发挥最优district，首先提供了一个非常好的动力，本身是可以量产化的架构，可以二次开发，搭建自己的应用。

2、机器人作为边缘计算中一个蛮独特的门类，可以看到未来其实所有能动的功能这些加上以后，那其实就是一个所谓的机器人。现在的智能驾驶汽车其实也是智能机器人的一个品类而已，只不过它的安全性，强烈的交互，而且速度不够快。主流的机器人分类：

3、除硬件本身之外，其实我们看到的，今天的机器人的痛点在于现在软件的开发成本其实也变得非常高，而且每一次编程其实都是被独立于应用来做，定制化开发也非常严重，这样的话你做完一款机器人，想把它快速推到另外一个场景变化的时候，我的主观性就没办法保障，同时需要做相应的改进的时候也需要额外的一个边长，但是AI机器人某种程度上其实可以帮你做，就是克服传统的机械的问题，但是同样存在问题，部署和测试困难。

4、ISAAC平台就是NVidia给出的解决方案。ISAAC可以认为他是一套完备的开发套件，包括虚拟化、可视化的工具，进行格式化设计的过程，把不同模组的模块搭在一起。

四、自主机器人开发案例

1、菜鸟最后一公里智能配送
2、京东无人机送货
3、农业十八目智能除草

五、总结

NVidia Jetson平台不止在硬件上，在软件上也不断丰富。N厂的目的使AI做落地的时候，一些关键问题能够得以解决，然后让生态中的合作伙伴更快的把想法推广到更多的地方。