YEYUANGEN的专栏

03搭载SOPHON算能AI处理器BM1684X，拥有八核ARM Cortex-A53，最高主频2.3GHz，采用12nm工艺制程；拥有高达32Tops（INT8）算力，或16TFLOPS（FP16/BF16）算力、或2Tops（FP32）高精度算力，支持主流编程框架，可广泛应用于云端及边缘应用的人工智能推理。04最高支持32路1080P H.264/H.265的视频解码，32路1080P高清视频全流程处理（解码+AI分析），满足视频流人脸检测、车牌识别等各类AI应用场景的需求强大的多路视频AI处理性能。

此次推出基于Jetson Orin Nano的MIPI 相机模组开发套件，主要为了给各行业的AI从业者、开发爱好者，生态伙伴提供快速搭建MIPI 相机的开发平台，并且借助Jetson Orin Nano开发套件的普遍性和灵活性，让大家可以很方便地开发各种适合自己的应用，进行学习和研究。MIPI 相机能广泛应用于机器视觉、工业检测、辅助驾驶和航空领域等，可有效解决相机在复杂多变的场景画面中获取无压缩的高质量高信噪比图像的需求，以及在多种模式下可实现相机之间灵活、高效的大量数据传输。

它支持高清视频图像的采集、处理和 8K 高清视频图像显示，还提供了高效的 3D 影像处理能力。特别是在采用 YOLOX 目标识别算法的情况下， 实现了高达 0.9 的 mAP 和 50FPS 的识别速度，极大地提升了工业自动化过程中的视觉处理能力。FPGA+GPU 异构架构视频图像处理开发平台，它结合了 AMD Zynq UltraScale+ MPSoC（FPGA）与 NVIDIA Jetson Orin NX（GPU）的强大功能，能够应用于对图像精准度和实时性有着严苛要求的行业领域。

基于 Xilinx 公司ZYNQ Ultrascale+ MPSoC系列 FPGA 芯片设计，应用于无人驾驶、慢速特种车及数据采集车、车载仿真测试系统等自动驾驶领域自动驾驶：16通道车载摄像头PCIE采集卡方案。

双目相机采用双目视觉结合RGB相机的方式，RGB图像数据为机器人感知和决策提供了更多依据和支持，机器人可以利用RGB数据获取目标物体的颜色、形状等特征信息，从而实现更精准的识别、抓取，从而更全面地满足机器人更高度灵活性的抓取操作需求。此外，这款双目视觉相机，还可广泛适用于AGV/AMR/无人机避障、导航等应用等。双目视觉相机，既支持基于结构光进行3D成像的主动双目技术，同时也支持基于可见光进行3D成像的被动双目技术，可实现最远25m范围的深度测量，可助力机器人在复杂多变的环境中实现稳定可靠的感知功能。

视频智能化综合管理平台支持前端设备管理、实时视频预览、告警推送、取证抓拍、算法在线加载及优化、数据态势分析大屏展示等，设备操作简单、即插即用，同时拥有丰富的北向API接口，可赋能上层业务应用大平台。两位创始人还在停车场中添加了车牌扫描功能，因为对他们来说，使用 ViaBot 处理车牌扫描是一项简单的计算机视觉任务，他们说。ViaBot 的创始人使用 Yolo 图像网络，运行了 500 张专门用于回收的图像，并对其进行再训练，使其能够识别物体。ViaBot 的目标是通过模块化的机器人来满足多种户外维护需求。

一个汇聚数百万机器人专家与研究人员的赛场，一场兼具工程、策略和团队挑战的较量，说的正是近日刚刚在澳大利亚布里斯本ICRA大会上闭幕的大疆RoboMaster AI挑战赛今年的冠军I Hiter以及亚军Critical HIT团队均基于模块化的NVIDIA Jetson TX2超级计算机创建其机器人战队。拥有高性能的Jetson TX2化身获奖机器人战队的“大脑”，为他们赋予了更多的智慧和更强的战斗能力，在最终的对抗赛中所向披靡。在今年的赛事上，既有经验丰富的团队，也有首次参赛者。

Netanel Eliav 和 Adam Bismut 是校园时代的旧伙伴，当时他们想要解决一个可以改变世界的问题，由此引出这样一个想法：溺水的 Bismut 漂流到死海，却发现那里缺乏救生员技术支持，用着过时的双筒望远镜对死海进行搜索。这个沙丘林立的目的地，有着诱人而温暖的、海蓝宝石般的海水，在夏季每天都有成千上万的游客。公司首席营销官 Shezaf 补充解释，受海洋的阳光照射、天气状况、拥挤的人群以及在海中正常活动的人（部分身体没入海中）的影响，图像训练过程并不容易。但这里也以致命的激流而闻名。

目前，作为安全预防措施，地质学家和工程师会站在离岩石五米远的地方，通过目视评估岩层的危险系数。现在，该初创公司的 Mapper AI 设备提供了一种更安全的方式，让工程师远离可能塌方的隧道；通过利用由这些传感器提供的信息，RockMass 的软件能够在几分钟内快速识别出工程师可用的数据。多年来，工程师一直在使用传统设备测量岩石表面的角度，例如安装在三脚架上的光学测量设备，类似经纬仪。“没有谁能像我们一样收集和处理数据，”Yee 表示道，“我们能够实时处理云中数据，这要归功于 GPU 的计算能力。

视频智能化综合管理平台支持前端设备管理、实时视频预览、告警推送、取证抓拍、算法在线加载及优化、数据态势分析大屏展示等，设备操作简单、即插即用，同时拥有丰富的北向API接口，可赋能上层业务应用大平台。目前公司已经获得各类知识产权数十项，获得国家高新技术企业资质、中关村高新技术企业资质、中国软件行业协会双软认证，获评中科院STS双创引导项目、中关村金种子企业、海淀区胚芽企业、北京市金桥工程企业等荣誉称号，获评中国科学院北京分院科技成果转化奖。支持分类、检测主流网络模型，支持自定义算子开发；

创新奇智在专精特新的道路上，深耕钢铁冶金、面板半导体、3C高科技、工程建筑、汽车装备、能源电力、食品饮料&新材料、智造实训，以及金融等多个细分领域，探索实践AI应用落地。视频智能化综合管理平台支持前端设备管理、实时视频预览、告警推送、取证抓拍、算法在线加载及优化、数据态势分析大屏展示等，设备操作简单、即插即用，同时拥有丰富的北向API接口，可赋能上层业务应用大平台。在汽车、3C 产品、芯片、光伏等领域，工业质检是不可或缺的环节，极大影响着产品产出质量和速度。支持分类、检测主流网络模型，支持自定义算子开发；

通过边缘计算、视频智能分析等技术融合，构建“感知、理解、执行、联动、迭代”等行为能力，对银行对客交易中关键环节或银行经营重要区域的安全合规规范性进行全时域、全链条、全方位有效监管，对存在潜在风险的业务交易提供风险预警与处置干预，提升业务运营风险管控能力。边缘计算能够充分挖掘银行积累海量音视频等非结构化数据价值，释放广阔数据空间和潜力，丰富各类个性化客户标签，多视角深层次刻画客户画像，结合客户交易喜好精准创新适合用户的新金融产品服务，为客户提供有温度的服务体验，提升银行对客服务能力。

经过发展，拖拉机的自动化套件一样，该系统允许集机器操作员可设置卡车卸载点（农场的任何位置）、调整速度、监测位置并精确地同步拖车与联合收割机的速度和方向。包括市场预测、农民征信、农业金融等，都需要建立在数据分析的基础上，精准化、网络化、智能化是农业产业发展的新方向。要以农技解决粮食问题，大致可从精准农业、善用气候信息、改善供应与运输效能，及增进供需效率等方面着手。是潍柴集团重要的战略业务单元，旗下收获机械、拖拉机等业务连续多年保持行业领先，是国内少数可以为现代农业提供全程机械化整体解决方案的品牌之一。

作为中国电气化铁路装备事业的开拓者和领先者，60多年来，中车时代电气肩负振兴高端装备产业的使命与责任，致力于被誉为列车“心脏”和“大脑”的牵引传动和控制系统自主研发及产业化，持续领跑国内轨道交通电气系统市场。中车时代电气扎根株洲，走好两条钢轨，走出两条钢轨。中车时代电气秉承“双高双效”高速牵引管理模式，坚持“同心多元化”发展战略，围绕技术与市场，形成了“基础器件+装置与系统+整机与工程”的完整产业链结构，产业涉及轨道交通、新能源发电、电力电子器件、汽车电驱、工业电气、海工装备等领域。

该方案通过AI边缘计算盒子+摄像机等智能化识别分析技术，可对实时视频内容分析，实现探测异常信息，进行风险预测，以最高效、最直接的方法提升油站安全系数，针对作业区烟火检测、打电话识别、人员入侵、工作人员行为规范、在岗离岗、抽烟识别、车牌识别等检测，对相应情况进行处理，防患于未然，轻量化的部署也便于项目的落地。由于加油站行业的特殊性，油库、油站往往贮存大量的成品燃油以满足销售需求，如何保障人员、财产安全性是重中之重。信迈科技智慧加油站解决方案以油站安全为核心，以数字化油站为根本，打造智慧安全油站一站式方案；

青鸟消防一直在积极开拓海外市场，在北美、欧洲等地建设生产基地、研发及营销中心，以符合UL、ULC、FCC等国际标准的产品拓展海外市场。人工智能作为多学科交叉融合的先进技术，社会层面对消防装备的技术水平和应用需求也在不断提高，基于现有技术的传统消防装备，已不能够满足当前社会对于消防救援装备的智能化、时效性、便捷智能操作等的需求。目前，正在持续推进的智慧城市建设，其发展建设关键的一环为智慧消防建设，智慧消防建设为城市的公共安全提供了基础安全保障。

根据初步建成的路侧感知设备，搭建管控、调度、服务平台，为道路使用者提供车道级导航、无停留收费、前方事故预警、抛洒物预警、特殊车辆避让、匝道口预警、气象环境推送、标志标牌信息数字化发布等车路协同功能。针对高速公路的各种应用场景，通过布设路侧基础设施，建设前端感知、边缘计算体系，结合不同场景功能以及需求，建成路侧车路协同场景、匝道分合流安全预警与诱导场景、准全天候辅助通行场景，为出行者提供伴随式的出行服务，提高出行效率，保障出行安全。路侧车路协同系统主要由路侧感知子系统、路侧计算子系统、路侧通信子系统组成。

使用它，我们能快速创建栩栩如生的模型，从而大大简化 CG 艺术家、设计师、工程师及其他 VR 作业人员的工作流程。Artec Leo 搭载速度超快、尺寸只有信用卡般大小的 Jetson TX1 平台，每秒扫描 800 万个点，将颜色和材质数据融入 3D 深度信息，实时创建精度达到0.1毫米的 3D 模型。Artec 3D 使用Jetson TX1制作的手持式扫描仪Artec Leo可以在自己的显示屏上进行实时 3D 捕捉、融合、建模和可视化作业，也可流式传输到手机和平板电脑上。

从 2008 年开始，随着各个开源飞控不断的发展，简化了无人机的操作难度同时增强了无人机的稳定性。TX2 第一次让无人机开发者找到了合适的选择，性能强劲的同时又有有合适的功耗。泛化智能的目标是将无人机从会飞的照相机升级成为可利用 3D 空间的机器人，以此加速无人机各类应用以及 UAM 空中交通的到来。目前，通过TX2，GAAS 可以将SLAM、路径规划、自主降落、目标跟踪等一系列算法部署在无人机上，而无需定制芯片和减少功能，GAAS 借由TX2为无人机实现了端到端的无人机自主飞行开源框架。

京东机器人开发首席科学家孔旗表示：“我们的配送机器人需要一个具有强大计算能力、能够与各类传感器连接的平台，以便在户外的动态和非结构化环境中安全地行驶，并与人类进行交互。京东的配送机器人配备了多个与Jetson AGX Xavier连接的高清传感器，提供360度的实时视觉和感知处理，以充分感知环境的态势。为了支持这一巨大的增长，中国大型电商公司正在开发人工智能配送机器人，使货物在仓库之间运送，加快最后一英里的配送速度，并将产品交付给消费者和企业。京东已与信迈科技达成人工智能战略合作关系。

美团点评是全球大型的按需食品配送公司，结合了Uber Eats、Yelp和Groupon的商业模式，与超过40万家本地企业开展合作。美团总经理夏华夏表示：无人配送车对物流业发展至关重要，能够大大改善分发和配送。我们期待利用Jetson AGX Xavier强大的AI功能来提升小袋自主配送机器人的功能。虽然配送车及其电池的尺寸较小，但传感、定位和路径规划所需的处理量与大型无人驾驶车辆相同，且很大程度上依赖于Jetson AGX Xavier的高性能计算。

同时，结合5G/4G通信及高精度定位技术，数据实时上传云端，为道路状况提供全面、实时的评估与展示。随着养护支出的逐年攀升，如何提升养护效率、降低管理成本，成为亟待解决的问题。《“十四五”公路养护管理发展纲要》强调推进设施数字化，提升养护管理数字化水平，特别是基于AI的自动化巡查和物联网的养护工程质量管理。：支持多场景、多版本的AI算法集成管理，包括但不限于：路面遗撒检测、路面积水结冰检测、边坡落石监测、沿途气象观测、道路资产盘点等。：基于日常累积的有效数据，为养护管理提供科学决策依据，降低养护成本。

该平台运用人工智能图像分析技术，整合了卫星遥感、无人机、视频监控等多源数据，实现了对生态资源的实时、全面监测，不间断地监测识别植物、鸟类、野生动物、昆虫以及水生生物等物种信息，构建生物多样性资源基础库，形成鸟类及野生动物的活动态势报告。：依托深度学习技术，平台提供高精度、高效率的图像分析模型，包括分类模型、目标检测模型、语义分割模型、实例分割模型等，具有业界领先的精确度和执行效率，支持各类AI应用。利用物联网、火情监控、视频监控、虫情测报、智能卡口、车载巡护、移动巡护等综合手段，织密监管一张网。

面对这一挑战，韩国开始积极探索利用机器人技术来代替人工劳作，以提高农业生产效率，确保食品安全，并促进农村经济的可持续发展。通过摄像头，机器人能够捕捉农作物的图像信息，结合图像识别技术，实现对农作物的快速识别与定位。”研发自主运行的搬运机器人，跟随工人收集农作物产品，并自动行驶往返运输至收集点。：在收集农作物时，机器人能够自动规划最优路径，确保在最短时间内将农作物运送到收集点，实现了高效、快速的运输。：通过与机器人合作，优化农作物采摘流程，实现农作物的及时收割和快速搬运，提高工作效率，帮助农民提高产量。

在无人车的应用中，对不同功能的相机要求不同，比如红绿灯相机需要能够识别红绿灯，因此对相机分辨率HDR AWB的要求非常高，需要它能在不同的光线环境下准确还原红绿灯的轮廓和颜色；在本次演讲中，介绍了多相机同步技术在自主机器中的应用情况，围绕无人配送小车、控制器视觉传感器方案升级、人形机器人三个典型案例中如何为客户提供高效的多相机同步解决方案进行了详细的讲解，并进一步介绍如何通过创新的多相机同步技术，来满足自主机器的多相机组合感知、不同相机数据精准同步的需求。在胸前和胸后各布置两个相机，覆盖机器人前后的视野；

这款产品基于OX08D10 CMOS图像传感器，具备了1/1.73 英寸传感器面积和2.1um像素尺寸，采用了GMSL2串行器MAX9295A，可实现140dB动态范围，支持3840x2160分辨率、800万高像素，这也意味着摄像头可捕捉到细节丰富的高质量画面，可有效满足摄像头在复杂多变的行车场景画面中获取高清晰度视频流的需求，以及远距离障碍物的有效识别需求。此外，为了满足客户的更多需求，还推出了可适配各类串行器方案和接口协议的摄像头系列产品可供选择。图片来源：OmniVision官网。

该图像传感器的像素水平实现突破，高达1700万有效像素，可以清晰的获取超远距离的目标物特征。此外，该新型传感器通过索尼自研的像素结构和特别的曝光方式提升了饱和照度范围，即使同时使用高动态范围（HDR）成像和LED闪烁抑制功能，也能获得106dB的宽广的动态范围。采用IMX735图像传感器的摄像头模组有效像素高达1700万像素 ，可以高清捕捉拍摄物体，识别更远范围的物体，从而更好地支持检测路况、车辆、行人和其他物体，可以在驾驶过程中及早地检测到远处的物体，有助于提高自动驾驶系统的安全性。

基于NVIDIA DRIVE AGX Orin的GMSL2摄像模组开发套件，不仅为自动驾驶汽车的开发者提供了丰富而成熟的GMSL2摄像头产品，还能为开发者提供摄像头的驱动程序来支持测试环境搭建，并且还有专业的ISP团队可以服务NVIDIA平台的ISP调优，让开发人员可以更简单、高效使用该开发评估套件。这些摄像头产品，具有远距离、高速率、抗干扰性强等特点，可广泛应用于长距离、低延时、高质量传输的场景，目前已应用于各种车辆、车路协同、UGV、大型机器人、工业机械手等领域。

比较知名的视觉传感器提供商有以色列的Mobileye，加拿大的PointGrey，德国的Pike等。比如摄像机检测到了车辆正前方有一个障碍物，毫米波也检测到车辆前方有一个障碍物，激光雷达也检测到前方有一个障碍物，而实际上前方只有一个障碍物，所以我们要做的是把多传感器下这辆车的信息进行一次融合，以此告诉下游，前面有一辆车，而不是三辆车。因为决策控制层做车辆运动规划时，是在车体坐标系下完成的（车体坐标系一般以后轴中心为O点），因此毫米波雷达检测到的50米，转换到自车坐标系下，还需要加上传感器到后轴的距离。

信迈科技的AGX Xavier GMSL 载板，是一款带有×GMSL视频输入接口的嵌入式人工智能计算产品，能够为众多终端设备赋予人工智能计算力，从而有效降低人工智能产品的落地门槛。Xavier能够提供高达32Tops计算能力，能够很好的满足低速无人驾驶，工业机器视觉等场景的图像、激光点云等计算需求。 基于NVIDIA Jetson Xavier AGX GMSL硬件设计与软硬件调试一、设计目标二、硬件设计简要说明分享两个硬件设计框图MAX9296/95.pngD3.png三、软件调试踩坑记

在之前接触的设计中如果涉及要实现ADC采样的话，往往会从精度和速率来考虑对性能的影响，一般来说精度是固定的或有一个最大精度设置，但是采样速率的话，过快会造成采样不准确，往往会对整个设计的性能造成限制，所以一直期望有这样一个系统：可以实现高速ADC采样并将数据远端存储也可以本地存储，最关键的是采样速率要快，存储的速度要快，同时在设计开发是灵活度要高。而信迈科技XMTech最新推出的K7+TX2恰好就是这样一个系统原型。XMTech高速16通道数据采集系统XMTech最新推出的高速数据采集系统支持16通道8bi

（Carmel ARMV8.2+ 8GB DDR4L + 16GB eMMC）的工业级 Edge AI BOX 产品这是一款依托 NVIDIA Jetson Xavier NX 核心板开发的工业级嵌入式高性能EdgeAIBOX 整机。采用 Xavier NX 核心板配合自研底板，结合核心板强大的扩展总线，既实 现了整机的小尺寸要求，又展现了 Xavier NX 超强的推理处理能力，是一款适用于高性能视 频、图像（人、物、字等特征要素）识别推理运算的小型边缘计算整机。搭配有线或无线网 络与云端服务器配合，完美

一、3D相机的典型应用领域:1）在工业环境中自动驾驶车辆（如叉车）检测障碍和进行“人工”导航„2）机器人控制的传送带抓取作业或零件拾取作业3）进行有无检测，即使容器/箱子中的对象相比背景根本没有对比度，也可以对其进行检查和计数4）对电路板上的组件进行位置和有无检查5）对各种对象进行体积测量等二、流行的3D技术3D图像处理常使用的技术包括：1）立体视觉和结构光2）激光三角测量法3）ToF(Time-of-Flight)三、立体视觉和结构光立体视觉的工作原理依照人类的一双眼睛。使用两个相机记录一个对象的两个2D

Nvidia NX平台使用FPGA设备采集mipi视频数据调试记录驱动调试硬件原理图