多模态识别技术如何取代条形码实现自动化

条形码已使用了近50年。它无处不在，几乎万无一失。对于某中心而言，这还不够好。当一件商品进入某中心的物流中心时，员工需要使用条形码在其到达送货车辆的多个不同节点验证其身份。每次都需要拿起物品，找到并扫描条形码。有时，条形码会损坏甚至丢失。

这个过程在品类繁多、形状大小各异的数百万件商品中重复进行，且难以自动化。目前，还没有一款机器人足够通用，可以处理进入仓库的任何物品并进行扫描。

解决方案是什么？增强甚至淘汰条形码。或者，更好的是，彻底摆脱对笨拙低效的人工物品识别的依赖。这正是某中心正在研究的内容，他们使用了多模态识别技术。该过程利用多种信息模态——例如，从物品图像中提取其外观和尺寸——来实现自动识别。

该项目已在汉堡和巴塞罗那的物流中心证明其价值，它被用于传送带上标记存在“虚拟-物理不匹配”的托盘——即托盘中的物品与库存系统列出的物品不符的情况。虽然这种不匹配很少见，但在某中心的规模下，它们会累积起来。

“我们的北极星愿景是将此技术用于机器人操作，”MMID概念最初构想和部署时领导该团队的某中心柏林计算机视觉小组的应用科学经理Nontas Antonakos说。“解决这个问题，让机器人能够拾取和处理物品而无需查找和扫描条形码，是根本性的。它将帮助我们更快、更准确地将包裹送达客户手中。而多模态识别是实现这一目标的基石。”

开发多模态识别

团队最初希望教会算法将物品与其照片进行匹配。但由于过去没有系统地记录物流中心中物品外观图像的工作，训练数据并不存在。第一步只是在物流中心的传送带上为移动的商品拍照，建立一个图像库。

每张图像随后被转换成一个描述性的数字列表，即一个向量。物品的尺寸也成为一个向量。研究人员随后开发了机器学习算法来提取这些向量，并将它们与候选物品的对应向量进行匹配。借助深度学习的力量，团队惊喜地发现，最初实验的匹配率达到了75%到80%。

“这对我们来说是一个巨大的飞跃，”Antonakos说。“我们意识到我们有值得投入的东西。”经过大量的科学投入，多模态识别目前的匹配率接近99%。

如此高的匹配率部分归功于某中心的库存系统确切知道每个物品在履行过程中的每个步骤的位置。该算法无需将物品与某中心数以亿计的整个商品目录进行匹配——这目前是一项不可能的任务。每个物品都来自一个特定的料箱，而每个料箱包含几十种商品。因此，该算法只需将物品与单个料箱内的物品进行匹配。

多模态识别技术首先在波兰什切青的一个物流中心进行了试点，在单个传送线上方安装了一个摄像头，用于拍摄“单一化”托盘——即只包含一件物品的托盘。单一化托盘是理想的选择，因为识别单个物品比尝试区分多个物品然后逐一识别要容易得多。

此外，单一化托盘出现在履行过程的早期阶段，“我们避免了物品一直流转到流程末端才需要有人处理错误的情况，”过去两年深度参与该项目的机器人人工智能应用科学家Doug Morrison说。“然后我们可以直接将不正确的物品回收并放回系统中的正确位置。”

在此阶段利用多模态识别传感器平台还有一个优势，那就是非侵入性：如果系统检测到不匹配，可以处理错误。如果没有不匹配，该过程不会中断流水线。

展望未来

与此同时，摄像头随着每件物品的经过，不断丰富图像库。“这些数据我们稍后会用来改进系统，”在该项目头两年大部分时间里担任科学负责人的某中心高级应用科学家Anton Milan说。“我们免费获取数据，并且不中断任何流程。”

这个学习过程至关重要。例如，多模态识别的最初推出遇到了一个意想不到的挑战，部分原因是某中心促销活动。每小时有数百个某中心智能音箱离开物流中心，它们有两种颜色：灰色和蓝色。算法无法区分它们。

“除了我们看不到的条形码，包装几乎一模一样，”Morrison说。“上面有一个蓝色或灰色圆点的微小图像，我们的系统被搞糊涂了。”

这催生了一个新的重要功能：每次识别都附带一个置信度分数。高分表示可能存在不匹配，相当于“不要让托盘通过”，而低分则等同于“我不确定这个，不要采取任何行动”。

未来，多模态识别可能会整合到履行过程的其他环节，尽管这样做存在障碍。在传送带上，光线和物品速度相对受控且恒定。如果是人工拾取物品，进行手持识别则涉及更多变量。员工的手可能会根据其持握方式使物品检测更具挑战性。此外，如果物品正在从某人的左手传递到右手，识别速度必须更快。机器人研究人员正在努力解决这些挑战。

“这个愿景，即在整个人工履行过程中使用多模态识别，以加速并实现机器人自动化，将会实现，”Antonakos说，“当它实现时，将是我们更快、更准确地将包裹送达客户旅程中的又一步前进。”
更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）或者 我的个人博客 https://blog.qife122.com/
对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号（网络安全技术点滴分享）