在设备上使用超维计算调试TinyML模型的DEBUG-HD

中文标题：在设备上使用超维计算调试TinyML模型的DEBUG-HD 英文标题：DEBUG-HD: Debugging TinyML models on-device using Hyper-Dimensional computing

作者信息：

• Nikhil P Ghanathe，不列颠哥伦比亚大学，电子与计算机工程系，电子邮件：nikhilghanathe@ece.ubc.ca
• Steven J E Wilton，不列颠哥伦比亚大学，电子与计算机工程系，电子邮件：stevew@ece.ubc.ca

论文出处：arXiv:2411.10692v1 [cs.LG]，发布日期为2024年11月16日。

主要内容概述：

摘要： TinyML模型常在无云连接的远程动态环境中运行，容易失败。在这样的场景中，确保模型的可靠性不仅需要检测模型失败，还需要识别失败的根本原因。然而，瞬态失败、隐私问题以及许多应用的安全关键性使得使用原始传感器数据进行离线分析变得复杂。本文提出了DEBUG-HD，一种针对KB级TinyML设备优化的新型资源高效型在设备调试方法，利用超维计算（HDC）。该方法引入了一种新的HDC编码技术，通过传统神经网络实现，使DEBUG-HD在检测各种图像和音频数据集中的输入腐败方面平均性能比以往的二进制HDC方法提高了27%。

1. 引言： 随着机器学习（ML）和嵌入式系统的进步，ML现在可以在被称为TinyML的KB级、毫瓦功率设备上运行。这些始终在线的设备在没有任何云连接的情况下执行所有计算。TinyML越来越多地被用于关键任务场景，如自主导航和医疗诊断。然而，在不确定的环境中部署时，输入可能会不可预测地被腐败（例如，传感器故障或天气变化），维护模型的可靠性变得至关重要。模型的可靠性取决于能否检测到失败并有效识别和解决这些失败的根本原因。尽管最近的研究提出了资源高效的监控机制来检测TinyML系统中的失败，但确保可靠性通常需要识别这些根本原因。本文聚焦于在部署在实地的模型中诊断失败，这是调试的第一步。为了应对资源匮乏的挑战，本文探索了HDC作为一种资源高效的在设备调试范式，利用HDC的轻量级操作和内存优化的表示。本文提出了DEBUG-HD，一个新颖的二进制HDC分类器，可以有效地实时分类这些腐败（数据偏移）。

2. 背景和预备知识： 传统的ML调试工具如TensorFlow Debugger（tfdbg）和TensorBoard允许对TensorFlow图进行深入洞察和可视化监控模型统计信息。在ML调试中，通常使用有损压缩（例如，统计摘要）。其他调试技术关注模型断言和特征解释性方法，帮助以人类可理解的方式解释ML模型的内部工作方式。然而，几乎所有先前的工作都假设可以轻松访问硬件，这对于实地部署的TinyML系统通常是不切实际的。

2.1 HDC预备知识： HDC通过将输入编码/投影到超维空间来利用超维表示的更高区分属性，从而实现更简单、计算和内存友好的学习过程。HDC模型开发有三个关键阶段：编码、训练和推理。在编码阶段，训练集中的所有特征向量通过投影矩阵（通常是随机生成的）编码/投影到超维空间。在训练阶段，通过求和与类别相关的所有编码超向量来学习类别超向量。在推理阶段，对未见测试输入进行编码，创建查询超向量，并计算其与每个类别超向量的相似度得分，预测得分最高的类别。

3. DEBUG-HD： 本节旨在开发一种诊断工具，以识别输入腐败的来源/类型，这是一个极具挑战性的任务。作者的初步评估表明，一个简单的多层感知器（MLP）可以有效识别各种腐败，但会产生显著的开销。因此，探索使用HDC分类器来完成这项任务，因为其更低的内存/计算占用，这得益于其双极性质和简单的并行操作。尽管超维小于1000的限制，但作者旨在通过提出的方法提高性能。

3.1 MLP辅助编码： 为了解决HDC在超维小于1000时的限制，作者设计了一种新的HDC编码器初始化方案，通过一个简单的2层MLP学习编码/投影矩阵。作者观察到，一个没有偏置向量的2层MLP（隐藏+分类层）与HDC分类器非常相似。特别是，隐藏层使用矩阵-向量乘法操作将输入编码/投影到更高维度，这与HDC分类器的编码方法相似。

4. 结果和讨论： 作者在一项音频和两项图像分类任务上评估了DEBUG-HD。使用SpeechCmd、TinyImagnet和CIFAR10的数据集，并使用CIFAR10-C和TinyImagenet-C中的腐败版本。为了避免在设备上的预处理和特征工程的额外成本，直接使用基网络的中间层输出作为HDC的输入。评估和指标部分评估了所有HDC基线在检测腐败任务上的准确性。作者设想了一个场景，其中一组常见的影响输入的腐败用于训练HDC，部署后，仅当模型监控机制检测到基网络的准确性下降时，才调用HDC分类器以识别导致下降的腐败。作者使用300、400和300的超维值来平衡资源使用和准确性。

5. 结论： 本文提出了DEBUG-HD，这是一种资源高效的TinyML设备在设备调试方法，使用HDC。DEBUG-HD利用通过神经网络学习改进的HDC编码技术，在各种数据集中识别输入腐败方面超越了以前的二进制HDC方法。HDC的固有容错能力以及提出的增强编码，加强了TinyML的可靠性。这项工作强调了HDC作为集成TinyML中诊断的稳健基础的潜力，通过创新的实时在设备调试解决方案促进模型可靠性和性能的进步。

限制： HDC方法通常被传统的神经网络（NN）超越，并且通常需要专门的并行硬件，如FPGAs，以充分利用其计算效率。其性能还受到要识别的腐败数量的影响；然而，如果开发人员将重点缩小到特定的腐败，性能可以提高。此外，MLP辅助编码的准确性增益仅在较小的超空间中显著。最后，作者观察到将DEBUG-HD纳入极小模型在玩具数据集上的开销相对于基模型大小显著。尽管如此，DEBUG-HD在更现实的模型中有效运行。