10、边缘设备医疗图像分类模型优化

边缘设备医疗图像分类模型优化

1. 背景

在医疗领域，机器学习算法具有缓解医疗资源获取不平等的潜力，能够为资源匮乏地区提供自动化诊断支持。然而，这些模型通常需要在高端硬件或云服务器上运行，限制了其在边缘设备上的应用。为了实现机器学习的公平获取，并利用有限资源环境中广泛的移动接入，有必要在边缘设备上测试这些模型。

边缘设备和高端服务器架构各有优缺点。云服务器具有强大的计算能力和内存，但成本高昂，且网络带宽有限，下载模型或上传数据到服务器是一项资源密集型任务。相比之下，边缘设备在内存和计算能力方面受到限制，但价格便宜，不受网络速度的限制，在金融和/或网络资源有限的环境中更易获取。在医疗应用中，边缘设备还具有隐私优势，因为患者信息无需离开设备即可进行模型推理，不受HIPAA限制。

本研究旨在评估优化临床机器学习模型在边缘设备上的优缺点，研究了三个指标：模型大小、推理延迟和模型准确性（以ROC曲线下面积AUC-ROC表示）。使用在NIH Chest-XRay14数据集上训练的放射学模型，并通过三种量化方法进行优化：动态范围量化、Float-16量化和全Int8量化。

2. 模型压缩技术概述

常见的边缘设备模型压缩技术主要有量化和剪枝两种。这些方法在略微降低准确性的前提下，降低了模型复杂度，提高了计算速度和减小了模型大小，同时还能降低功耗和带宽利用率。

• 量化 ：将模型值降低到更低位的表示形式。例如，将使用Float32精度训练的模型压缩为使用Float16或Int8精度表示权重、偏置和/或激活值。这种精度降低通常对模型准确性影响较小，但可将内存使用量减少多达4倍。在ARM C