山东大学软件学院创新实训——项目记录（一）

基于多模态数据的脑卒中病人健康评估与预测系统

项目介绍

项目背景

“脑卒中”（cerebral stroke）又称“中风”、“脑血管意外”（cerebralvascular accident，CVA）。是一种急性脑血管疾病，是由于脑部血管突然破裂或因血管阻塞导致血液不能流入大脑而引起脑组织损伤的一组疾病，包括缺血性和出血性卒中。缺血性卒中的发病率高于出血性卒中，占脑卒中总数的60%～70%。颈内动脉和椎动脉闭塞和狭窄可引起缺血性脑卒中，年龄多在40岁以上，男性较女性多，严重者可引起死亡。出血性卒中的死亡率较高。调查显示，城乡合计脑卒中已成为我国第一位死亡原因，也是中国成年人残疾的首要原因，脑卒中具有发病率高、死亡率高和致残率高的特点。不同类型的脑卒中，其治疗方式不同。由于一直缺乏有效的治疗手段，目前认为预防是最好的措施。

临床诊断方面，目前主要的诊断技术包括神经学检查，电脑断层扫描（多数情况下没有对比增强）或核磁共振，多普勒超声和造影，主要靠临床症状，辅以成像技术。成像技术也可帮助确定卒中的亚型和原因。

技术创新

本项目的技术创新重点在于提供一种多模态融合的技术手段来辅助医生进行临床诊断。每一种信息的来源或者形式，都可以称为一种模态。我们将利用已拥有的大量多种数据资源，对其进行处理和融合，以期达到更好的临床监测与分析结果。我们的多模态数据主要包括脑电信号的采集（包括EEG、近红外、核磁等），行为数据的采集（使用kinect进行人体行为分析），以及医生的临床评估数据等。同时，我们会提高研究中脑电数据的有效性，利用一些手段如滤波处理脑电数据中的一些高频或低频噪声。最后，我们会使用机器学习的手段来对处理好的数据进行评估，给出建议，辅助医生进行诊断。我们的项目为需求导向，因此会更多关注医生可操作性以及用户可视化体验，打造一个专业便捷的脑卒中病人健康监测与分析平台。

技术难点

本项目的技术难点有两个方面：一个是数据的处理和分析，按处理流程大概分为读取不同格式数据文件并显示基础信息，进行滤波、重置参考电极、独立组分分析、检查并删除伪迹与行为数据统计计算等数据预处理操作，以及最终多模态数据融合分析及其可视化；另一个是桌面应用的开发，主要有设计难点和技术难点等，包括合理地设计平台的界面和功能、根据真实需求及时调整、实现不同语言数据处理脚本的统一，并保持平台的可拓展性。

数据处理和分析方面，医院从临床获取的数据是庞大而缺乏有序整理的，像EEG数据，近红外数据，核磁共振数据和kinect的人体行为数据，从读取数据角度看，不仅不同设备采集到的数据是以不同格式的文件进行呈现，同一设备所采集的数据也会对应不同的存储结构与分辨率，例如EEG数据的文件格式为.cnt、.bdf、.bdf等，kinect数据则是以.avi和.json进行存储，这是我们首先需要融合的地方，要使用不同的方法来处理不同格式的文件，并且完成一些基础信息的显示，例如观察事件值、查看数据信息（采样率、时长等）、浏览通道数据(并可视化)等等。

由于脑电数据中大部分是巨量的、富有噪声的且无法被医生统一并直观使用的数据，所以读取结束后，我们需要对这些数据开发一个比较好的预处理模型来进行去噪和整理，处理过程包括滤波、重置参考电极、独立组分分析、检查并删除伪迹等等，当然这些过程中要进行可视化展示。更具体一点来讲，拿滤波方面举例，它包括多种滤波器，按照通频带分类可分为低通滤波器（LPF）、带通滤波器(BPF)、带阻滤波器(BSF)、高通滤波器(HPF)和全通滤波器(APF)。这些处理过程的每一步都可以进行细化。

对于行为数据，我们读取完成后要对它进行计算，获取到诸如上肢整体速度、上肢速度标准差、速度中位数、上肢整体加速度、上肢整体加速度标准差、左臂平均运动角度、离散稳定比例和连续稳定比例等指标，等待下一步的分析。

数据处理完成后可进行进一步的分析，对于同一个病人数据，我们要完成对他的多模态数据融合分析，首先对于只有一种数据的病人，无论是哪种数据我们都能够就这种数据进行分析诊断；对于有多种数据的病人，我们要对这多种数据融合即多模态数据融合分析。分析则要分别应对不同的数据开发或应用不同的算法，而分析的结果则是根据医生的需求来选择是进行或图表或数据的显示以方便医生使用。最终最重要的部分是将上述数据的结果与医生临床评估数据建立连接，便于系统进一步的预测与监测。

应用开发方面最主要的难点有设计难点和技术难点等。脑科学和康复医学作为当今科研的第一线，已经有不少科研团队在这个领域做出了许多的科研成果，包括我们山东大学的团队前期在这方面也有一定的积累。然而，这部分程序大部分是用matlab和python写成的一些数据处理脚本，相对独立而分散，需要使用者有比较高的计算机专业知识才能够运行起来。把各个脚本统一在一个应用的框架下，正是我们的平台的必要性，而如何实现这个统一也正是我们开发的技术难点之一。而如何合理地设计平台的界面和功能，让医生不需要计算机的专业知识就能方便地进行数据的可视化分析、病情诊断等，则是这个平台的设计难点。在设计方面，我们团队将在设计出平台界面和功能的初稿后，和齐鲁医院康复科的医生进行密切的沟通，在医生的及时反馈中不断修正我们的设计，让平台的设计趋于完善且能满足医生的需求。在技术方面，我们团队初步拟定使用C#和.net进行Windows平台桌面应用开发，并把matlab脚本和python脚本封装成相对独立的模块，通过C#语言在平台主程序内调用模块暴露的接口，松耦合地实现不同语言数据处理脚本的统一，并保持平台的可拓展性。

本项目计划按照规定的时间，团队分工合作，计划同步进行，约两到三人编写对不同模态的数据处理和分析的代码，一到两人负责桌面UI的开发和模块间的融合，并负责与齐鲁医院康复科医生进行沟通，修正我们的开发方向。

实施计划

1-3周 完成全部ui设计
4-9周 完成ui界面的编写以及后端算法的初级版本编写并融合
10-13 周添加更多的更完善的后续功能包括ui的增写并开始离线测试
14-15 周完善改进并进行上线测试

预取成果

实现对多模态数据的融合处理，并方便医生可视化，医生可以直接使用此应用对不同康复阶段的脑卒中病人的健康情况进行评估与预测。