31、基于移动的糖尿病问答与预警系统解析

基于移动的糖尿病问答与预警系统解析

1. 系统概述

为助力糖尿病患者或高风险人群开展长期健康管理，研发了一款基于移动设备的问答与预警系统——Dia - AID。该系统借助糖尿病问答、风险评估以及健康记录管理等功能，为用户提供糖尿病相关信息并监测其健康状况。

2. 健康数据管理与预警功能

系统会记录所有上报的健康数据，并自动生成数据变化曲线。例如，能展示Cecil过去7天舒张压高血压的趋势曲线。其工作流程如下：

graph LR
    A[用户提交健康数据] --> B{数据是否在安全范围且无显著变化}
    B -- 是 --> C[显示健康状态信息，如“您的健康状况良好”]
    B -- 否 --> D{是否超出报警范围}
    D -- 是 --> E[评估到达报警值的时间]
    E -- 时间短 --> F[自动警告用户]
    D -- 否 --> C

通过这种结合早期预警的健康数据管理方式，用户可依据警告信息查看自身健康状况并采取行动，以降低糖尿病风险。

3. 实验数据集

由于缺乏可用的糖尿病常见问题解答（FAQ）数据集，实验基于构建的LMD - FAQ知识库进行评估：
- LSI答案排序方法测试 ：从知识库中分别随机选取500、750、1000、1250、1500和1750个中文问答元组，作为评估数据集A的6个子数据集。每个问答元组包含一个问题和一个答案集，答案集有一个正确答案和九个从知识库其余部分随机生成的错误答案，即每个问题有10个候选答案用于排序。
- 答案选择评估 ：假设每个问题有k个候选答案，本文中k设为5和10。
- 当k = 5时，随机生成6000个问答对作为训练数据集B1，2500个问答对作为测试数据集C1。
- 当k = 10时，随机生成8000个问答对作为训练数据集B2，5000个问答对作为测试数据集C2。

4. 评估指标

评估指标包括平均倒数排名（MRR）、返回答案的Accuracy@N、精确率、召回率和F1值，这些都是评估问答系统性能的常用指标：
| 指标 | 定义 |
| ---- | ---- |
| MRR | 第一个正确答案的平均倒数排名。若在排名1检索到正确答案，值为1；在排名2检索到，值为0.5，以此类推。Q为测试集，|Q|表示Q中的问题数量，ranki表示测试问题Qi的答案排名候选中第一个正确答案的位置。 |
| Accuracy@N | 系统返回的前N个答案中正确答案的比例。若前N个候选中有至少一个正确答案，Ci(N) = 1；否则为0。 |
| 精确率 | 任何类别的精确率是真正例（TP）的数量（即正确标记为属于正类别的问题数量）除以标记为属于正类别的问题总数。误报（FP）是系统错误标记的问题数量。 |
| 召回率 | 定义为真正例的数量除以实际属于正类别的问题总数（即真正例和假反例的总和）。 |
| F1值 | 综合考虑精确率和召回率来计算平衡分数。 |

5. LSI答案排序方法实验

为验证基于LSI的答案排序方法，进行了两个实验：
- 实验一：与基线方法比较有效性 ：采用Doc2Vec、潜在狄利克雷分配（LDA）、局部敏感哈希（LSH）、docsim和Synonyms作为基线方法。随机选取500个问题，测量MRR和Accuracy@N（N = 1, 2, 3, 4, 5）的性能。与基线方法相比，该方法在所有评估指标上均取得最佳性能，具体如下表所示：
| 方法 | MRR | Acc@1 |
| ---- | ---- | ---- |
| 本文方法 | 较LSH提高17.80% | 较LSH提高23.52%，排名94.99%的正确答案在前五名 |
| LSH | 基线中最佳 | 0.6733 |

• 实验二：评估稳定性 ：使用评估数据集A，与相同的五个基线方法比较MRR和Acc@1。结果表明，该方法在所有不同大小的问题集上都实现了稳定性能，即使问题数量增加，近85%的正确答案也排在候选答案列表的顶部。

6. 答案选择方法评估

由于答案选择方法使用二元分类器，通过评估答案分类的有效性来评估该方法，设计了三个实验：
- 实验一：训练优化参数
- 从LMD - FAQ知识库中随机选取12,651个问答对作为数据集。
- 将数据集随机打乱并分成两个子组，70%作为训练集，30%作为测试集。
- 使用k折交叉验证评估模型性能。通过调整逻辑回归（LR）分类器的参数“C”（正则化强度的倒数）来避免过拟合/欠拟合问题。结果显示，当“C”等于1时，方法获得最佳性能，该参数将应用于后续两个实验。
- 实验二：测试稳定性
- 当k = 5时，将训练数据集B1随机分为5个训练子集，分别包含2000、3000、4000、5000和6000个问答对。
- 当k = 10时，将训练数据集B2随机分为5个训练子集，分别包含4000、5000、6000、7000和8000个问答对。
- 数据集C1和C2分别作为测试集。评估指标为准确率（Acc）、精确率、召回率和F1值。结果表明，该方法在所有评估指标上表现稳定。当训练数据集大小大于3000时，所有指标的性能均有所提高，且当k = 10时性能更好，说明该方法即使在候选答案列表中有更多错误答案时仍能保持稳定。
- 实验三：与基线方法比较有效性
- 与支持向量机（SVM）、感知机（PPN）、随机森林（RF）、高斯朴素贝叶斯（GaussianNB）和k近邻（KNN）这五种常用分类方法进行比较。
- 使用训练数据集B1和B2以及相应的测试数据集C1和C2。评估指标为准确率、精确率、召回率和F1值。结果如下表所示：
| k值 | 方法 | 准确率 | 精确率 | 召回率 | F1值 |
| ---- | ---- | ---- | ---- | ---- | ---- |
| 5 | 本文方法 | 0.9222 | 0.8859 | 0.8657 | 0.8753 |
| 5 | 基线方法 | - | - | - | - |
| 10 | 本文方法 | 优于基线方法 | 优于基线方法 | 优于基线方法 | 优于基线方法 |
| 10 | 基线方法 | - | - | - | - |

7. 总结

该移动问答和预警系统Dia - AID旨在帮助糖尿病患者或高风险人群进行长期健康管理。通过对系统中的两个关键模型进行评估，并与五种基线方法在各种指标上进行比较，结果表明所提出的方法在性能上优于基线方法。系统的健康数据管理和预警功能能够帮助用户及时了解自身健康状况，采取相应措施降低糖尿病风险；答案排序和选择方法能够为用户更准确地提供问题答案，提高用户满意度。

以下是答案选择方法评估实验的流程图：

graph LR
    A[实验设计] --> B[实验一：训练优化参数]
    A --> C[实验二：测试稳定性]
    A --> D[实验三：与基线方法比较有效性]
    B --> E[选取数据集]
    B --> F[划分训练集和测试集]
    B --> G[调整参数“C”]
    C --> H[k = 5划分训练子集]
    C --> I[k = 10划分训练子集]
    C --> J[使用测试集评估]
    D --> K[选择五种基线方法]
    D --> L[使用训练和测试数据集]
    D --> M[评估指标计算]

总体而言，该系统在糖尿病健康管理和问答方面具有显著的优势和应用潜力。