16、多任务学习的实用技巧

多任务学习的实用技巧

1. 肺炎风险预测与输入特征

在肺炎风险预测任务中，ROC（Receiver Operating Characteristic）曲线下面积（ROC Area）是衡量模型性能的重要指标，ROC Area越接近1，表示模型性能越好。对于大多数患者，有192个特征可供使用。不同的输入特征选择方式会对模型性能产生显著影响：
- Net1 ：使用全部192个特征作为输入，这种方式并非最优。
- Net2 ：使用特征选择选出的前50个特征作为输入，能获得更好的性能。
- Net3 ：将前50个特征作为输入，接下来的100个特征作为额外输出，其ROC Area在图中以水平线表示。
- Net4 ：将同样的150个特征全部作为输入，性能反而变差。

以下是不同网络在肺炎风险预测任务中的表现对比表格：
| 网络 | 输入特征情况 | 性能表现 |
| — | — | — |
| Net1 | 全部192个特征作为输入 | 次优 |
| Net2 | 前50个特征作为输入 | 较好 |
| Net3 | 前50个特征作为输入，后100个特征作为额外输出 | - |
| Net4 | 150个特征全部作为输入 | 较差 |

2. 多任务学习（MTL）的优化技巧

2.1 使用大隐藏层

在反向传播网络中进行多任务学习（MTL）的基本思想是，一个任务在隐藏层学到的知识可以对其他任务有用。然而，