19、双重学习：总结与展望

双重学习：总结与展望

1. 双重学习原理与学习设置

双重学习有两条重要原理，其中边际概率原理指出，样本 $y$ 的边际概率可以通过两种模型计算得出，公式为：
$P(y) = E_{x∼P(x)}P(y|x; f ) = E_{x∼P(x|y;g)}P(y|x; f )\frac{P(x)}{P(x|y; g)}$

联合概率原理主要用于有标签数据的监督学习和推理，而边际概率原理通常用于无标签数据的学习。

双重学习主要在以下四种学习设置中展开：
- 双重半监督学习：同时使用有标签和无标签数据进行双重学习。
- 双重无监督学习：仅使用无标签数据进行训练。
- 双重监督学习：仅使用有标签数据进行训练。
- 双重推理：利用结构对偶性进行推理。

双重学习已在众多应用中得到研究和应用，涵盖机器翻译、图像翻译、语音合成与生成、问答与生成、代码摘要与生成、图像分类与生成、文本摘要、情感分析等领域。以下是双重学习工作的分类情况：
|学习类型|应用领域|
| ---- | ---- |
|半监督学习|机器翻译、语音合成与识别、图像字幕、图像翻译、图像分割、图像超分辨率、心脏指标估计、对话、语义解析、关系提取、推荐、用户身份链接、安全学习|
|无监督学习|机器翻译、图像翻译、人脸补全、识别、操作、语义解析、文本风格转换、对话|
|监督学习|视觉问答与生成、视频与相册字幕、对话、语音转换|
|迁移学习|零样本图像分类、零样本跨媒体检索、跨领域推荐|
|联合概率监督学习|机器翻译、情感分析、图像分类/生成、问答与生成、视觉问答与生成、语义解析、语音转换、可解释推荐| <