现代机器学习研究进展 第三部分 学习范式与训练技巧 第 21 章 表征学习的可迁移性（Transferability of Representations）

严格禁止转载

版权所有 © 2025 刘丹。
本文的全部内容（包括文字、插图、表格、图表、代码示例等）受版权法保护。未经版权所有者书面明确许可，任何单位或个人不得以任何形式（包括但不限于复印、转载、摘编、影印、扫描、改编、录入计算机检索系统、互联网传播、网络下载或以其他方式使用）复制、传播或改编本文的全部或任何部分。
违者将依法追究法律责任。
如需转载或引用本书内容进行教学、研究或出版，请通过以下联系方式申请许可：
联系人：刘丹；电子邮件：3549233510@qq.com。

本章目标：从理论与工程双重角度，系统、严密地讨论“什么样的表征是可迁移的”，如何度量、分析与优化表征的迁移能力。面向博士研究生与高级研究人员：每一步推导给出必要的假设与证明要点，并把结论翻译成可操作的实验协议与实现建议。

本章结构

1. 形式化可迁移性：定义与目标

2. 信息瓶颈与互信息视角（含推导、Fano 不等式、IB Lagrangian）

3. 可迁移性指标（互信息、线性可分性、CKA、SVCCA、margin、伪标签稳定性等）——定义、计算与优缺点

4. 评估协议：线性探针、微调、下游任务集、few-shot、鲁棒性度量（统计显著性）

5. 表征压缩