稀疏计算、彩票假说、MoE、SparseGPT

稀疏计算可能是未来10年内最有潜力的深度学习方向之一，稀疏计算模拟了对人脑的观察，人脑在处理信息的时候只有少数神经元在活动，多数神经元是不工作的。而稀疏计算的基本思想是：在计算过程中，将一些不重要的参数设置为0，从而减少计算量。而这种计算量的减少规模经常是10倍级别，这为部署提速提供了想象力。业界已有一些公司例如墨芯科技在做这方面的工作，并取得了一些成果，大家可以看他们的宣传视频（https://mp.weixin.qq.com/s/NHydrLhqJYGbvF7eY2m9RA），下面推荐几篇经典的文章：

The Lottery Ticket Hypothesis（彩票假说）

• 推荐理由： 这是这个领域里非常经典的一篇文章，作者提出了一种生成稀疏的高性能网络的简单方法：在对网络进行训练后，将所有小于某个阈值的权重设置为0（对其进行剪枝），将其余权重重置回其初始配置，然后在保证被剪枝的权重处于冻结状态的情况下（未经过训练），从这个起始配置重新训练网络。在训练最多相同次数的迭代后，它可以与原始网络的测试精度相匹配。
• 论文地址： https://openreview.net/pdf?id=rJl-b3RcF7
• 相关解读： https://zhuanlan.zhihu.com/p/675189739 和 https://www.bilibili.com/read/cv2806397/

A REVIEW OF SPARSE EXPERT MODELS IN DEEP LEARNING （来自Jeff Dean的综述）

• 推荐理由： 尽管彩票假说给业界提供了想象力，但是选择哪些参数裁掉仍是业界一个需要探索的问题。MoE结构提供了一种方案，例如Mixtral 8✖️7B就是一种典型的MoE结构（https://zhuanlan.zhihu.com/p/673527090）。Jeff De