2017CS231n笔记_S15深度学习的方法和硬件

目录

S15.0前言

S15.1Algorithms for Efficient Inference

S15.2Hardware for Efficient Inference

S15.3Algorithms for Efficient Training

S15.4Hardware for Efficient Training

---

S15.0前言

深度学习正在改变我们的生活，例如自动驾驶，机器翻译，AlphaGo，智能机器人等。目前深度学习的趋势是为了实现更高的准确率，学习模型变得越来越大。大型深度模型就遇到了以下挑战：

1. 模型大小：深度模型越来越庞大，很难应用到手机设置上。并且要通过无线来更新模型。
2. 速度：对于图像分类任务来说，准确率越来越高，但模型的训练时间也来越长。
3. 能效：对于AlphaGo，每一局游戏，会花费3000美元的电费；对于手机，消耗电池；对于数据中心，会增加TCO。越大的模型，会有更大的内存占用，就会耗费更多的能量。

本节将会通过软件硬件的共同设计来改进深度学习的效率。共分为4个部分：算法-推断；硬件-推断；算法-训练；硬件-训练。

---

S15.1Algorithms for Efficient Inference

有助于模型进行有效地推断方法有剪枝Pruning，权重共享Weight Sharing，哈夫曼编码，量化Quantization，低秩近似Low Rank Approximation，Binary / Ternary Net和Winograd Transformation。下面对这些方法进行简要描述。

剪枝Pruning：该方法步骤是：训练权重；剪掉连接；再次训练。该方法能在保证模型准确率不降的情况下，显著减少模型的参数，甚至剪枝之后的模型分类等效果更好。相关论文"Deep Visual-Semantic Alignments for Generating Image Descriptions"，[Han et al. NIPS’15]。

</