文章目录
- 优化算法
-
- 13.1 CPU 和 GPU 的区别?
- 13.2 如何解决训练样本少的问题
- 13.3 什么样的样本集不适合用深度学习?
- 13.4 有没有可能找到比已知算法更好的算法?
- 13.5 何为共线性, 跟过拟合有啥关联?
- 13.6 广义线性模型是怎被应用在深度学习中?
- 13.7 造成梯度消失的原因?
- 13.8 权值初始化方法有哪些?
- 13.9 启发式优化算法中,如何避免陷入局部最优解?
- 13.10 凸优化中如何改进 GD 方法以防止陷入局部最优解?
- 13.11 常见的损失函数?
- 13.14 如何进行特征选择(feature selection)?
- 13.15 梯度消失/梯度爆炸原因,以及解决方法
- 13.16 深度学习为什么不用二阶优化
- 13.17 怎样优化你的深度学习系统?
- 13.18 为什么要设置单一数字评估指标?
- 13.19 满足和优化指标(Satisficing and optimizing metrics)
- 13.20 怎样划分训练/开发/测试集
- 13.21 如何划分开发/测试集大小
- 13.22 什么时候该改变开发/测试集和指标?
- 13.23 设置评估指标的意义?
- 13.24 什么是可避免偏差?
- 13.25 什么是TOP5错误率?
- 13.26 什么是人类水平错误率?
- 13.27 可避免偏差、几大错误率之间的关系?
- 13.28 怎样选取可避免偏差及贝叶斯错误率?
- 13.29 怎样减少方差?
- 13.30 贝叶斯错误率的最佳估计
- 13.31 举机器学习超过单个人类表现几个例子?
- 13.32如何改善你的模型?
- 13.33 理解误差分析
- 13.34 为什么值得花时间查看错误标记数据?
- 13.35 快速搭建初始系统的意义?
- 13.36 为什么要在不同的划分上训练及测试?
- 13.37 如何解决数据不匹配问题?
- 13.38 梯度检验注意事项?
- 13.39什么是随机梯度下降?
- 13.40什么是批量梯度下降?
- 13.41什么是小批量梯度下降?
- 13.42怎么配置mini-batch梯度下降
- 13.43 局部最优的问题
- 13.44 提升算法性能思路
优化算法
13.1 CPU 和 GPU 的区别?
概念:
CPU 全称是 central processing unit,CPU 是一块超大规模的集成电路,是一台计算机的运 算和控制核心,它的主要功能是解释计算机指令和处理计算机软件中的数据。
GPU 全称是 graphics processing unit,GPU 是将计算机系统,所需要的显示信息进行转换 的驱动,并向显示器提供扫描信号,控制显示器的正确显示,是连接显示器和个人电脑主板的 重要元件,是人机对话的重要设备之一。
缓存:
CPU 有大量的缓存结构,目前主流的 CPU 芯片上都有四级缓存,这些缓存结构消耗了大 量的晶体管,在运行的时候需要大量的电力。反观 GPU 的缓存就很简单,目前主流的 GPU 芯 片最多有两层缓存。CPU 消耗在晶体管上的空间和能耗,GPU 都可以用来做成 ALU 单元,也 因此 GPU 比 CPU 的效率要高一些。
响应方式:
对 CPU 来说,要求的是