__阿健__的博客

我们常说的 深度学习 ，其实就是指 神经网络 ，尤其是 大规模的神经网络。那么神经网络究竟是什么？本质上，神经网络属于一种强大有效的机器学习方法 (模型)，同样是通过数据驱动，从数据中学习。最初神经网络算法的诞生是出于 对生物神经系统建模 的目的，但随后与其分道扬镳，成为一个 独立的工程问题，并在机器学习领域取得良好的效果。

当我们 应用深度学习算法，实现 大网络（网络的参数量 nn 很大），多样本（样本数量 mm 很大） 情形下的 大规模 计算处理时，通过 向量化 的方式，将 高度重复的计算组织成 并行的向量运算，对于 简化代码，加速运算 有着非常重要的作用。

实现神经网络的时候，一个好的符号约定能够对繁多的样本数据和网络参数，神经网络的复杂计算等进行有条理地 组织 和 表示。数据标记与上下标xxx：表示输入数据，维度为 nxn_xnx​；yyy：表示输出结果，维度（或者说类别数）为nyn_yny​；上标 (i)^{(i)}(i)（小括号）：代表第 iii 个训练样本，x(i)x^{(i)}x(i) 和 xix_ixi​ 存在混用的情况，注...

什么是端到端学习？In end-to-end reinforcement learning, the end-to-end process, in other words, the entire process from sensors to motors in a robot or agent involves a single, layered or recurrent neural ne...

Epoch一个epoch指代所有的数据送入网络中完成一次前向计算及反向传播的过程在训练时，将所有数据迭代训练一次是不够的，需要反复多次才能拟合收敛，即需要多个epoch。随着epoch数量的增加，神经网络中权重更新迭代的次数增多，曲线从最开始的不拟合状态，慢慢进入优化拟合状态，最终进入过拟合。问：epoch的个数是非常重要的。那么究竟设置为多少才合适呢？恐怕没有一个确切的答案。对于不同的...