lvsolo的专栏

学习中关注的重点：算法方面 1、梯度反向传播公式的推导2、网络总体代价函数的构成；识别偏差loss（对所有patch的平均偏差值）+模型参数复杂度（系数W的平方和均值）+稀疏化代价（平均隐藏层激活度与设定激活度的相对熵）编程方面：用矢量化编程代替for循环，用矩阵运算代替向量运算稀疏自编码网络，顾名思义：稀疏指的是隐藏层神经元的平均激活度较低（0.01）,自编码指的是输出与输入的结果尽

白化 白化的目的就是降低输入的冗余性；更正式的说，我们希望通过白化过程使得学习算法的输入具有如下性质：(i)特征之间相关性较低；(ii)所有特征具有相同的方差。 白化的目的是使得数据的协方差矩阵变为单位矩阵，同时，对数据进行旋转变换并不会改变单位矩阵的值，因此可以对白化后的数据进行旋转，得到的数据协方差仍为单位阵。这就引出了两种数据处理的方法：1、PCA+白化：降维+协方差矩阵归一化去除数

如果你在开发一个音乐分类的应用，需要对k种类型的音乐进行识别，那么是选择使用 softmax 分类器呢，还是使用 logistic 回归算法建立 k 个独立的二元分类器呢？ 这一选择取决于你的类别之间是否互斥，例如，如果你有四个类别的音乐，分别为：古典音乐、乡村音乐、摇滚乐和爵士乐，那么你可以假设每个训练样本只会被打上一个标签（即：一首歌只能属于这四种音乐类型的其中一种），此时你应该使用类别数 k