风翼冰舟的博客

1. Jacobian在向量分析中, 雅可比矩阵是一阶偏导数以一定方式排列成的矩阵, 其行列式称为雅可比行列式. 还有, 在代数几何中, 代数曲线的雅可比量表示雅可比簇：伴随该曲线的一个代数群, 曲线可以嵌入其中. 它们全部都以数学家卡尔·雅可比(Carl Jacob, 1804年10月4日－1851年2月18日)命名；英文雅可比量”Jacobian”可以发音为[ja ˈko bi ən]

协方差矩阵是衡量样本的属性(即维度)之间的关系，而不是样本与样本之间的关系。比如有100个样本，每个样本10个属性，那么计算得到的协方差矩阵一定是10*10的，而不是100*100的，这个一定要注意。协方差矩阵主要是为了分析属性与属性之间的相关性，而非样本与样本之间的相关性，这一点我一直反着理解了，今天纠正一下自己。比如样本是人，属性是胡子，皱纹，岁数，性别。那么利用协方差矩阵可以测量

不知怎么的，想到了这三个名词之间的关系，特地去查了一下，貌似学问还挺大。以下纯属查阅资料，自己的理解，如有错误，谢谢下方评论纠正^_^主要参考资料：知乎上关于这三个名词的讨论，以及周志华的《机器学习》这本书第45页。偏置-方法是评估模型泛华能力的一个工具。个人感觉这个评估是在训练集中进行的，因为大部分文献说 “bias是期望输出与真实标记的差，如果bias过小会产生过拟合” ；

前言在有些博客推导神经网络的BP时，涉及到多次矩阵求导运算，尤其是反向传播时候，求的梯度结果被转置了，比如假设最后一层的输出为 y=σ(w⋅x+b)y=\sigma\left(w\cdot x+b \right)\\ 那么 ∂y∂w∂y∂x=σ′(w⋅x+b)⋅xT=σ′(w⋅x+b)⋅wT\begin{aligned}\frac{\partial y}{\partial w}&={\

前言之前有证明过一次人工神经网络——【BP】反向传播算法证明 ，但是回头看的时候，有很多地方非常不严谨，特此拿出来再单独证明一次BP，并严格保证其严谨性。如果想看看粗略的证明，可以去看我之前的博客，毕竟那个貌似也没人说细节有问题，估计很多人没有动手拆分推导。三层sigmoid激活函数BP扩展到任意激活函数第一步：前向传播下图展示了一个三层神经网络：相关说明：可见层定义为XX，共有nn个单元，下标用