木木的笔记

目录想法数学表示胡思乱想时刻想法对于一个连续的函数，比如：y=ax2+bx+cy=ax2+bx+cy=ax^2+bx+c的极值点可以通过求导来确定。 对于y′=2ax+by′=2ax+by' = 2ax + b，当y′=0y′=0y' = 0时，有x=−b2ax=−b2ax = -\frac{b}{2a}，此时取得极值。数学表示对于代价函数 J(...

目录想法数学表达胡思乱想时刻想法对于任意一个数据映射到多维空间，如果是不同的数据集之间必定存在间距，此时能用一个超平面就可以将其分开且间距最大数学表达处理线性问题 建设函数： hθ(x)={10ΘTX≥0ΘTX<0hθ(x)={1ΘTX≥00ΘTX<0h_\theta(x) = \left\{ \begin{array}{2} 1...

目录想法数学表达胡思乱想时刻想法有时对于高维问题往往转化为低维问题更简单明了，如解二元一次方程组，将一个变量用另一个变量表示，转化为一元一次方程求解。 PCA也是将部分变量用其他变量替换，从而得到更简单的数据数学表达这篇文章（作者：刘建平Pinard）已经把要写的都写了胡思乱想时刻PCA、线性回归、SVM的差别 PCA是将数据降低维数...

目录想法数学表达胡思乱想时刻想法将未处理的数据投影到空间中，可以通过聚集程度将数据划分为几个族。如果认为的引入几个点，作为簇的代表，并以数据点到这几个点的聚集程度为依据将数据划分到对应的标记点代表的族中。此处的聚集程度可以考虑使用欧氏距离数学表达代价函数： J(c1,...,cm,μ1,...,μk)=1m∑mi=1∥xi−μci∥2J(c...

目录想法数学表示胡思乱想时刻想法由于训练模型选择的过于复杂，或是训练数据集包含无用的数据，导致假设函数对于训练数据集拟合效果极好，然而对于测试数据集或预测的数据出现较大偏差。 对于上述问题，如果将训练模型简化，或者将无用数据剔除，就能改善这个问题。 正则化是通过某种“惩罚”措施，选择较小的θθ\theta值作为参数，从而达到模型的简化和数据的剔除。...

目录想法数学表达想法如果将整个神经网络看作是一个复杂的函数 Fθ(x)Fθ(x)F_\theta(x) ，那么与线性回归和逻辑回归相似，选取一些恰当的 θθ\theta 值就可以得到假设函数。反向传播算法就是用来确定哪些恰当的 θθ\theta 值数学表达一些数学符号以及正向传播过程已经在神经网络中涉及，此处不做解释神经网络中结合正则化后的代价函...

目录数学表示实现原理数学表示实现原理

目录想法数学表示胡思乱想时刻想法数学表示胡思乱想时刻

目录数学表达胡思乱想时刻数学表达求解代价函数J(θ0,θ1)J(θ0,θ1)J(\theta_0,\theta_1)中的θ0,θ1θ0,θ1\theta_0,\theta_1使得J(θ0,θ1)J(θ0,θ1)J(\theta_0,\theta_1)最小。θ0=0,θ1=0θ0=0,θ1=0\theta_0=0, \theta_1=0重复同时更新θj...

目录想法数学表示胡思乱想时刻想法对于如下的数据 选择合适的θ0,θ1θ0,θ1\theta_0, \theta_1使得假设的线性函数hθ(x)hθ(x)h_\theta(x)接近与训练数据(x,y)(x,y)(x, y)的yyy值数学表示假设的线性函数: hθ(xi)=θ0+θ1xihθ(xi)=θ0+θ1xih_\theta(x_i...

文章目录简单神经网络的“来龙去脉”正向传播反向传播梯度下降算法为何混入其中简单神经网络的“来龙去脉”众所周知，神经网络1有两次传播：正向输出结果，反向修正权重。我们可以摆脱数学的约束，来看看正向传播和反向传播中的某些关键。正向传播神经网络如何处理输入的原始数据并得到较为准确的结果？个人理解，通过神经网络节点之间的权重以及激活函数。权重对数据做出了相关的“选择”，可以“分辩”传递的数...