Luncles的博客

对于某些线性回归的问题，除了用梯度下降，也可以用正规方程的方法。如： 对于上图，如果要求代价函数曲线的最低点，由高等数学的知识，可以令，而当是向量时，可以令。假设我们的训练集特征矩阵为X（包含了），并且训练集结果为向量y，则利用正规方程解出向量。其中T代表矩阵的转置，上标-1代表矩阵的逆。 以下数据为例： 即： 由正规方程的方法，有 由于正规方程的求解过程涉及矩阵的逆运算，所以对于不可逆...

一、电路部分1、施密特触发器重要特性：施密特触发器具有如下特性：输入电压有两个阀值VL、VH，VL施密特触发器通常用作缓冲器消除输入端的干扰。 施密特波形图　　施密特触发器也有两个稳定状态，但与一般触发器不同的是，施密特触发器采用电位触发方式，其状态由输入信号电位维持；对于负向递减和正向递增两种不同变化方向的输入信号，施密特触发器有不同的阀值电压。　　门电路有一个阈值电压，当输入电压从低电平上升到...

已知梯度下降的方向为偏导数方向，即为该点的切线(面)方向。以上两张图分别是未经特征缩放处理和经特征缩放处理过的特征图像，由图1可知，由于图像为椭圆形，因此从外面的圆往里面梯度下降时，梯度下降的方向都会改变，未经缩放处理的梯度下降曲曲折折迭代较多次才能从出发点A到目标点B，而图2中由于是多个同心圆（近似），所以每次梯度下降都大致在一个方向，自然迭代次数就少的多。该过程可用数学推导，证明特征缩放的确可...