After__today的博客

为神经网络拟合参数代价函数回顾下逻辑回归算法的代价函数：在神经网络中使用的代价函数是逻辑回归算法中使用的代价函数的一般化形式：m：训练集的数量K：分类问题中输出层的神经元的数量：表示第 i 个输出层神经元的输出，是一个K维向量L：神经网络的层数sl：第 l 层的神经元数量sl+1：s(l +1)，第 l +1 层神经元的数量第一个求和项求得是输出层每个神...

线性回归以及使用梯度下降算法最小化代价函数监督学习：训练集——>学习算法——>得到一个函数h。自变量x——>函数h——>输出因变量y的值，h是x到y的函数映射分类问题是预测离散的输出值，0/1离散输出问题而回归一词指的是我们根据之前的数据预测出一个准确的输出值，线性回归中我们要解决的是一个最小化问题，我们要做的事是尽量减少假设的输出值与真实值之间差的平方(h...

感觉回到了统计学多元回归的课堂，融入了使用线代中的矩阵运算在多元情况下梯度下降算法（右边）：下标 j 表示第 j 个参数，上标 (i) 表示第 j 个参数的第 i 条数据，本质上和上一节讲的一元下的梯度下降算法（左边）是一回事优化梯度下降算法的效率一、特征缩放还是房价的例子：当有房屋面积和卧室数量两个参数时，x1的范围很大而x2的范围很小，反映到代价函数上导致很狭长的椭圆形状...

多项式回归概念：与选择特征的想法密切相关的一个概念被称为多项式回归。在课程中还是用的房价预测的例子，假设函数中本来有两个特征：x1：房屋的宽度，x2：房屋的深度（即长宽），这时候创造一个新的特征房屋面积x：宽度与深度的乘积，然后对这个新的特征x选择合适的模型拟合。二次模型size很大时price将会下降不太符合现实，选用三次模型，这里要注意的是这样做的话，特征的归一化就很重要，使它们的...

目录一、了解数据二、探索性数据分析，了解变量分布与变量之间的关系三、采用梯度下降法来求解回归系数四、传入实际数据查看预测结果使用梯度下降法实现简单的线性回归一、了解数据数据集：波士顿房价数据预测变量与目标变量含义：CRIM：每个城镇人均犯罪率ZN：超过25000平方尺用地划为居住用地的百分比INDUS：非零售商用地百分比CHAS：是否被河道包围...

利用scikit-learn做线性回归沿用上次房价数据中的RM(房间数)和MEDV(房价)，使用scikit-learn库中的LinearRegression()来做线性回归。import osimport pandas as pdimport matplotlib.pyplot as pltimport numpy as npfrom sklearn.linear_model ...

Polynomial regression多项式回归这里我们沿用上一节的房价数据，对LSTAT（底层人口比例）和MEDV（房价）做回归分析（原因见Axes网格图），同时将多项式回归结果与简单线性回归效果作比较。其中关于多项式回归在https://blog.youkuaiyun.com/After__today/article/details/81352891中有介绍。import osimport...

分类问题首先了解二分类问题：例如垃圾邮件分类，肿瘤良性恶性问题等等，即下面我们了解一种新的算法：Logistic Regression（逻辑回归算法，首先它既不是逻辑也不是回归），逻辑回归算法的输出值在0到1之间。逻辑回归算法假设函数设置为一个S型函数（也可以叫逻辑函数），其输出值在（0，1）。假设函数的输出值可以理解为对新输入样本x的y=1或者y=0的概率的估计值，也就是在给定x...

过拟合问题及解决方法从线性回归中房价的例子可以很容易理解欠拟合和过拟合的问题过度拟合的问题将会在变量较多的时候发生，这种时候训练的方程总能很好的拟合训练数据，所以代价函数很可能非常接近于0，但是这样的曲线它千方百计的拟合于训练数据，把一些样本自带的属性认作是整个系统所具有的属性，这将导致它无法泛化到新的数据样本中，以至于无法做出正确的预测。（泛化指的是一个假设模型能够应用到新样本的能力...

使用python实现逻辑回归算法数据来源：鸢尾花数据集导入数据集，选取用来做试验的数据df = pd.read_csv('data/iris.csv')# 选取 setosa 和 versicolor 两种花# 两种各选择50个, 把类别改为 0 和 1, 方便画图y = df.iloc[0:100, 4].valuesy = np.where(y == 'setosa',...

神经网络在解决复杂的非线性分类问题上，只是简单的增加逻辑回归的二次项或三次项等等，造成的计算成本太高，并不是解决复杂非线性问题的好办法，当n很大时，将会产生非常多的特征项。例如房价问题，如果有100个特征，增加二次项最终得到的特征项将是5000个，增加三次项得到的特征项是17000个，可见这并不是一个很好的方法。人脑中的神经元树突输入神经，接收一定数目的信息，并做一些计算，轴突输出...

对，就是吴恩达老师的machine learning的公开课，在我大b站有中文简体字幕版而且不会像在coursera上那么卡。课程链接：https://www.bilibili.com/video/av9912938/区分监督学习和无监督学习：一、监督学习：教计算机如何去完成任务（告诉计算机这个该怎么做，那个该怎么做的基础上让计算机学会这些操作，或者说给计算机具有特征的数据让它学习，然...