faker1895的博客

吴恩达机器学习笔记及作业代码实现中文版第五章 正则化过拟合问题线性回归和逻辑回归能够有效地解决许多问题，但是当将它们应用到某些特定的机器学习应用时，会遇到过拟合(over-fitting)的问题，可能会导致它们效果很差。正则化(regularization)的技术，它可以改善或者减少过度拟合问题。如果我们有非常多的特征，我们通过学习得到的假设可能能够非常好地适应训练集（代价...

吴恩达机器学习笔记及作业代码实现中文版第六章 神经网络学习特征和直观理解从本质上讲，神经网络能够通过学习得出其自身的一系列特征。神经网络中，单层神经元（ 无中间层）的计算可用来表示逻辑运算，比如逻辑与(AND)、逻辑或(OR)。逻辑与(AND)：下图中左半部分是神经网络的设计与 output 层表达式，右边上部分是 sigmod 函数，下半部分是真值表。我们可以用这样的...

吴恩达机器学习笔记及作业代码实现中文版第十章 支持向量机优化目标在监督学习中，许多学习算法的性能都非常类似，因此，重要的不是你该选择使用学习算法 A 还是学习算法 B，而更重要的是，所创建的大量数据在应用这些算法时，表现情况通常依赖于你的水平。比如你为学习算法所设计的特征量的选择，以及如何选择正则化参数，诸如此类。支持向量机(Support VectorMachine)，简称 SVM，...

吴恩达机器学习笔记及作业代码实现中文版神经网络参数的反向传播算法理解反向传播为了更好地理解反向传播算法，我们再来仔细研究一下前向传播的原理：反向传播算法做的是：梯度检测当我们对一个较为复杂的模型（例如神经网络）使用梯度下降算法时，可能会存在一些不容易察觉的错误，意味着，虽然代价看上去在不断减小，但最终的结果可能并不是最优解。为了避免这样的问题，我们采取一种叫做梯度的数...

吴恩达机器学习笔记及作业代码实现中文版第十章 支持向量机直观上对大间隔的理解人们有时将支持向量机看作是大间距分类器。支持向量机模型的代价函数，在左边这里我画出了关于 z 的代价函数cost1(z)cost_1(z)cost1​(z)，此函数用于正样本，而在右边这里我画出了关于 z 的代价函数cost0(z)cost_0(z)cost0​(z)，横轴表示 z。最小化代价函数...

吴恩达机器学习笔记及作业代码实现中文版第十章 支持向量机大间隔分类器的数学原理假设我有两个二维向量uuu和vvv，uTvu^TvuTv也叫做向量uuu和vvv之间的内积。向量uuu在横轴上取值为某个u1u_1u1​，而在纵轴上，高度是某个u2u_2u2​作为uuu的第二个分量。∥u∥∥u∥∥u∥表示uuu的范数，即uuu的长度，即向量uuu的欧几里得长度。∥u∥=u12+u22∥...

吴恩达机器学习笔记及作业代码实现中文版第九章 机器学习系统设计确定执行的优先级以一个垃圾邮件分类器算法为例进行讨论。为了解决这样一个问题，我们首先要做的决定是如何选择并表达特征向量xxx。我们可以选择一个由100个最常出现在垃圾邮件中的词所构成的列表，根据这些词是否有在邮件中出现，来获得我们的特征向量（出现为1，不出现为0），尺寸为100×1。为了构建这个分类器算法，我们可以做很...

吴恩达机器学习笔记及作业代码实现中文版第八章 应用机器学习的建议决定下一步做什么获得更多的训练实例——通常是有效的， 但代价较大， 下面的方法也可能有效， 可考虑先采用下面的几种方法：尝试减少特征的数量；尝试获得更多的特征；尝试增加多项式特征；尝试减少正则化程度λ\lambdaλ；尝试增加正则化程度λ\lambdaλ。我们不应该随机选择上面的某种方法来改进我们的算法...

吴恩达机器学习笔记及作业代码实现中文版第二章 单变量线性回归模型描述我们使用一个监督学习算法的例子：预测住房价格。我们要使用一个数据集，数据集包含俄勒冈州波特兰市的住房价格。在这里，我要根据不同房屋尺寸所售出的价格，画出我的数据集。比方说，如果你朋友的房子是 1250 平方尺大小，你要告诉他们这房子能卖多少钱。那么模型也许是条直线，从这个数据模型上来看，他能以大约 220000...

吴恩达机器学习笔记及作业代码实现中文版第一章 绪论：初识机器学习什么是机器学习Machine Learning(机器学习)是研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习被用于数据挖掘的原因之一是网络和自动化技术的增长，这意味着，我们有史上最大的数据集。比如说，大量的硅谷公司正在收集 web 上的单击数据，也称...

吴恩达机器学习笔记及作业代码实现中文版第三章 多变量线性回归多维特征现在我们对房价模型增加更多的特征，例如房间数楼层等，构成一个含有多个变量的模型，模型中的特征为(x1,x2,...,xn)(x_1, x_2, ..., x_n)(x1​,x2​,...,xn​)。增添更多特征后，我们引入一系列新的注释：n代表特征的数量。x(i)x^{(i)}x(i)代表第i个训练实例，...

吴恩达机器学习笔记及作业代码实现中文版第四章 Logistic回归简化代价函数与梯度下降逻辑回归的代价函数：Cost(hθ(x(i)),y(i))=−y(i)log(hθ(x(i)))−(1−y(i))log(1−hθ(x(i)))=−1m∑i=1m[y(i)log(hθ(x(i)))+(1−y(i))log(1−hθ(x(i)))]Cost(h_\theta(x^{(i)}), y^...

吴恩达机器学习笔记及作业代码实现中文版第六章 神经网络学习非线性假设无论是线性回归还是逻辑回归都有这样一个缺点：当特征太多时，计算的负荷会非常大。使用非线性的多项式项，能够帮助我们建立更好的分类模型。假设我们有非常多的特征，例如大于 100 个变量，我们希望用这 100 个特征来构建一个非线性的多项式模型，结果将是数量非常惊人的特征组合，即便我们只采用两两特征的组合(x1x2+x...

吴恩达机器学习笔记及作业代码实现中文版第四章 Logistic回归分类在分类问题中，要预测的变量y是离散的值，逻辑回归 (Logistic Regression) 算法是目前最流行使用最广泛的一种学习算法。在分类问题中，我们尝试预测的是结果是否属于某一个类正确或错误。判断一封电子邮件是否是垃圾邮件。判断一次金融交易是否是欺诈。区别一个肿瘤是恶性的还是良性的。我们...

吴恩达机器学习笔记及作业代码实现中文版神经网络参数的反向传播算法代价函数假设神经网络的训练样本有mmm个，每个包含一组输入xxx和一组输出信号yyy， LLL表示神经网络层数， SIS_ISI​表示每层的神经元个数(SlS_lSl​表示输出层神经元个数)，SLS_LSL​代表最后一层中处理单元的个数。将神经网络的分类定义为两种情况：二类分类和多类分类。二类分类：SL=1S_L...