weixin_47277897的博客

与逻辑回归和神经网络相比，支持向量机，或者简称SVM，在学习复杂的非线性方程时提供了一种更为清晰，更加强大的方式

机器学习系统的设计 解决这样一个问题，我们首先要做的决定是如何选择并表达特征向量X。我们可以选择一个由100个最常出现在垃圾邮件中的词所构成的列表，根据这些词是否有在邮件中出现，来获得我们的特征向量（出现为1，不出现为0），尺寸为100×1。为了构建这个分类器算法，我们可以做很多事，例如：收集更多的数据，让我们有更多的垃圾邮件和非垃圾邮件的样本基于邮件的路由信息开发一系列复杂的特征基于邮件的正文信息开发一系列复杂的特征，包括考虑截词的处理为探测刻意的拼写错误（把watch写...

刚开始学习反向传播算法的时候一脸懵逼，吴恩达教授在讲解这一章节的时候省略了一大段公式的推导，所以导致自己看不懂直接给出的式子到底什么意思，经过了两天的学习，到处查找资料，终于比较弄懂了。代价函数我们回顾逻辑回归问题中我们的代价函数为：在逻辑回归中，我们只有一个输出变量，又称标量（scalar），也只有一个因变量，但是在神经网络中，我们可以有很多输出变量，我们的是一个维度为k的向量，并且我们训练集中的因变量也是同样维度的一个向量，因此我们的代价函数会比逻辑回归更加复杂一些，...

改进算法的几个操作1.尝试减少特征的数量2.尝试获得更多的特征3.尝试增加多项式特征4.尝试减少正则化程度5.尝试增加正则化程度如何评估假设函数当我们确定学习算法的参数的时候，我们考虑的是选择参量来使训练误差最小化，有人认为得到一个非常小的训练误差一定是一件好事，但我们已经知道，仅仅是因为这个假设具有很小的训练误差，并不能说明它就一定是一个好的假设函数。而且我们也学习了过拟合假设函数的例子，所以这推广到新的训练集上是不适用的。如何判断一个假设函数是过拟合的呢？..

神经网络模型建立在很多神经元之上，每一个神经元又是一个个学习模型。这些神经元（也叫激活单元，activation unit）采纳一些特征作为输出，并且根据本身的模型提供一个输出。下图是一个以逻辑回归模型作为自身学习模型的神经元示例，在神经网络中，参数又可被成为权重（weight）。我们设计出了类似于神经元的神经网络，效果如下：其中X1,X2,X3是输入单元，我们将原始数据输入给它们。a1,a2,a2是是中间单元，它们负责将数据进行处理，然后呈递到下一层。最后是输出单元，它...

如果我们有非常多的特征，我们通过学习得到的假设可能能够非常好地适应训练集（代价函数可能几乎为0），但是可能会不能推广到新的数据第一个模型是一个线性模型，欠拟合，不能很好地适应我们的训练集；第三个模型是一个四次方的模型，过于强调拟合原始数据，而丢失了算法的本质：预测新数据。我们可以看出，若给出一个新的值使之预测，它将表现的很差，是过拟合，虽然能非常好地适应我们的训练集但在新输入变量进行预测时可能会效果不好；而中间的模型似乎最合适。分类问题中也存在这样的问题：就以多项式理解，x的次数越...

如何使用逻辑回归 (logistic regression)来解决多类别分类问题第一个例子：假如说你现在需要一个学习算法能自动地将邮件归类到不同的文件夹里，或者说可以自动地加上标签，那么，你也许需要一些不同的文件夹，或者不同的标签来完成这件事，来区分开来自工作的邮件、来自朋友的邮件、来自家人的邮件或者是有关兴趣爱好的邮件，那么，我们就有了这样一个分类问题：其类别有四个，分别用y=1、y=2、y=3、y=4来代表。第二个例子是有关药物诊断的，如果一个病人因为鼻塞来到你的诊所，他可能并没有生病，用...

分类问题 在分类问题中，要预测的变量 y是离散的值,分类问题分为两分类问题和多分类问题分类问题中，我们尝试预测的是结果是否属于某一个类（例如正确或错误）。分类问题的例子有：判断一封电子邮件是否是垃圾邮件；判断一次金融交易是否是欺诈；之前我们也谈到了肿瘤分类问题的例子，区别一个肿瘤是恶性的还是良性的.使用的算法叫做逻辑回归算法首先讨论二元分类问题我们将因变量(dependent variable)可能属于的两个类分别称为负向类（negative class）和正向类（positi...

与单变量线性回归类似，在多变量线性回归中，我们也构建一个代价函数，则这个代价函数是所有建模误差的平方和我们的目标和单变量线性回归问题中一样，是要找出使得代价函数最小的一系列参数。 多变量线性回归的批量梯度下降算法为： 即求导数后得到：当n>=1时我们开始随机选择一系列的参数值，计算所有的预测结果后，再给所有的参数一个新的值，如此循环直到收敛。 梯度下降法实践1-特征缩放 在我们面对多维特征问题的时候，我们要保证这些特征都具有相...

模型表示 我们的第一个学习算法是线性回归算法。在这段视频中，你会看到这个算法的概况，更重要的是你将会了解监督学习过程完整的流程。让我们通过一个例子来开始：这个例子是预测住房价格的，我们要使用一个数据集，数据集包含俄勒冈州波特兰市的住房价格。在这里，我要根据不同房屋尺寸所售出的价格，画出我的数据集。比方说，如果你朋友的房子是1250平方尺大小，你要告诉他们这房子能卖多少钱。那么，你可以做的一件事就是构建一个模型，也许是条直线，从这个数据模型上来看，也许你可以告诉你的朋友，他能以大约220000...

从现在开始写博客记录自己的学习过程，首先记录的是机器学习入门的第一章