m0_56602092的博客

上一篇：机器学习笔记(6)——过拟合与正则化之前我们已经学完了基本的线性回归与逻辑回归算法以及相关的正则化技巧，下面我们就要进入令人激动的神经网络的世界前言如果你觉得100个特征用逻辑回归似乎也还能处理，那么我们再来看一个计算机视觉中的一个经典问题——汽车图片识别，但是对于计算机来说一、神经网络思想的起源二、大脑神经元的工作原理...

到现在为止，我们已经学习了几种不同的学习算法，包括线性回归和逻辑回归，它们能够有效地解决许多问题，但是当将它们应用到某些特定的机器学习应用时，会遇到过拟合(over-fitting)的问题，可能会导致它们效果很差。如下线性回归问题的预测函数，第一个欠拟合，而第三个就是过拟合了过拟合：可以非常好的适配训练用的数据，但是对于新数据的预测效果很差。又称这个算法具有高方差，就是为了适配现有的数据用了过多的变量去约束，导致代价函数值虽然接近于0，但是它的预测效果无法推广到新的样本中...

上一篇：机器学习笔记(4)——多变量线性回归逻辑回归实际是一种有监督学习中的分类算法，称为回归是历史原因前言前面我们已经学习了线性回归，线性回归适用于预测一个连续值，就是说预测值可能的范围存在连续，比如前面讲的房价问题，房价可能的值就是一个连续的范围（比如0~10w)，但是它不能很好的处理分类问题，也就是要预测一个离散值（如0，1，2），比如判断一封邮件是否为垃圾邮件，预测值只有1和0两种，其实可以领会到线性回归是对样本整体的一个统计平均，就像一个和事佬，哪边大预测函数的整体趋势就往哪边走一点，而

上：机器学习笔记(3)——梯度下降算法一、多变量线性回归及其预测函数和代价函数的定义目前为止，我们探讨了单变量的回归模型，现在我们对房价模型增加更多的特征，例如房间数、楼层等，构成一个含有多个变量的模型，探讨多变量线性回归问题。如下表所示，其中x(i)：表示第i个样本的各个特征的值组成的向量。x(i)j：表示第i个样本中第j个特征的值预测函数：那么这样多变量的模型的预测函数就和之前单变量的不一样了，预测函数如下包含多个变量，假设一个恒等于1的特征x0，那么预测函数就等于参数向量θ的转置与特征向

一、推荐系统(Recommender Systems)推荐系统是机器学习中的一个重要应用，有很多的网站都会通过推荐系统来推荐新产品给用户，如亚马逊推荐新书给你，网飞公司试图推荐新电影给你，这些推荐系统是根据浏览你过去买过什么书或评价过什么电影来判断。这些系统会为亚马逊和像网飞这样的公司带来很大一部分收入，因此，对推荐系统性能的改善，将对这些企业的有实质性和直接的影响。我们首先来通过一个电影推荐例子来理解推荐系统是要解决什么样的问题。如下有五部电影四个用户，每个用户都对其中几部电影做出了评分，那么推荐

如上文所说，面对高维度、更多参数的情况时，通过画图来寻找最小代价函数值是不现实的，因此本文介绍一种可以将代价函数J最小化的算法——梯度下降（Gradient Descent）。梯度下降是很常用的算法，不仅被用在线性回归上，还被广泛应用于机器学习的众多领域。直观理解梯度下降以包含两个参数的如下代价函数J为例，首先任选一个参数点作为起始点，然后我们需要一点一点的改变（微分）这两个参数的大小，并且每一次改变都要使代价函数值减小最多，直到到达一个无法再下降的最低点，这就是梯度下降。这就如同下山一样，假设下图.

本文将学习监督学习中的线性回归算法，通过学习这个算法的概况来了解监督学习过程完整的流程单变量线性回归以上文中提到的房价预测问题为例，这是一个预测连续输出值的线性回归问题。1. 决定预测函数模型如下，我们来看看在这个例子中监督学习是如何工作的，学习算法要根据（房大小，房价）数据集输出一个预测函数h，函数h接收房大小x作为输入，输出一个房价预测值y，首先需要我们决定函数的形式，我们该如何表达函数h呢 ？一种可能的函数模型为：因为只含有一个特征/输入变量，因此这样的问题叫作单变量线性回归问题。.

一、什么是机器学习机器学习（Machine Learning）是指在没有明确设置的情况下使计算机具有学习能力的领域。机器程序通过在经验E中学习，然后完成任务T，并且完成T的性能指标P能够通过学习经验E来提升。举个栗子，对于一个下象棋的机器学习程序，其对应的E，T，P就是：经验E：大量的象棋棋局对弈记录任务T：机器程序和新对手进行对弈指标P：机器程序赢得比赛的概率二、机器学习有哪些方法机器学习算法大概分为三类，有监督学习（supervised learning）和无监督学习（unsuperv