未来已来

上了吴恩达教授在Coursera上的课程之后，在网上找到了他在斯坦福课程的资料CS229 。下面会结合这两个课程的资料，整理一篇笔记。背景从之前的逻辑回归的模型中，我们可以看到，如果一个样本越远离决策边界(Decision Boundary)，那么我们就越能确保这个样本被正确分类。所以一个比较好的决策边界是尽量能让所有样本到决策边界的距离最大。从下图中可以看到，如果margin越大，我们对样本...

训练集、验证集和测试集训练集(train sets)主要用于训练模型，调整参数，验证集(validation sets)用于进一步调参，而测试集(test sets)用于最后评估模型的精度。一般训练集、验证集和测试集的比例为60%,20%,20%。Bias&Variance我们的学习模型和真实值之间的误差主要来自三个方面：Bias，Variance和随机误差。其中随机误差，也叫噪声，...

本文主要讲的是神经网络用于多分类场景。之前讲到的逻辑回归的模型是这样的：神经网络比逻辑回归多了一些

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。 ...

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。 ...

**欠拟合(Underfitting)也叫高偏差，是指我们的假设模型与训练样本之间的映射效果不好，通常可能的原因是模型太简单，或者我们所用到的参数太少。另一个极端过拟合(Overfitting)**是指与训练样本拟合地非常好，但是却对新数据的预测效果不好。可能的原因是我们选择了过于复杂的模型。下面用Andrew Ng的两幅图来表示欠拟合和过拟合在线性回归和逻辑回归中的效果：那么如何解决过...

分类问题(Classification)是指把数据分成一些离散的输出，比如类1、类2、类3、类4等。逻辑回归(Logistic Regression)虽然名字里有"回归"，但它实际上是一种分类问题的解决办法，主要用于二分类(即输出只有两种，0或1).我们首先讲二分类，然后再介绍多类。1.模型表示逻辑回归的模型实际上就是将线性回归的模型做了sigmoid变换。Sigmoid函数为:g(z)=...

写在前面最近一直在学习斯坦福大学教授Andrew Ng的机器学习课程。决定把所学到的知识整理下来。机器学习算法主要分为两种：监督学习(supervised learning)和无监督学习(unsupervised learning).1.监督学习监督学习是我们已知数据集的正确输出是什么(即标签 label)，想要得到输入和输出的关系。监督学习又分成两种：回归问题(Regression)和...

我们首先通过回归问题中最简单的线性回归(Linear Regression)来了解什么是监督学习。监督学习的模型一般可以表示成如下：在监督学习的问题中，我们要找到一个函数h(x)，使得对于一个给定的数据集x，能预测出对应的输出y。即 y=h(x)y = h(x)y=h(x)如果我们所要预测的y值是连续的，比如房价，那么这就是一个回归问题；如果y值是一些离散的点，比如是良性肿瘤还是恶性肿瘤，...