u014351944的博客

无监督学习：一个程序被认为能从经验E中学习，解决任务T，达到性能度量值P，当且仅当，有了经验E，经过P的评判，程序在处理T时性能有所提升。 A computer program is said to learn from experience E with respect to some task T and some performance measure P , if its perfor...

Large Scale machine learning Learning with large datasets 当数据量非常的大的时候，我们应该从中选取少量的数据，使用我们的算法进行计算，绘制学习曲线，如果学习曲线是左边的时候说明算法高方差，这时候提高数据量，就可以提高性能，如果是右边的图形，说明算法高偏差，增加数据量并不会有什么改变 Stochastic Gradient Descent ...

Density Estimation Problem Motivation 异常检测：给定m个假定正常的数据集，对x的分布概率建模，建立概率模型之后，对于新的数据概率低于阈值就是异常的 异常检测的应用: 欺诈检测 产品的质量控制 数据中心的计算机监测 Gaussian Distribution 样本出现的概率符合下列公式就是高斯分布，其中σ\sigmaσ是标准差，μ\muμ是均值 p(x)...

###Clustering ####K-Mean Algorithm 下图中已经有没有标签的点，现在需要分为两类 进行k-Mean算法 1、随机选取两个聚类中心，需要分为几类就选取几个聚类中心 2、遍历所有的点，根据点到聚类中心的距离来判断将该点分到哪个聚类中 3、然后将红色的聚类中心移动到所有红色点的均值位置，蓝色的聚类中心移动到所有蓝色点的均值位置 重复2、3过程直到收敛 K-Mean中...

Evaluating a Learing Algorithm Decidding what to try next 当预测新的数据集，效果很差时： 1. 获取更多的训练数据 2. 减小特征数量 3. 尝试获取附加特征 4. 尝试添加多项式特征 5. 尝试减小λλ\lambda 6. 尝试增加λλ\lambda 机器学习诊疗法：可以帮助你知道机器学习算法是否在工作,而且可以知道...

Large Margin Classification Optimization objective 在逻辑回归中，z对应的h(θ)h(θ)h(\theta)的值 在支持向量机中，把log函数换为图中蓝色线所代表的cost函数 支持向量机中的代价函数 Large Margin Intuition 假设C=100000，我们就希望蓝色款中的式子等于0 当y=1时为了...

Cost Function and Backpropagation Cost Function L：代表神经网络的层数 SlSlS_l：第l层的神经元个数 K：输出神经元的个数 神经网络的代价函数 Backpropagation Algorithm 使用梯度下降，最重要的就是要计算偏导 δ(l)jδj(l)\delta^{(l)}_j表示第l层第j个节点的误差 ...

Neural NetWorking Non-linear Hypotheses 当特征数量大时，在进行逻辑回归和线性回归时要包含所有的相关项，二项式的个数以n^2的量级增长，最终的结果可能过拟合，同时计算量也过大。 Model Representation x0x0x_0为偏置单位，总是等于1，x是输入，hθ(x)hθ(x)h_\theta(x)是输出，θθ\theta是权重即...

Classification and Representation Classification 为了尝试分类，一种方法是使用线性回归，并将所有大于0.5的预测映射为1，而所有的预测都小于0.5映射为0。然而，这种方法并不适用，因为分类实际上并不是一个线性函数。 下面是个肿瘤的例子，y=1就是恶性，y=0就是良性，当使用一条直线去拟合时，可以尝试将输出阈值设为0.5，大于0.5就预测y=...

Multivariate Linear Regression n:特征的个数 x(i)x(i)x^{(i)}：第i个训练样本的输入特征值 x(i)jxj(i)x^{(i)}_j:第i个训练样本的第j个特征值 当有多个特征的时候，假设函数就是如下公式，其中x0x0x_0=1 当有多个特征时，代价函数如下： J(θ0,θ1...θn)=12m∑i=1m(hθ(x(i))−y(i))...

Application example: Photo OCR Problem description and pipeline Photo OCR表示照片光学字符识别，主要解决的问题就是让计算器识别照片中的文字 主要步骤 Sliding windows 由于行人的形状大小相似，以行人检测为例子来说明滑动窗 在图片中选取一小块，使用训练好的分类器进行检测，下面是以8236为例，然后滑动窗口继续进...