m0_37985967的博客

为什么要进行归一化？ 机器学习模型被互联网行业广泛应用，一般做机器学习应用的时候大部分时间是花费在特征处理上，其中很关键的一步就是对特征数据进行归一化，为什么要归一化呢？维基百科给出的解释：归一化后加快了梯度下降求最优解的速度；如果机器学习模型使用梯度下降法求最优解时，归一化往往非常有必要，否则很难收敛甚至不能收敛。归一化有可能提高精度；一些分类器需要计算样本之间的距离（如欧氏距离），例如KNN。如果一个特征值域范围非常大，那么距离计算就主要取决于这个特征，从而与实际情况相悖（比如这时..

1. The Problem of Overfitting 1 还是来看预测房价的这个例子，我们先对该数据做线性回归，也就是左边第一张图。 如果这么做，我们可以获得拟合数据的这样一条直线，但是，实际上这并不是一个很好的模型。我们看看这些数据，很明显，随着房子面积增大，住房价格的变化趋于稳定或者说越往右越平缓。因此线性回归并没有很好拟合训练数据。 我们把此类情况称为欠拟合(underfitting)，或者叫作叫做高偏差(bias)。 这两种说法大致相似，都表示没有很好地拟合训练数据。高偏差这个词...

转载https://www.cnblogs.com/spoorer/p/6548727.html SVM -支持向量机原理详解与实践之二 SVM原理分析以下内容接上篇。拉格朗日对偶性（Largrange duality）深入分析前面提到了支持向量机的凸优化问题中拉格朗日对偶性的重要性。因为通过应用拉格朗日对偶性我们可以寻找到最优超平面的二次最优化，所以以下可以将寻找最优超平面二次最优化（原问题），总结为以下几个步骤：在原始权重空间的带约束的优化问题。（注

转载 https://www.cnblogs.com/spoorer/p/6551220.htmlSVM-支持向量机原理详解与实践前言去年由于工作项目的需要实际运用到了SVM和ANN算法,也就是支持向量机和人工神经网络算法，主要是实现项目中的实时采集图片（工业高速摄像头采集）的图像识别的这一部分功能，虽然几经波折，但是还好最终还算顺利完成了项目的任务，忙碌一年，趁着放假有时间好好整理并总结一下，本文的内容包括：前面的部分是对支持向量机原理的分析，后半部分主要直接上手的一些实践的内容。本文

希尔伯特空间是指完备正交的线性空间，可以是无穷维，也可以是有限维。而日常三维可以称为三维完备正交线性空间。是不是很像？要明白希尔伯特空间，先从数学物理角度的维度说起。所谓维度，不单单指空间维度和时间，其最基本的概念叫做，描述一个状态的坐标数。因为是正交的，所以是独立坐标数。（正交下文再提）在空间中，描述一个东西的位置状态，需要三个独立坐标，所以有空间三维。如果要描述物体的运动状态，除了空间三维，还需要它在三个空间方向的动量坐标，即共6个独立坐标，构成了一个六维空间，物理上称之为相空间（对，就是你力学书上那

一般来说, 牛顿法主要应用在两个方面, 1, 求方程的根; 2, 最优化。1，求方程的根其原理便是使用泰勒展开，然后去线性部分，即：                (1)然后令上式等于0，则有：                               

r(d)可以理解为有d的参数进行约束，或者 D 向量有d个维度。咱们将楼主的给的凸优化结构细化一点，别搞得那么抽象，不好解释； , 其中，咱们可以令: f() = .ok，这个先介绍到这里，至于f(x)为什么用多项式的方式去模拟？相信也是很多人的疑问，很简单，大家看看高等数学当中的泰勒展开式就行了，任何函数都可以用多项式的方式去趋近，log x,lnx,等等都可以去趋近，而不同的函数曲线其实就是这些基础函数的组合，理所当然也可以用多项式去趋近，好了，这个就先解释到这里了。接下来咱们看一下拟合的基础概念。首

        研究了半天，终于对“超平面”有了个初步了解。         n 维空间中的超平面由下面的方程确定:              &nb...

语言模型一段自然语言文本可以看作是一个离散时间序列，给定一个长度为TT的词的序列w1,w2,…,wTw1,w2,…,wT，语言模型的目标就是评估该序列是否合理，即计算该序列的概率：P(w1,w2,…,wT).P(w1,w2,…,wT).本节我们介绍基于统计的语言模型，主要是nn元语法（nn-gram）。在后续内容中，我们将会介绍基于神经网络的语言模型。语言模型假设序列w1,w2...

机器学习中按照目的不同可以分为两大类：回归和分类。逻辑回归就是完成分类任务。多讨论二分类和多分类问题。二分类问题可以分为线性可分和线性不可分。在做回归问题的时候，经常做确定性的判别模型。在做分类问题的时候，这种函数一定是不可微的。在分类问题中，看到更多是概率判别模型。当我们在谈论分类指标的时候，例如二分类问题softmax回归模型的从零开始实现，实现一个对Fashi...