imJaron的博客

多元线性回归模型的最小二乘估计结果为如果存在较强的共线性，即 中各列向量之间存在较强的相关性，会导致的从而引起对角线上的 值很大并且不一样的样本也会导致参数估计值变化非常大。即参数估计量的方差也增大，对参数的估计会不准确。因此，是否可以删除掉一些相关性较强的变量呢？如果p个变量之间具有较强的相关性，那么又应当删除哪几个是比较好的呢？本文介

多时候，如果不对数据进行归一化，会导致梯度下降复杂或是xgboost中的损失函数只能选择线性，导致模型效果不佳。下面我结合各类我看到的资料总结一下几种方式的归一化，并有python的实现。从经验上说，归一化是让不同维度之间的特征在数值上有一定比较性，可以大大提高分类器的准确性。如下有个形象的图解：如果不归一化，各维特征的跨度差距很大，目标函数就会是“扁”的：

虽然理解对数据的标准化归一化的好处，但是今天突然想到一个小白的问题，那就是：这样处理后对最终的参数w没有影响吗？有影响的话，那模型还有效吗？经过一番思考与讨论，发现还是之前的理解不够深入，才会有这样的问题。首先，要明确的一点是我们最终需要的是什么？ - 是通过对训练集的数据找规律，即可以应用到未来的数据的规律，从而做出预测。所以，核心是规律，我们可以对原始数据做无数种处理，那么我们也可以找

条件概率分布最好和联合概率分布还有边缘概率分布一起说吧。举一个例子应该就都说清楚了：今天晚上天山童姥玩扔飞镖，飞镖偏离靶心的偏离其实是不确定的，所以适合用概率模型来描述，对吧。概率就是衡量可能性的指标。飞镖偏离靶心小于1厘米的概率，和风速，标靶距离都有关系。假定标靶距离可以是10到20米，风速可以是1米/秒到10米/秒，我们可以把每个距离下，每个风速情况下的偏离小于1厘米的概率，大

极大似然估计        以前多次接触过极大似然估计，但一直都不太明白到底什么原理，最近在看贝叶斯分类，对极大似然估计有了新的认识，总结如下：贝叶斯决策        首先来看贝叶斯分类，我们都知道经典的贝叶斯公式：        其中：p(w)：为先验概率，表示每种类别分布的概率；：类条件概率，表示在某种类别前提下，某事发生的概率

先验概率和后验概率教科书上的解释总是太绕了。其实举个例子大家就明白这两个东西了。假设我们出门堵车的可能因素有两个（就是假设而已，别当真）：车辆太多和交通事故。堵车的概率就是先验概率 。那么如果我们出门之前我们听到新闻说今天路上出了个交通事故，那么我们想算一下堵车的概率，这个就叫做条件概率 。也就是P(堵车|交通事故)。这是有因求果。如果我们已经出了门，然后遇

标题Numpyndarrayndarray数据类型修改ndarray的形状ndarray索引和切片ndarray的转置与轴变换通用函数ndarray与标量的运算NumpyNumPy是用Python进行科学计算的基本软件包。它包含以下内容：一个强大的

当我们使用正则化的线性回归方法预测房价时，发现得到的模型应用于新的数据上时有很大误差，这时，我们可以选择一些解决方案，例如： 上图中的这六种解决方案都有相应的条件，如图中蓝色字体所示。【一、回归模型选择】我们引入一类数据集，叫做cross validation set，即交叉验证数据集。将所有数据按6：2：2 分为training set , cross validat

一、正则化背景监督机器学习问题无非就是“minimizeyour error while regularizing your parameters”，也就是在规则化参数的同时最小化误差。最小化误差是为了让我们的模型拟合我们的训练数据，而规则化参数是防止我们的模型过分拟合我们的训练数据。问题背景：参数太多，会导致我们的模型复杂度上升，容易过拟合。

1.贝叶斯法则机器学习的任务：在给定训练数据D时，确定假设空间H中的最佳假设。最佳假设：一种方法是把它定义为在给定数据D以及H中不同假设的先验概率的有关知识下的最可能假设。贝叶斯理论提供了一种计算假设概率的方法，基于假设的先验概率、给定假设下观察到不同数据的概率以及观察到的数据本身。2.先验概率和后验概率用P(h)表示在没有训练数据前假设h拥有的初始概率。P(h)被

Standardization即标准化，尽量将数据转化为均值为零，方差为一的数据，形如标准正态分布（高斯分布）。实际中我们会忽略数据的分布情况，仅仅是通过改变均值来集中数据，然后将非连续特征除以他们的标准差。sklearn中 scale函数提供了简单快速的singlearray-like数据集操作。一、标准化，均值去除和按方差比例缩放（Standardization, or mean re