Iceforest的博客

比赛地址这是一个NLP类型的数据比赛，小白一个，初步了解学习目标：1. 下载数据，读取数据，观察数据2. 将训练集拆分为训练集和验证集。要求：数据3-7分，随机种子20193. 分享自己对数据以及赛题的理解和发现首先导入读取数据和分割数据所需要用的Python包import pandas as pdfrom sklearn.model_selection im...

首先我们导入需要的包import numpy as npimport pandas as pdimport matplotlib.pyplot as plt import osimport seaborn as snsfrom sklearn.model_selection import train_test_split其次我们看看数据长啥样data = pd.read...

目录1.中心极限定理的概念2.正态分布3.极大似然估计4.推导回归Loss function5.损失函数与凸函数之间的关系6.全局最优和局部最优7.推导梯度下降公式8.梯度下降的代码实现9.正则化公式的推导10.L0-Norm,L1-Norm,L2-Norm11.为什么用L1-Norm代替L0-Norm12.学习为什么只对w/Θ做限制，不对b做限制...

本篇为李宏毅机器学习第三次作业内容,不使用sklearn包来手写线性回归完成对PM2.5的预测,先说本次代码的不足和欠缺思考的部分,首先对数据的特征没有进行过多的处理,如异常值和标准化,其次使用的是最简单的一次线性模型,可能存在拟合程度不够,最后采用的梯度下降方法不够优化,没有使用Adagrad方法进行梯度下降.这次的作业和内容还有很多值得完善和思考的地方,但自己手写代码和推导对于机器学习的理解可...

1.从基础概率推导到贝叶斯公式首先需要了解概率的概念:概率是对随机事件发生的可能性的度量，在0-1之间表示事件发生可能性的大小，越接近1表示随机事件发生的可能性越大。其次需要了解条件概率的概念：条件概率是指事件A在另一个事件B已经发生的条件下发生的概率，用P(A|B)来表示。如果两个事件相互独立，意味着事件B的发生和事件A的发生没有关系，此事P(AB) = P(A)P(B)。然后是关于...

随机梯度下降(SGD)是一种简单但又非常高效的方法，主要用于凸损失函数下线性分类器的判别式学习，例如(线性)支持向量机和Logistic 回归。 尽管 SGD 在机器学习社区已经存在了很长时间, 但是最近在 large-scale learning （大规模学习）方面 SGD 获得了相当大的关注。Stochastic Gradient Descent （随机梯度下降法）的优势:...

支持向量机 (SVMs)可用于以下监督学习算法分类,回归和异常检测.支持向量机的优势在于:在高维空间中非常高效. 即使在数据维度比样本数量大的情况下仍然有效. 在决策函数（称为支持向量）中使用训练集的子集,因此它也是高效利用内存的. 通用性: 不同的核函数核函数与特定的决策函数一一对应.常见的 kernel 已经提供,也可以指定定制的内核.支持向量机的缺点包括:...

Kernel ridge regression (KRR) （内核岭回归)它所学习到的在空间中不同的线性函数是由不同的内核和数据所导致的。对于非线性的内核，它与原始空间中的非线性函数相对应。由KernelRidge学习的模型的形式与支持向量回归(SVR) 是一样的。但是他们使用不同的损失函数：内核岭回归（KRR）使用 squared error loss （平方误差损失函数）而 s...

1.线性判别分析Linear Discriminant Analysis（线性判别分析）(sklearn.discriminant_analysiss.LinearDiscriminantAnalysis) 和 Quadratic Discriminant Analysis （二次判别分析）(discriminant_analysis.QuadraticDiscriminantAnalysis...

1.广义线性模型如果是预测值, 在整个模块中，我们定义向量 作为coef_，定义 作为intercept_。1.1 普通最小二乘法LinearRegression拟合一个带有系数 的线性模型，使得数据集实际观测数据和预测数据（估计值）之间的残差平方和最小。其数学表达式为:LinearRegression会调用fit方法来拟合数组 X， y，并且...

特征衍生特征衍生就是指对原始的数据特征进行一些加减乘除或者根据其业务场景来衍生出一些在原始数据集中不存在的特征。IV值IV的全称是InformationValue，也就是信息价值或信息量的意思。在我们对面数据有较多的特征时比如这次的数据有90个特征时，我们不会直接把这90个特征全放在模型中去训练，而是会选出一些来进行训练，那么我们选择的标准是什么呢。通常我们需要考虑的因素很多，比...