算法梳理
关注
分享
扫一扫
风声想起
立足当下，仰望星空。
展开
-
算法梳理之线性回归
算法梳理之线性回归 算法梳理之线性回归1.机器学习常用名词概念 损失函数（loss function）：是用来估量模型的预测值f(x)与真实值Y的不一致程度，它是一个非负实值函数,通常使用L(Y, f(x))来表示，损失函数越小，模型的健壮性就越好。一般是针对单个样本i。 代价函数（cost function）：是定义在整个训练集上面的，是所有样本误差的总和的平均，也就是损失函数总和的平...原创 2018-12-10 18:48:30 · 207 阅读 · 1 评论 -
李宏毅机器学习 Machine_Learning_2019_Task8
目录：一、决策树(decision tree)模型与学习二、特征选择三、决策树的生成四、应用部分一、决策树(decision tree)模型与学习1、决策树模型决策树（decision tree）在机器学习中是一种基本的分类与回归方法。2、二、特征选择三、决策树的生成四、应用部分...原创 2019-06-15 21:28:50 · 358 阅读 · 0 评论 -
李宏毅机器学习 Machine_Learning_2019_Task6
学习目录个人自己创建数据，实现分类任务生成数据示例：实现一个分类任务的过程：# 导入import numpy as npimport matplotlib.pyplot as plt# 随机生成训练数据def generate_data(seed): np.random.seed(seed) data_size_1 = 300 x1_1 = np.r...原创 2019-06-02 22:10:02 · 186 阅读 · 0 评论 -
李宏毅机器学习 Machine_Learning_2019_Task5
学习目录目录：1、推导LR损失函数(1)2、学习LR梯度下降(2)3、Softmax原理(3)4、softmax损失函数(4)5、softmax梯度下降(5)1、推导LR损失函数逻辑回归中选择 Sigmoid函数作为预测函数。Sigmoid函数：g(z)=11+e−zg(z)=\frac{1}{1+e^-z}g(z)=1+e−z1由这个函数可得：当z趋于正无穷时，g(z)趋于...原创 2019-06-02 21:28:44 · 161 阅读 · 0 评论 -
李宏毅机器学习 Machine_Learning_2019_Task7
学习任务：Additional References(熵的理解)1、信息熵熵 (entropy) 这一词最初来源于热力学。1948年，克劳德·爱尔伍德·香农将热力学中的熵引入信息论，所以也被称为香农熵 (Shannon entropy)，信息熵 (information entropy)。首先，我们先来理解一下信息这个概念。信息是一个很抽象的概念，百度百科将它定义为：指音讯、消息、通讯系统传输...原创 2019-06-06 01:58:33 · 212 阅读 · 0 评论 -
李宏毅机器学习 Machine_Learning_2019_Task2
学习任务：目录：一、理解偏差和方差二、学习误差为什么是偏差和方差而产生的，并且推导数学公式三、过拟合，欠拟合，分别对应bias和variance什么情况四、学习鞍点，复习上次任务学习的全局最优和局部最优五、学习Mini-Batch与SGD六、写出SGD和Mini-Batch的代码七、学习回归模型评价指标一、理解偏差和方差概括：算法的预测误差, 或者说泛化误差(general...原创 2019-05-22 21:52:25 · 285 阅读 · 0 评论 -
李宏毅机器学习 Machine_Learning_2019_Task3
作业1：预测PM2.5的值在这个作业中，我们将用梯度下降方法预测PM2.5的值hw1要求：1、要求python3.5+2、只能用（1）numpy（2）scipy（3）pandas3、请用梯度下降手写线性回归4、最好的公共简单基线5、对于想加载模型而并不想运行整个训练过程的人：hw_best要求：1、要求python3.5+2、任何库都可以用3、在kaggle上获得你选择的更...原创 2019-05-22 21:04:36 · 213 阅读 · 0 评论 -
李宏毅机器学习 Machine_Learning_2019_Task4
学习任务：[目录：从基础概率推导贝叶斯公式，朴素贝叶斯公式(1)学习先验概率(2)学习后验概率(3)学习LR和linear regreeesion之间的区别(4)推导sigmoid function公式(5)](这里写自定义目录标题)一、从基础概率推导贝叶斯公式，朴素贝叶斯公式条件概率公式：设A,B是两个事件，且P(B)>0,则在事件B发生的条件下，事件A发生的条件概...原创 2019-05-25 21:55:58 · 353 阅读 · 0 评论 -
李宏毅机器学习 Machine_Learning_2019_Task1
学习任务：目录：一、了解什么是Machine learning二、中心极限定理、正态分布、最大似然估计三、Loss Function四、泰勒展开五、L2-Norm，L1-Norm，L0-Norm一、了解什么是Machine learning机器学习简而言之就是找到一个function，根据输入得到想要的输出。一种经常引用的英文定义是：A computer program is s...原创 2019-05-13 21:51:40 · 512 阅读 · 0 评论 -
算法梳理之XGBoost
算法梳理之XGBoost目录：一、XGBoost是什么？二、CART树三、 算法原理四、损失函数五、分裂结点算法六、 对缺失值处理七、优缺点八、应用场景九、sklearn参数一、XGBoost是什么？XGBoost是boosting算法家族中的一员大将。Boosting算法的思想是将许多弱分类器集成在一起形成一个强分类器。因为XGBoost是一种提升树模型，所以它是将许多树...原创 2018-12-24 21:34:42 · 860 阅读 · 1 评论 -
算法梳理之随机森林
算法梳理之随机森林目录：一、集成学习概念二、个体学习器概念三、 boosting bagging四、结合策略(平均法，投票法，学习法)五、随机森林思想六、随机森林的推广七、优缺点八、sklearn参数九、应用场景一、集成学习概念集成学习方法，就是将训练的学习器集成在一起,原理来源于PAC (Probably Approximately Correct，可能近似正确学习模型)...原创 2018-12-18 23:18:14 · 1011 阅读 · 0 评论 -
算法梳理之GBDT
算法梳理之GBDT目录：一、集成学习概念二、个体学习器概念三、 boosting bagging四、结合策略(平均法，投票法，学习法)五、随机森林思想六、随机森林的推广七、优缺点八、sklearn参数九、应用场景...原创 2018-12-21 21:42:17 · 588 阅读 · 0 评论 -
李宏毅机器学习 Machine_Learning_2019_Task9
利用 Python 结合 Matplotlib 绘制树图形参考：https://blog.youkuaiyun.com/maotianyi941005/article/details/82349032import matplotlib.pyplot as pltdecisionNode = dict(boxstyle="sawtooth", fc="0.8")leafNode = dict(boxst...原创 2019-06-15 21:58:37 · 264 阅读 · 0 评论