weixin_44341114的博客

梯度下降法多元线性回归算法推演一 逻辑推演有数据Data( 上标为列号,下标为行号)[x11x21...xn1y1x12x22...xn2y2x13x23...xn3y3..............x1mx2m...xnmym] \begin{bmatrix} x_1^1 & x_2^1 \quad ...&x_n^1& y^1 ...

机器学习算法第十篇主要内容:决策树算法+CART(回归树)  \  CART算法概念CART(classification and regression tree) 故英文名思意:分类和回归树.CART算法包含决策树生成和决策树剪枝两部分CART决策生成树部分主要分为生成回归树和生成分类树本篇主要讲生成回归树  \    \ &...

机器学习算法第九篇主要内容:决策树+损失函数+剪枝算法(此剪枝算法只适用于ID3于C4.5)剪枝目的:解决决策树过拟合问题决策树过拟合:根据ID3与C4.5的算法我们可以知道,决策树依据信息增益或信息增益比在不断的迭代生产新的子节点,直到不能继续下去为止这个过程中,算法只考虑当前节点的特征选择与数据的划分,并无对树形结构复杂度的考虑,然后生成一颗非常复杂的树,这种树可能会得...

机器学习算法第八篇主要内容:决策树算法+C4.5算法+信息增益比通俗的讲决策树:算法目的:求通过训练集计算出一个最合适的决策树模型,并可以对输入的样本进行分类或回归预测决策树原理:相同的原因会生产相同类似的结果---->相同的输入特征会产生相同或相似的输出y决策树的结构:由节点和有向边组成,内部节点表示一个特征或属性,叶子节点表示一个类分类与回归预测的...

机器学习算法第七篇主要内容:决策树算法+ID3算法+熵+条件熵+信息增益(熵减)通俗的讲决策树:算法目的:求通过训练集计算出一个最合适的决策树模型,并可以对输入的样本进行分类或回归预测决策树原理:相同的原因会生产相同类似的结果---->相同的输入特征会产生相同或相似的输出y决策树的结构:由节点和有向边组成,内部节点表示一个特征或属性,叶子节点表示一个类...

朴素贝叶斯算法逻辑:本文目内容:算法推导算法逻辑与数学核心向 \  首先有数据Data样本Xi(x1i,x2i...xni),上标为列号,下标为行号,分类L(A,B,C)首先有\\数据Data\\ 样本X^i(x_1^i,x_2^i...x_n^i),上标为列号,下标为行号,\\ 分类L(A,B,C)首先有数据Data样本Xi(x1i​,x2i​......

机器学习算法第四篇本文目内容:逻辑回归算法推导本文基于梯度下降法, 多元线性回归本文为纯数学向分析各种预设 \  设有数据Data如下(上标为列号,下标为行号),y取值为1或0,用于区分该样本的分类设有数据Data如下( 上标为列号,下标为行号),y取值为1 或 0,用于区分该样本的分类设有数据Data如下(上标为列号,下标为行号),y取值为1或0,用于区分该样...

机器学习算法第四篇主要内容:岭回归算法展开通常如此说为了避免多项式模型的过拟合问题,在损失函数上加入正则项在一般的回归问题上损失函数是平方损失,故正则化项也可以采用参数θ\thetaθ的L2范数,这种多项式模型被称为岭回归算法(1)J(θ1,θ2...θn)=12m∑i=1m(hθ(x)−yi)2+λ∑j=1nθj2J(\theta_1,\theta_2...\theta_n)=\fra...

机器学习算法第三篇本文目内容:梯度下降法算法推导本文基于多元线性回归数学核心向 \   \  背景:标准方程法解线性回归时的代价函数矩阵化过程中当x_data中数据的特征比数据的行数多时候,无法化成下式子,因为XTXX^TXXTX不是满秩矩阵,无法求逆θ=(XTX)−1XTY \theta=(X^TX)^{-1}X^TYθ=(XTX)...

机器学习的学习笔记关于线性回归使用标准方程法的算法推演或许只有我自己能看懂一 逻辑推演有数据Data( 上标为列号,下标为行号)[x11x21...xn1y1x12x22...xn2y2x13x23...xn3y3..............x1mx2m...xnmym] \begin{bmatrix} x_1^1 & x_2^1 \quad ...&amp

机器学习算法第十一篇主要内容:决策树算法+CART(分类树)  \  CART算法概念CART(classification and regression tree) 故英文名思意:分类和回归树.CART算法包含决策树生成和决策树剪枝两部分CART决策生成树部分主要分为生成回归树和生成分类树本篇主要讲生成分类树  \    \ ...