<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[singularity1980的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/singularity1980</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; singularity1980]]></copyright><item><title><![CDATA[逻辑回归---3.回归评估方法--精确率与召回率]]></title><link>https://blog.youkuaiyun.com/singularity1980/article/details/89931072</link><guid>https://blog.youkuaiyun.com/singularity1980/article/details/89931072</guid><author>singularity1980</author><pubDate>Tue, 07 May 2019 22:27:16 +0800</pubDate><description><![CDATA[精确率与召回率
什么是混淆矩阵
在分类任务下，预测结果(Predicted Condition)与正确标记(True Condition)之间存在四种不同的组合，构成混淆矩阵(适用于多分类)

精确率:  预测结果为正例样本中真实为正例的比例

召回率:真实为正例的样本中预测结果为正例的比例（查得全，对正样本的区分能力）

还有其他的评估标准，F1-score，反映了模型的稳健型

分类评估报告A...]]></description><category></category></item><item><title><![CDATA[逻辑回归---API简介]]></title><link>https://blog.youkuaiyun.com/singularity1980/article/details/89930992</link><guid>https://blog.youkuaiyun.com/singularity1980/article/details/89930992</guid><author>singularity1980</author><pubDate>Tue, 07 May 2019 22:22:12 +0800</pubDate><description><![CDATA[sklearn.linear_model.LogisticRegression(solver=‘liblinear’, penalty=‘l2’, C = 1.0)
solver可选参数:{‘liblinear’, ‘sag’, ‘saga’,‘newton-cg’, ‘lbfgs’}，
默认: ‘liblinear’；用于优化问题的算法。
对于小数据集来说，“liblinear”是个不错的选择，...]]></description><category></category></item><item><title><![CDATA[逻辑回归---1.简介]]></title><link>https://blog.youkuaiyun.com/singularity1980/article/details/89930985</link><guid>https://blog.youkuaiyun.com/singularity1980/article/details/89930985</guid><author>singularity1980</author><pubDate>Tue, 07 May 2019 22:21:41 +0800</pubDate><description><![CDATA[定义:
逻辑回归（Logistic Regression）是机器学习中的一种分类模型，逻辑回归是一种分类算法，虽然名字中带有回归，但是它与回归之间有一定的联系。由于算法的简单和高效，在实际中应用非常广泛。
应用:
广告点击率
是否为垃圾邮件
是否患病
金融诈骗
虚假账号
看到上面的例子，我们可以发现其中的特点，那就是都属于两个类别之间的判断。逻辑回归就是解决二分类问题的利器
原理:
逻辑回归的输入...]]></description><category></category></item><item><title><![CDATA[线性回归---7,正则化的线性模型]]></title><link>https://blog.youkuaiyun.com/singularity1980/article/details/89930907</link><guid>https://blog.youkuaiyun.com/singularity1980/article/details/89930907</guid><author>singularity1980</author><pubDate>Tue, 07 May 2019 22:16:59 +0800</pubDate><description><![CDATA[Ridge Regression 岭回归
Lasso 回归
Elastic Net 弹性网络
Early stopping
1 Ridge Regression (岭回归，又名 岭回归是线性回归的正则化版本，即在原来的线性回归的 cost function 中添加正则项（regularization term）: Tikhonov regularization)

以达到在拟合数据的同时，使模型权...]]></description><category></category></item><item><title><![CDATA[线性回归---7.欠拟合和过拟合]]></title><link>https://blog.youkuaiyun.com/singularity1980/article/details/89930829</link><guid>https://blog.youkuaiyun.com/singularity1980/article/details/89930829</guid><author>singularity1980</author><pubDate>Tue, 07 May 2019 22:12:10 +0800</pubDate><description><![CDATA[定义:
过拟合:
训练集表现好,测试集表现不好
欠拟合:
训练集,测试集表现都不好
原因及解决办法:
欠拟合:
特征过少
解决办法:
添加其他特征项
添加多项式特征
过拟合:
特征过多,嘈杂特征,尝试兼顾太多
解决办法:
重新清洗数据
增大数据的训练量
正则化
减少特征维度,防止维灾难
正则化
定义:
在学习的时候,数据提供的特征有些影响模型复杂度或者这个特征的数据的异常点较多,所以在学习的时候尽...]]></description><category></category></item><item><title><![CDATA[线性回归之---6.API介绍及应用]]></title><link>https://blog.youkuaiyun.com/singularity1980/article/details/89919196</link><guid>https://blog.youkuaiyun.com/singularity1980/article/details/89919196</guid><author>singularity1980</author><pubDate>Tue, 07 May 2019 13:30:32 +0800</pubDate><description><![CDATA[sklearn.linear_model.LinearRegression(fit_intercept=True)
通过正规方程优化
fit_intercept：是否计算偏置
LinearRegression.coef_：回归系数
LinearRegression.intercept_：偏置
sklearn.linear_model.SGDRegressor(loss=“squared_loss”...]]></description><category></category></item><item><title><![CDATA[线性回归---5.梯度下降法介绍]]></title><link>https://blog.youkuaiyun.com/singularity1980/article/details/89919143</link><guid>https://blog.youkuaiyun.com/singularity1980/article/details/89919143</guid><author>singularity1980</author><pubDate>Tue, 07 May 2019 13:24:58 +0800</pubDate><description><![CDATA[1.全梯度下降法  FG
定义:
计算训练集所有样本误差,对其在求取平均值作为目标函数
缺点:
计算整个数据集,梯度下降慢
计算量有限
不能在线更新模型,即在运行过程中,不能增加新的样本
容易陷入局部最优解

2.随机梯度下降算法 SG
定义:
计算单个样本的误差,每次只带入计算一个样本函数的梯度来更新权重,再取下一个样本重复此过程,知道损失函数值停止下降或者函数值小于某个可以容忍的阈值.
缺点:...]]></description><category></category></item><item><title><![CDATA[线性回归---4.线性回归的损失和优化]]></title><link>https://blog.youkuaiyun.com/singularity1980/article/details/89891163</link><guid>https://blog.youkuaiyun.com/singularity1980/article/details/89891163</guid><author>singularity1980</author><pubDate>Mon, 06 May 2019 20:52:19 +0800</pubDate><description><![CDATA[1.什么是损失
真是值和预测值之间的误差
公式:最小二乘法

2.如何进行优化
第一种方法  正规方程

举例

详解:
1.特征值逆矩阵   乘  特征值原矩阵  乘  特征值逆矩阵  * 目标值矩阵  T 就是矩阵转置  -1就是逆矩阵


第二种方法  梯度下降
概念
梯度是微积分中一个很重要的概念
​ 在单变量的函数中，梯度其实就是函数的微分，代表着函数在某个给定点的切线的斜率
​ 在多变...]]></description><category></category></item><item><title><![CDATA[线性回归---3.求导]]></title><link>https://blog.youkuaiyun.com/singularity1980/article/details/89886083</link><guid>https://blog.youkuaiyun.com/singularity1980/article/details/89886083</guid><author>singularity1980</author><pubDate>Mon, 06 May 2019 16:41:12 +0800</pubDate><description><![CDATA[定义:
求导是数学计算中的一个计算方法，它的定义就是，当自变量的增量趋于零时，因变量的增量与自变量的增量之商的极限。在一个函数存在导数时，称这个函数可导或者可微分。可导的函数一定连续。不连续的函数一定不可导。
常用导数公式





...]]></description><category></category></item><item><title><![CDATA[线性回归---2.api初步使用]]></title><link>https://blog.youkuaiyun.com/singularity1980/article/details/89885861</link><guid>https://blog.youkuaiyun.com/singularity1980/article/details/89885861</guid><author>singularity1980</author><pubDate>Mon, 06 May 2019 16:32:54 +0800</pubDate><description><![CDATA[1.线性回归API:
sklearn.linear_model.LinearRegression()
LinearRegression.coef_：回归系数
2…1举例

2.2步骤分析
获取数据集
数据的基本处理
特征工程
机器学习
模型评估
2.3代码
导入模块
from sklearn.linern.liner_model import LinearRegression
构造数据集
x = ...]]></description><category></category></item><item><title><![CDATA[线性回归之---1.0简介]]></title><link>https://blog.youkuaiyun.com/singularity1980/article/details/89885594</link><guid>https://blog.youkuaiyun.com/singularity1980/article/details/89885594</guid><author>singularity1980</author><pubDate>Mon, 06 May 2019 16:23:54 +0800</pubDate><description><![CDATA[一.线性回归的应用场景
房价预测
销售额度预测
贷款额度预测
二.什么是线性回归
定义:
线性回归是利用回归方程(函数),对一个或多个自变量(特征值)和因变量之间的关系进行建模的一种分析方式.
特点:只有一个自变量的情况称为单变量回归,多于一个自变量的情况叫做多元回归
通用公式:

矩阵表示


从列的角度看

三.线性回归的特征与目标的关系分析
线性关系—单变量线性关系

线性关系—多变量线性关...]]></description><category></category></item><item><title><![CDATA[机器学习 10  交叉验证，网格搜索   案例优化]]></title><link>https://blog.youkuaiyun.com/singularity1980/article/details/89676410</link><guid>https://blog.youkuaiyun.com/singularity1980/article/details/89676410</guid><author>singularity1980</author><pubDate>Wed, 01 May 2019 11:24:53 +0800</pubDate><description><![CDATA[什么是交叉验证？
交叉验证：将拿到的训练数据，分为训练和验证集。以下图为例：将数据分成4份，其中一份作为验证集。然后经过4次(组)的测试，每次都更换不同的验证集。即得到4组模型的结果，取平均值作为最终结果。又称4折交叉验证。
如图：
为什么需要交叉验证
为了让被评估的模型更加准确可信
怎么做到交叉验证
使用网格搜索
API：
sklearn.model_selection.GridSearchCV...]]></description><category></category></item><item><title><![CDATA[小知识点分析-----fit_transform和transform的区别]]></title><link>https://blog.youkuaiyun.com/singularity1980/article/details/89675526</link><guid>https://blog.youkuaiyun.com/singularity1980/article/details/89675526</guid><author>singularity1980</author><pubDate>Mon, 29 Apr 2019 15:17:12 +0800</pubDate><description><![CDATA[fit_transform是fit和transform的组合。


fit(x,y)传两个参数的是有监督学习的算法，fit(x)传一个参数的是无监督学习的算法，比如降维、特征提取、标准化。
机器学习的算法可以分为：
监督学习：特征值+目标值
回归问题：目标值是连续的
分类问题：目标值是离散的
无监督学习： 特征值
半监督学习：有特征值，但是一部分数据有目标值，其他数据没有目标值
强化学习型：根...]]></description><category></category></item><item><title><![CDATA[机器学习   09  鸢尾花种类预测实现流程  -------第一个机器学习案例]]></title><link>https://blog.youkuaiyun.com/singularity1980/article/details/89675282</link><guid>https://blog.youkuaiyun.com/singularity1980/article/details/89675282</guid><author>singularity1980</author><pubDate>Mon, 29 Apr 2019 15:08:59 +0800</pubDate><description><![CDATA[机器学习的过程
1.获取数据集
2.数据基本处理
3.特征工程
4.机器学习(模型训练)
5.模型评估
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sk...]]></description><category></category></item><item><title><![CDATA[机器学习  08  特征工程  特征预处理]]></title><link>https://blog.youkuaiyun.com/singularity1980/article/details/89675215</link><guid>https://blog.youkuaiyun.com/singularity1980/article/details/89675215</guid><author>singularity1980</author><pubDate>Mon, 29 Apr 2019 15:06:37 +0800</pubDate><description><![CDATA[是什么？
通过一些转换函数将特征数据转换成更加适合算法模型的特征数据过程
为什么？
特征的单位或者大小相差较大，或者某特征的方差相比其他的特征要大出几个数量级，容易影响（支配）目标结果，使得一些算法无法学习到其它的特征
怎么做？
归一化
标准化
详解归一化，此部分理解即可
定义：
通过对原始数据进行变换把数据映射到(默认为[0,1])之间
公式：

作用于每一列，max为一列的最大值，min为一列...]]></description><category></category></item><item><title><![CDATA[机器学习  07  查看数据分布+数据集的划分]]></title><link>https://blog.youkuaiyun.com/singularity1980/article/details/89673418</link><guid>https://blog.youkuaiyun.com/singularity1980/article/details/89673418</guid><author>singularity1980</author><pubDate>Mon, 29 Apr 2019 13:57:50 +0800</pubDate><description><![CDATA[数据分布
使用到了seaborn
介绍：
Seaborn 是基于 Matplotlib 核心库进行了更高级的 API 封装，可以让你轻松地画出更漂亮的图形。而 Seaborn 的漂亮主要体现在配色更加舒服、以及图形元素的样式更加细腻。
安装：
安装 pip3 install seaborn
seaborn.lmplot() 是一个非常有用的方法，它会在绘制二维散点图时，自动完成回归拟合
sns.l...]]></description><category></category></item><item><title><![CDATA[机器学习 06   scikit-learn 数据集介绍]]></title><link>https://blog.youkuaiyun.com/singularity1980/article/details/89672548</link><guid>https://blog.youkuaiyun.com/singularity1980/article/details/89672548</guid><author>singularity1980</author><pubDate>Mon, 29 Apr 2019 12:57:14 +0800</pubDate><description><![CDATA[案例用到的数据来源于scikit-learn
获取数据集
sklearn.datasets
		加载获取流行数据集
		
		**datasets.load_*()**
		
		获取小规模数据集，数据包含在datasets里
		
		**datasets.fetch_*(data_home=None)**
		
		获取大规模数据集，需要从网络上下载，函数的第一个参数是

data_home...]]></description><category></category></item><item><title><![CDATA[机器学习  05  Scikit-learn简介]]></title><link>https://blog.youkuaiyun.com/singularity1980/article/details/89672485</link><guid>https://blog.youkuaiyun.com/singularity1980/article/details/89672485</guid><author>singularity1980</author><pubDate>Mon, 29 Apr 2019 12:50:43 +0800</pubDate><description><![CDATA[https://scikit-learn.org/stable/ scikit-learn官网
一  安装
pip3 install scikit-learn==0.19.1
注意
安装scikit-learn需要Numpy, Scipy等库
二  Scikit-learn包含的内容
Scikit-learn的基本功能主要被分为六大部分：分类，回归，聚类，数据降维，模型选择和数据预处理
2.1分类...]]></description><category></category></item><item><title><![CDATA[机器学习04 kd树]]></title><link>https://blog.youkuaiyun.com/singularity1980/article/details/89672222</link><guid>https://blog.youkuaiyun.com/singularity1980/article/details/89672222</guid><author>singularity1980</author><pubDate>Mon, 29 Apr 2019 12:25:40 +0800</pubDate><description><![CDATA[为什么要使用kd树
k近邻法最简单的实现是线性扫描（穷举搜索），即要计算输入实例与每一个训练实例的距离。计算并存储好以后，再查找K近邻。当训练集很大时，计算非常耗时。
为了提高kNN搜索的效率，可以考虑使用特殊的结构存储训练数据，以减小计算距离的次数。

什么是kd树
kd树：为了避免每次都重新计算一遍距离，算法会把距离信息保存在一棵树里，这样在计算之前从树里查询距离信息，尽量避免重新计算。其基本...]]></description><category></category></item><item><title><![CDATA[机器学习03   K值的选择]]></title><link>https://blog.youkuaiyun.com/singularity1980/article/details/89671676</link><guid>https://blog.youkuaiyun.com/singularity1980/article/details/89671676</guid><author>singularity1980</author><pubDate>Mon, 29 Apr 2019 11:46:19 +0800</pubDate><description><![CDATA[K值过小：
​ 容易受到异常点的影响
K值的减小就意味着整体模型变得复杂，容易发生过拟合；
eg：判断是不是人?
眼睛，鼻子，黄皮肤
皮肤颜色为过拟合
k值过大：
​ 受到样本均衡的问题
与输入实例较远（不相似的）训练实例也会对预测器作用，使预测发生错误，且K值的增大就意味着整体的模型变得简单。
eg：判断是不是人?
特征值：眼睛，鼻子
]]></description><category></category></item></channel></rss>