笔记抄写4——sklearn其他

最新推荐文章于 2025-08-22 11:20:25 发布
最新推荐文章于 2025-08-22 11:20:25 发布
阅读量301 收藏
点赞数
CC 4.0 BY-SA版权
文章标签： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/rona1/article/details/80512861
本文介绍了特征选择的方法，包括方差阈值过滤、单因素统计检验等，并探讨了sklearn.preprocessing模块中的数据预处理技术，如归一化数据及拆分训练集和测试集。此外还涉及了随机梯度下降、线性判别分析等内容。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一、Feature Selection

1.过滤掉方差太小的变量

sklearn.feature_selection.VarianceThreshold

2. 用单因素统计检验

sklearn.feature_selection.f_classif 方差分析

sklearn.feature_selection.chi2 卡方检验

3. Select Fpr、Fdr、Fwe

4. 递归特征淘汰

先用所有feature建模，模型给出每个feature的权重，剔除最差的feature，重新建模，看效果，如此循环。

sklearn.feature_selection.RFECV

二、sklearn.preprocessing

归一化数据、拆分训练集合测试集等

三、SGD随机梯度下降

SGDClassifier、SGDRegression适用于大数据量

随机梯度下降：每次迭代是纳入一个新的样本点，更新参数使这个样本的残差最小即可，只需迭代n-sample次，但会走弯路，结果也只是逼近极小值。

批梯度下降：按学习速率确定的步伐大小每次更新参数，解损失函数的极小值时，每次迭代要把所有数据都参与计算，不适用于大数据量。

四、LDA线性判别分析

有监督的分类、降维

原理：向低维度投影后，类内方差最小，类间方差最大



rona1
关注
sklearn机器学习编程练习大全（一）
lyccomcn的博客
05-15 845
DataFrame依然使用第3题中的DataFrame，如何使用常量"常量"填充该DataFrame中字符串列的缺失值呢？hobby列的每个元素都是一个列表，现在我们想要增加一列，对应的是每个学生爱好的数量，也就是hobby列中每个列表的长度，该如何操作呢？如何对如下的DataFrame（学生成绩）进行数值离散化，将成绩分成三个等宽区间，并新增一列score_cut，对应的是每个成绩所在的区间？扩展：继续选取DataFrame中的数值列，并计算该列的均值。上述代码可以得到用于填充缺失值的值，为139.0。
机器学习笔记——sklearn 交叉验证(Cross-validation)
热门推荐
sunny的专栏
01-08 3万+
sklearn cross validation:https://scikit-learn.org/stable/modules/cross_validation.html 交叉验证(Cross Validation)用来验证分类器的性能一种统计分析方法，基本思想是把在某种意义下降原始数据(dataset)进行分组，一部分用来为训练集(train set),另一部分做为验证集(validatio...
机器学习笔记02——线性回归
S1406793的博客
11-05 1063
1.使用不同的方法来调整系数的上限：L1正则项将系数设置为0来进行特征选择，以减少相关性较低的特征；L2正则项是对值比较大的系数进行惩罚但并不设置为0，并且还调整参数λ的值，确保系数不会受到严厉的惩罚，不至于欠拟合。L1正则化和L2正则化都是在目标函数的后面添加一个正则项用来防止过拟合，L1正则项是基于L1范数，添加一个参数的绝对值和参数的积项；3.稳定性：对于新数据的调整，L1变动很大，L2整体变动不大。随着维度（特征数量）的增加，分类器性能逐步上升，到达某点之后，其性能便逐渐下降。
sklearn提供的Logistic Regression库中各个参数的含义详解
谁谓荼苦，其甘如荠
09-08 2万+
转载地址：https://blog.youkuaiyun.com/CherDW/article/details/54891073 逻辑回归：可以做概率预测，也可用于分类，仅能用于线性问题。通过计算真实值与预测值的概率，然后变换成损失函数，求损失函数最小值来计算模型参...
Python 机器学习笔记 - 广义线性模型算法分类整理汇总（ from sklearn）
u014771231的博客
03-08 1390
此篇文章旨在整理 sklearn 中的模型，方便个人学习以及查找方便，关于模型的介绍均来自于 sklearn 在 GitHub 上的开源文档sklearn 中文开源文档 GitHub地址 一.回归 1.1 广义线性模型 1.1.1 最小二乘法-LinearRegression：即求解预测值与实际值的残差平方和最小值。 目标函数数学表达式：[min w∣∣Xw−y∣∣22] 目标函数数学表达式： [...
[sklearn] 实现随即梯度下降(SGD)&分类器评价参数查看
weixin_34392435的博客
01-28 504
直接贴代码吧： 1 # -*- coding:UTF-8 -*- 2 from sklearn import datasets 3 from sklearn.cross_validation import train_test_split 4 from sklearn import preprocessing 5 from sklearn.linear_model...
Sklearn 损失函数如何应用到_Python机器学习笔记：SVM（4）——sklearn实现
05-31
Sklearn中的损失函数是通过模型的loss参数来设置的。在SVM中，常用的损失函数有hinge损失和squared_hinge损失。 hinge损失函数是一种基于最大间隔的分类器损失函数，常用于线性SVM中。它的数学表达式为： $$\max(0...
机器学习——Sklearn学习笔记（2）模型选择和评估
Robin_Pi的博客
01-14 3056
Sklearn学习笔记（2）模型选择和评估写在前面SML基本步骤基本概念1. 交叉验证：评估评估器的性能2. 交叉验证的指标cross_val_score()cross_validate()通过交叉验证获取预测3. 交叉验证的迭代器Kfold()RepeatedKFold()LeaveOneOut()LeavePOut()ShuffleSplit()StratifiedKFold()、Strati...
机器学习笔记(14)——sklearn降维方法举例(RandomProjection,TSVD,t-SNE)
icepoint的博客
08-28 2万+
sklearn降维方法举例 以datasets.digits数据为例导入相关包 import numpy as np import pandas as pd import matplotlib.pyplot as plt import time from sklearn.datasets import load_digits 大样本数据的可视化是一个相对比较麻烦的事情， 一
学习笔记——数论——约数
01-06
1.d/n 等价于n%d==0. 2.一个整数N的约数个数的上界为. 3.1-N 每个数的约数个数综合大约为N * log N 个。 4.1-1e9中的数，约数个数最多的数仅有1536个约数 倍数法求1-N中所有数的约数集合：NlogN ...
python sklearn逻辑回归 sgd和lr_LR逻辑回归模型的原理、公式推导、Python实现和应用...
weixin_42374763的博客
02-09 1396
逻辑回归模型(Logistic regression，LR)，又称对数几率模型。由于逻辑回归模型简单，可解释强，易实现，广泛应用于机器学习、深度学习、推荐系统、广告预估、智能营销、金融风控、社会学、生物学、经济学等领域。现在看来，LR依然是推荐系统、广告预估的三大基础模型之一。如果想从事推荐相关、广告预估的工作、研究、学习，是必须要掌握的。本文以PPT的形式，首先回顾伯努利分布、逻辑函数、线性回归...
最速下降法 python_Python机器学习库Sklearn系列教程（16）-SGD梯度下降法
weixin_39763683的博客
11-27 790
随机梯度下降(SGD) 是一种简单但又非常高效的方法，主要用于凸损失函数下线性分类器的判别式学习，例如(线性) 支持向量机 和 Logistic 回归 。Stochastic Gradient Descent (随机梯度下降法)的优势:高效。易于实现 (有大量优化代码的机会)。Stochastic Gradient Descent (随机梯度下降法)的劣势:SGD 需要一些超参数，例如 regul...
sklearn实例-逻辑回归（Logisitic Regression）和随机梯度下降(SGDClassifier)全流程
张大千的博客
01-09 4769
简介 线性分类器可以说是最为基本和常用的机器学习模型。尽管其受限于数据特征与分类目标的线性假设，我们仍然可以在科学研究与工程实践中把线性分类器的表现作为基准。 本文使用的模型包括LogisticRegression和SGDClassifier。 本文的数据来自UC Irvine Machine Learning Repository的癌症分类数据。 代码实例 废话不多说，上代码！ import n...
使用线性回归模型LinearRegression和SGDRegression分别对美国波士地区房价进行预测
一起学习机器学习第一章
10-30 2023
from sklearn.datasets import load_boston from sklearn.cross_validation import train_test_split import numpy as np from sklearn.preprocessing import StandardScaler from sklearn.linear_model import
Sklearn用户手册(五)：回归二
kapoyegou的专栏
09-16 2018
继续回归.
机器学习9---线性回归、岭回归、模型保存与加载
weixin_43543210的博客
08-10 297
线性回归与岭回归
机器学习笔记-线性回归之sklearn.SGDRegressor
WonderfulMTF的博客
04-08 1万+
机器学习笔记-线性回归之sklearn.SGDRegressor本文主要内容什么是sklearn？SGDRegressor代码实现 本文主要内容 记录分析github机器学习项目practicalAI中线性回归04_Linear_Regression的内容分析心得，线性回归的原理和梯度下降相关的内容，请参考上一篇博客或者自行查阅资料。 机器学习笔记-线性回归之梯度下降 什么是sklearn？ sk...
机器学习--决策树2
JYB0918的博客
08-19 543
决策树的进化之路：从ID3到CART的算法优化 决策树算法经历了从ID3到C4.5再到CART的演进过程，逐步解决了前代算法的局限性。ID3采用信息增益划分节点，但容易偏好多值特征；C4.5引入增益率进行平衡；CART则改用计算更简单的基尼指数。针对连续值特征，决策树通过离散化处理实现有效划分。此外，预剪枝和后剪枝技术能有效防止过拟合。实际应用中，合理设置criterion、max_depth等参数对模型性能至关重要。这些算法改进体现了机器学习追求简单而准确的核心思想。
线性回归笔记
最新发布
2402_88703635的博客
08-22 568
线性回归是一种基于最小二乘法的预测建模技术，通过构建自变量与因变量的线性关系进行预测。文章介绍了线性回归的核心思想、一般形式、评估指标（SSE、MSE、R²）和参数估计方法，重点阐述了多元线性回归与简单线性回归的区别与联系。线性回归具有解释性强、计算高效的优点，广泛应用于房地产定价、医学研究和市场营销等领域。最后说明了sklearn库中线性回归算法的实现方法及其参数作用。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值