机器学习之分类算法实践要点(决策树，svc,逻辑回归)

原创 已于 2022-07-19 15:55:03 修改 · 477 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python #机器学习 #分类 #决策树 #svm

于 2022-05-14 23:07:43 首次发布
本文介绍了机器学习中的三种分类算法：决策树、线性SVC和逻辑回归。在决策树部分，强调了缺失值处理、不用数据标准化以及如何调整模型复杂度。对于linear SVC，讨论了与LIBLINEAR的区别以及在不同维度数据上的表现。在逻辑回归部分，提到了特征相关性分析和递归特征消除(RFE)方法。

代码见jupyter notebook整理后：决策树，linear svc, logistic regression.ipynb

下面见注意事项和要点：

决策树

**缺失值处理

**决策树不需要对数据标准化，它的标签也不需要LabelEncoder处理，但是标签必须英文，画图时显示出来才方便。

**画图前还要准备好容器，否则决策树图像堆叠在一起

最低0.47元/天 解锁文章
VFAing
关注
AI监督学习算法：模型堆叠（Stacking）集成学习终极指南
本博客聚焦 YOLOv11 全流程落地，涵盖架构优化、数据集处理、训练技巧与多场景部署，兼及国产数据库、Java 开发与 AI 模型应用，内容兼顾理论与工程实践，为开发者提供系统干货，助力高效提升技术能力。
07-24 1287
Stacking集成学习摘要 Stacking是一种集成学习方法，通过组合多个基学习器的预测结果作为新特征，训练元学习器进行最终预测。其核心流程包括：1）基学习器在交叉验证中生成预测；2）元学习器基于这些预测进行训练。Stacking能整合不同算法的优势，提升模型性能，但需注意防止数据泄露。实现时通常选择3-5个差异化的基模型（如随机森林、SVM等）和简单的元模型（如逻辑回归）。该方法适用于追求高性能的场景，但计算复杂度较高。数学上，Stacking通过扩展假设空间来降低预测误差，是偏差-方差权衡的有效策略
机器学习sklearn----支持向量机分类器SVC求解过程可视化
weixin_43776305的博客
12-06 4860
文章目录需求及思路线性可分数据的SVC求解可视化非线性数据的SVC求解可视化利用matplotlib画出三维空间数据分布 需求及思路 需求：画出啊决策边界和两个超平面 实现思路：从坐标轴上去出大量的点，将点的坐标值当作两个特征放入SVC模型中，预测每个点对应的类别。利用matplotlib中contour函数画出等高线(到决策边界距离相同的点具有相同的高度)，保留[-1, 0, 1]三条。0对应决策边界，其他的两条就是两个超平面 本文代码使用到的第三方库如下 from sklearn.datasets
SVC实现分类算法实现
机器之我心的博客
06-07 4225
import numpy as np import matplotlib.pyplot as plt from sklearn.svm import SVC class MySVM: X=[];y=[] m=0;n=0 fignum=1 def __init__(self,params={'kernel': 'linear'}): self.modu...
机器学习——线性判别准则（LDA）和线性分类算法（SVM）
羚漆的博客
11-05 3248
目录酱一、LDA与SVM简介二、LDA实现代码三、SVM数据集进行可视化分类1. 线性核2. 多项式核3. 高斯核四、总结参考链接 一、LDA与SVM简介 线性判别分析（Linear Discriminant Analysis，简称LDA）是一种经典的有监督数据降维方法。LDA的主要思想是将一个高维空间中的数据投影到一个较低维的空间中，且投影后要保证各个类别的类内方差小而类间均值差别大，这意味着同一类的高维数据投影到低维空间后相同类别的聚在一起，而不同类别之间相距较远。 在机器学习中，支持向量机（SVM）
【菜鸟笔记|机器学习】支持向量机
weixin_45199399的博客
10-23 340
理论部分： 博主前面学习了线性模型和决策树，支持向量机（SVM）是第三种机器学习模型了。对于二分类问题，可能有很多个超平面可以把样本分开，而支持向量机就是去寻找最中间的那个超平面，也就是具有最大间隔的划分超平面。我们把支持向量机的主问题转化为对偶问题来求解。为了防止过拟合，引入了软间隔支持向量机。对于分类问题用的是支持向量机，对于回归问题则可以类似地使用支持向量回归（SVR）。这部分内容如下： 1.SVM主问题 SVM主问题就是求一个与已知数据集几何间隔最大的那个超平面。超平面可以用法向量表示为： 我们
sklearn常用算法模型 KNN / 岭回归 / Lasso / Logistic / SVC / 决策树 / 贝叶斯 / K-Means
热门推荐
zhang_Ming_lu的博客
07-28 4万+
机器学习常用算法小结 有监督 有答案的 商用最多的，主要是分类 无监督 没有答案 半监督 部分有答案 使用有答案的数据进行训练模型，然后使用陌生数据进行验证 过拟合和欠拟合 过拟合：使用样本的特征过多，导致很多无用的特征被加入到计算中，导致模型泛化受到过多无用特征的影响，精度变得很低 欠拟合：在选取特征时，选取的过于简单，主要的特...
sklearn SVC 多分类 | 使用decision function | 实现分类 | 两种方法
DeniuHe的博客
05-13 1936
import xlwt import numpy as np import pandas as pd from copy import deepcopy from sklearn.metrics import accuracy_score, mean_absolute_error, f1_score, recall_score from collections import OrderedDict from sklearn.linear_model import LogisticRegression fr.
17、机器学习最佳实践指南
最新发布
cicd6pipeline的博客
11-01 21
本文系统介绍了机器学习项目从数据预处理、特征工程、模型训练与评估到部署和监控的全流程最佳实践。涵盖了分类特征编码、特征选择与降维、特征缩放、领域知识驱动的特征构造、常见算法选型策略、过拟合并诊断方法、模型保存与性能监控等关键环节，并提供了基于scikit-learn的代码示例。文章还总结了各阶段的核心要点，强调了数据质量、算法灵活性、模型调优与可解释性在实际应用中的重要性，为构建高效、稳定的机器学习系统提供了全面指南。
机器学习模型速记：100个句子掌握回归、分类等算法精髓
本文系统地介绍了机器学习的基础知识，包括算法的分类与特点，并且深入探讨了线性回归、逻辑回归、决策树和集成学习等核心算法的构建、应用和优化。在各章节中，我们详细讨论了模型的理论基础、数据预处理、模型训练...
决策树回归与集成学习
### 决策树回归与集成学习 #### 1. 决策树回归 决策树不仅可以用于分类任务，还能执行回归任务。我们可以使用Scikit - Learn的`DecisionTreeRegressor`类来构建一个回归树。以下是在一个有噪声的二次数据集上，设置...
【机器学习】支持向量机SVR、SVC分析简明教程
2301_81133727的博客
11-30 3105
SVR全称是support vector regression，是SVM（支持向量机support vector machine）对回归问题的一种运用。所以在介绍SVR之前，我们先简单的来了解一下什么是SVM。SVMSVM与logistic分类器类似，也是一种二类分类模型，其基本模型定义为特征空间上的间隔最大的线性分类器，其学习策略便是间隔最大化，最终可转化为一个凸二次规划问题的求解。对于下面一个数据集，有两类分别使用×和○来表示。那么我们想要找到一条曲线来区分这两类。
机器学习：支持向量机SVM的SVC和SVR
weixin_48293076的博客
11-19 5466
机器学习：支持向量机SVM的SVC和SVR
支持向量机（Support Vector Mechine，SVC）
十里清风
04-28 1167
线性SVM、软间隔SVM、核函数
简单上手sklearn机器学习：支持向量机(SVC)
2301_77408198的博客
07-01 944
这里是对sklearn库里的机器学习支持向量机分类器SVC的实战文章，大家如果对其原理感兴趣的话可以自行搜索，这里我将会带你零基础学会使用sklearn库里面的SVC，这里只是一个很简单的模型实战，如果写的不好也请多多指教。
机器学习算法04：SVC 算法(向量机分类)
wjylovewjy的博客
05-31 940
SVC（支持向量分类）是基于SVM原理的分类算法，通过寻找最优分类超平面实现数据分类。其核心特点包括最大化分类间隔、引入松弛变量权衡误分类、利用核函数处理非线性问题。适用于小样本、高维数据和复杂边界分类场景。相较决策树和K近邻算法，SVC在处理非线性问题上更具优势，但计算复杂度较高、可解释性较弱。代码示例展示了如何使用Python的scikit-learn库实现SVC分类器，并评估模型性能。
机器学习 —— 支持向量机 SVM（Linear SVC）
weixin_52033229的博客
09-05 1062
在训练数据中，每个数据都有n个的属性和一个二类类别标志，我们可以认为这些数据在一个n维空间里。我们的目标是找到一个n-1维的超平面（hyperplane），这个超平面可以将数据分成两部分，每部分数据都属于同一个类别。因此，增加一个约束条件：这个超平面到每边最近数据点的距离是最大的。那么什么是支持向量呢？在求解的过程中，会发现只根据部分数据就可以确定分类器，这些数据称为支持向量。见下图，在一个二维环境中，其中点R，S，G点和其它靠近中间黑线的点可以看作为支持向量，它们可以决定分类器，也就是黑线的具体参数。
《Python AI 机器学习·深度学习》笔记-鸢尾花分类（SVC）
sensation777的博客
08-09 658
一、分析问题本文包含作者认为的文章重点、疑惑及思考。一、分析问题根据前述机器学习的基本步骤，尝试分析鸢尾花的分类问题（1）制定目标——依据花萼花瓣的长宽，分辨鸢尾花的品种（2）收集数据——Github上的开源数据集（3）数据预处理——将数据集中的数据 1. 分离成数据部分+标签部分 2. 分成训练集和测试集（4）学习数据•（4-1）选择机器学习的方法——SVCSVC是 "Support Vector Classification"（支持向量分类）的缩写，它是。
机器学习-Sklearn-11（支持向量机SVM-SVC真实数据案例：预测明天是否会下雨）
m0_37755995的博客
04-10 4091
机器学习-Sklearn-11（支持向量机SVM-SVC真实数据案例：预测明天是否会下雨）
机器学习sklearn----支持向量机SVC模型评估指标
weixin_43776305的博客
12-15 5609
文章目录前言混淆矩阵指标1准确率指标2精确度指标3召回率指标4F1-measure指标5假负率指标6特异度指标7假正率sklearn中的混淆矩阵 前言 前面一篇博文介绍了SVC处理二分类问题是怎么样来解决样本不均衡。这里我们要来将用什么指标来衡量模型的好坏 SVC提供的接口score是计算模型的准确率的，这个指标在样本均衡的情况下是完全适用的， 但是在遇到样本不均衡问题的时候就失去了意义，而我们日常面对的数据会有较多的不均衡， 面对这样的问题，我们需要采用新的模型评估指标，而我们的评估指标需要能够反映模型捕
在pycharm实现数据挖掘分类算法分析心脏病患病概率
06-07
我们将使用PyCharm作为开发环境，选择合适的分类算法（如逻辑回归、决策树、随机森林等）来构建模型。以下步骤将指导完成此任务：###步骤1:数据准备首先，我们需要一个关于心脏病的数据集。这里假设我们使用UCI机器...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值