逻辑回归、决策树以及SVM小记

Python分类模型实战(KNN、逻辑回归、决策树、SVM)调优调参,评估模型——综合项目 Python实战,对负债率,信用卡负债违约负债率、工龄违约信用卡负债、工龄违约,分析违约与各特征之间的关系。通过循环,基础原理实现对模型SVM,KNN,逻辑回归,决策树的调优调参,自动化得到最高得分score和accuracy, 阅读详情

逻辑回归和线性回归的异同:

  • 逻辑回归是分类问题、线性回归是回归问题。逻辑回归是算出样本属于正样本的期望,然后根据期望做判定;线性回归是求出线性方程的近似解甚至解析解θTx\theta^TxθTx
  • 逻辑回归的y是离散的,线性回归的y是连续的
  • 逻辑回归最初对特征做线性组合时,类似于线性回归,sigmoid函数可以看着把数据压缩到区间[0,1]
  • 逻辑回归可以整理为预测y为1的概率的对数几率的线性回归
  • 都可以使用梯度下降方式求解
  • 逻辑回归的代价函数是交叉熵,线性回归的是RMSE
  • 逻辑回归具有平移不变性,即参数θ\thetaθ增加一个常数,不改变模型的结果

逻辑回归处理多标签分类任务

如果一个样本只属于有一个标签,则可以使用多项逻辑回归来处理。(多项逻辑回归是逻辑回归的一个推广,利用平移不变性可知二项逻辑回归等价于逻辑回归)
如果一个样本可能有多个标签,则训练k个二分类区,每个分类器分别把样本分类为0/1,然后k个分类结果的向量就是标签向量。

决策树

  • 决策树就是一组if-then规则,这个规则是完备的
  • 是一个概率模型
  • 解释性强、符合很多商业决策过程的流程
  • 不同的特征选择顺序、不同的特征取值都能构成不同的决策树,有的拟合能力强,有的泛化能力强。从所有决策树中选择最优的决策树是一个NP完全问题。通常通过启发式的方法来选择次最优解
  • 辅助构造决策树的准则有:信息增益、信息增益比、Gini系数

信息增益(ID3模型):
K个类别的的数据集D的经验熵如下:H(D)=−∑k=1K∣Ck∣∣D∣log⁡∣Ck∣∣D∣H(D)=-\sum_{k=1}^K\frac{|C_k|}{|D|}\log\frac{|C_k|}{|D|}H(D)=−k=1∑K​∣D∣∣Ck​∣​log∣D∣∣Ck​∣​
特征A对于数据集D的经验熵如下:H(D∣A)=∑in∣Di∣∣D∣H(Di)H(D|A)=\sum_i^n\frac{|D_i|}{|D|}H(D_i)H(D∣A)=i∑n​∣D∣∣Di​∣​H(Di​)DiD_iDi​为类别为A=i的数据集
信息增益:g(D,A)=H(D)−H(D∣A)g(D,A)=H(D)-H(D|A)g(D,A)=H(D)−H(D∣A)
熵描述的是不确定性
信息增益比(C4.5模型):gR((D,A))=g(D,A)H(D)g_R((D,A))=\frac{g(D,A)}{H(D)}gR​((D,A))=H(D)g(D,A)​
Gini系数(CART模型):
描述数据的纯度Gini(D)=1−∑k=1K(∣Ck∣∣D∣)2Gini(D)=1-\sum_{k=1}^K(\frac{|C_k|}{|D|})^2Gini(D)=1−k=1∑K​(∣D∣∣Ck​∣​)2
对于特征A的Gini系数:G(D,A)=∑in∣Di∣∣D∣Gini(D)G(D,A)=\sum_i^n\frac{|D_i|}{|D|}Gini(D)G(D,A)=i∑n​∣D∣∣Di​∣​Gini(D)

对比三种准则及对应模型:

  • 信息增益(对应ID3模型)倾向于取值多的特征(信息增益反应了经过特征A后的不确定性的减少程度,取值多,确定性大,条件熵变小,信息增益变大)
  • 信息增益是绝对意义上的大小,通常我们可以通过反应相对大小的信息增益率弥补信息增益的缺陷。能在一定程度上避免过拟合。
  • ID3模型只能处理离散变量,C4.5和cart模型可以处理连续变量。C4.5处理方式:把特征排序,如果连续两个点的类别不同,则把他们的中点作为切分点,根据切分点把连续变量转换为离散变量。CART处理方式:cart树是二叉树,每次都会把数据二为两段,很方便转为为离散变量。
  • cart可以做回归问题,id3、c4.5只能用于分类问题
  • ID3不能处理缺失值,cart、c4.5可以处理缺失值
  • cart是二叉树,同一特征可能在层级间多次复用;id3、c4.5多叉树,同一特征不会在层级间复用
  • 剪枝方式不同:cart是生成完全树,选择其中的子树来对比选择树;id3、c4.5通过从小到上剪枝来选择树

决策树剪枝

剪枝有预剪枝和后剪枝
预剪枝:在树生长前就判断能否提供模型泛化能力,否则停止生长。能提前结算树的增长

  • 简单、快速,在大数据集上有相当的优势
  • 容易欠拟合,当前不能提高泛化能力,基于它的之后划分可能提高泛化能力
  • 是一种贪心算法,可能离次最优解较远

后剪枝:树完全生成后才开始剪枝

  • 需要消耗更多的内存、时间
  • 通常泛化能力比预剪枝强

①剪枝比树的生成更重要,
②不同划分的过拟合决策树在剪枝后都能保留最重要的属性划分,最终性能差距不大

SVM

寻找一个胖胖的超平面,使数据分类正确并尽量远离超平面。

  • SVM的超平面取决于支撑向量sv
  • 超平面唯一且存在
  • 通过核技巧,一定能找到完全正确分类的超平面
  • 加入松弛因子后,也有可能不能完全正确分类(因为目标变为了最小化含有松弛变量的表达式,不再是使Ein=0E_{in}=0Ein​=0。毕竟引入松弛变量就是允许模型犯错嘛)
改进多分类算法 1.改进的二叉树多分类决策树算法 上层节点的分类性能对整个分类模型的影响较大,在分类过程中,应尽量减少上层节点的分类,提出类分离测度,将类分离测度大的属性作为二叉树的上层分叉节点,优先分离 参考:《改进的二叉决策树多分类算法在入侵检测中的应用》 2.多分类AdaBoost 多分类问题的Ada Boost.SAMME算法:α=1/2 * log(1 - e / e) + lg(k - 1)... 阅读详情

相关推荐

逻辑回归、决策树和支持向量机

摘要:分类问题是商业业务中遇到的主要问题之一。本文对三种主要技术展开讨论,逻辑回归(LogisticRegression)、决策树(DecisionTrees)和支持向量机(SupportVectorMachine,SVM)。分类问题是我们在各个行业的商业业务中遇到的主要问题之一。在本文中,我们将从众多技术中挑选出三种主要技术展开讨论,逻辑回归(LogisticRegression)、决策树(DecisionTrees)和支持向量机(SupportVectorMachine,SVM)。上面列出的算法都是用来解决分类问题(SVM和DT也被用于回归,但这不在我们的讨论范围之内)。我

决策树&逻辑回归

v  决策树 决策树(Decisiontree)一般都是自上而下的来生成的。每个决策或事件(即自然状态)都可能引出两个或多个事件,导致不同的结果,把这种决策分支画成图形很像一棵树的枝干,故称决策树。简单来说:通过对样本数据的训练,得到N多的规则,然后跟具这N条规则,判定新样本的结果。 优点:规则可理解、计算量不大、可处理连续和种类的字段、可得到字段重要程度。 缺点:

ogghanxi的专栏 7012

C# 读取图片和扫描PDF中的文本

本博客将探讨如何使用C#和OCR库实现从图片和扫描的 PDF 中提取文本。Spire.OCR for .NET 是一个OCR文字识别库,专为在 .NET 应用程序中识别图片的文本而设计。首先,使用 Spire.PDF 将扫描的 PDF 转换为图片,然后利用 Spire.OCR 从这些图片中提取文本。由于该OCR库并不支持直接处理PDF,因此要从扫描的 PDF 中提取文本,我们首先需要将 PDF 文档转换为图片。转换完成后,再利用 Spire.OCR 从生成的图片中提取文本。方法来识别图片中的文本。

nuclear2011的博客 5406

百面机器学习—3.逻辑回归与决策树要点总结

文章目录一、逻辑回归1.逻辑回归公式推导2.逻辑回归优缺点是什么?3.为什么逻辑回归需要归一化?4.对于逻辑回归,连续特征离散化的作用是什么?5.逻辑回归能否解决非线性的分类问题?二、决策树1.决策树的算法(ID3,C4.5,CART)总结1.1 ID3—信息增益1.2 C4.5—信息增益比1.3 CART—基尼指数1.4 三种算法对比2.为什么决策树需要剪枝?如何进行剪枝?3.为什么信息增益比比信息增益更佳?4.决策树的优缺点是什么? 一、逻辑回归 1.逻辑回归公式推导 可以从下面四个方面展开:伯努利过程

柳杰的博客 1734

【ES】--Elasticsearch的分词器深度研究

分词器是ik_max_word,会将“龙马家书”拆分为“龙马”、“马家”、“家书”。然后filter配置的是edge_ngram_filter,在上面拆分的token词组基础上,按照edge_ngram_filter规则进一步拆分。从结果看:分词器是keyword,filter支持edge_ngram_filter,字符过滤器支持tsconvert【简繁体】。分词器是keyword,表明是不进行分词,但filtet中edge_ngram_filter是按照布长方式拆分token,所以得到如此结果。

寻梦友的博客 2492

汇川EASY系列之以太网通讯(MODBUS_TCP做主站)

汇川Easy系列以太网通讯中(MODBUSTCP,plc做主站),终于可以不用使用指令就可以完成了,全程通过简单的配置就可通讯。本文将通过EASY系列PLC与调试助手之间完成此操作。

这是一个长期关注工控行业技术的博客,实现0-1的突破,期待您的关注和留言 3313

逻辑回归与决策树的结合:实现强大的预测能力

1.背景介绍 随着数据量的增加,传统的机器学习算法在处理复杂问题时的表现力已经不足。为了提高预测能力,人工智能科学家和计算机科学家们开始关注如何结合多种算法,以实现更强大的预测能力。在这篇文章中,我们将探讨一种结合逻辑回归与决策树的方法,以实现更强大的预测能力。 逻辑回归和决策树分别是线性模型和非线性模型的代表,它们在处理不同类型的问题时具有不同的优势。逻辑回归在处理线性关系时表现出色,而决策...

AI天才研究院 1855

Qt6.10 | Qt Bluetooth 蓝牙

本文介绍了QtBluetooth模块的功能和使用方法,包括蓝牙API概述、构建配置(CMake/qmake)、权限管理、平台支持(Linux/macOS特殊处理)、日志设置及许可信息。重点说明Linux平台的后端选择机制,以及macOS上的依赖限制。最后提及蓝牙聊天示例,展示RFCOMM协议通信的实现。全文提供了蓝牙开发的技术要点和注意事项。

Qt历险记,专注Qt技术,三年医疗设备研发经验,1年机器视觉研发经验,半年柔性传感研发经验。 406

决策树 | 分类树&回归树:算法逻辑

决策树算法概述:可分类&可回归

ToBeCeratinToBeTall的博客 1938

LeRobot X-VLA:首个适用于任意机器人、任意任务的软提示机器人基础模型

X-VLA是一种基于软提示的视觉-语言-动作模型,通过可学习嵌入向量编码不同机器人配置,实现跨平台统一控制。该框架采用两阶段训练:先在29万次多平台任务中学习通用策略,再通过微调少量参数(仅1%)适配新机器人。实验表明,0.9B参数的X-VLA在6个仿真和3个真实平台上表现优异,如LIBERO任务达93%成功率,布料折叠任务100%完成。其核心创新是将硬件差异视为"任务",用软提示引导Transformer处理异构数据,为机器人基础模型提供可扩展方案。

2506_90492529的博客 1242

uniapp [安卓苹果App端] - 详细实现PDF预览功能在线预览PDF文档,Uniapp App端实现pdf文件预览在线预览pdf二进制文件流、本地pdf文档、PDF文件地址url路径(解决白屏

uni-app,安卓Android,苹果ios,安卓app端,苹果App端,uniapp苹果安卓app,uniapp在线预览pdf功能,在安卓苹果app平台实现PDF的预览查看,uniappApp端实现pdf文件预览,UNIAPP在线预览PDF文档,Uniappapp在线预览pdf文件流,从后端接口里获取pdf文件如何转成链接预览,预览pdf的插件,uni-app的pdf预览功能,uniapp使用pdf.js插件预览pdf文件,预览pdf白屏没有报错,打开后没反应,打开是空白,加载PDF时发生错误,如

🏆 前端领域优质创作者 1万+

【人工智能】流行且重要的智能算法整理

智能算法:决策树、随机森林、人工神经网络、循环神经网络、K-均值、逻辑回归、线性回归、支持向量机......

kewaqi618的博客 1367

Python爬虫实战:医院科室排班智能采集系统 - 从零构建合规且高效的医疗信息爬虫(附CSV导出 + SQLite持久化存储)!

我长期专注 Python 爬虫工程化实战,主理专栏 👉 《Python爬虫实战》:从采集策略到反爬对抗,从数据清洗到分布式调度,持续输出可复用的方法论与可落地案例。内容主打一个“能跑、能用、能扩展”,让数据价值真正做到——抓得到、洗得净、用得上。

喵手的博客 1302

PrimeTime low power-SMVA分析(4)

这些功能只有在将timing_enable_cross_voltage_domain_analysis变量设置为true时才能使用。DVFS场景与在分布式多场景分析(DMSA)中分析的运行条件场景无关。- check_timing 和 report_exceptions 命令通过将检查或报告应用于所有可能的场景和电压组合来支持SMVA。- 相位锁定环生成的时钟(create_generated_clock -pll_feedback 和 -pll_output)在多个场景的情况下,返回最差情况的值。

QRBQ 650

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

大数据挖掘复习小记

前言 本文基于教材《大数据挖掘与应用》王振武,出于期末复习目的,对部分算法利用python进行实现,顺便学习numpy构建思维导图,帮助理解。 所有代码、结果都以jupyter的形式放在了github上。 题型 选择题和判断题可能从里面出,题目与答案的word版同样放入了github中。 第1章 大数据简介 本章主要考填空题: 数据规律化 分类结果评价 混淆矩阵:运用于二分类问题 (真...

weixin_30617737的博客 1438

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

机器学习与深度学习 知识小记

参考链接 https://github.com/scutan90/DeepLearning-500-questions 机器学习(Machine Learning, ML),顾名思义,让机器去学习,利用计算机、概率论、统计学等知识,输入数据,让计算机学会新知识。过程就是训练数据去优化目标函数。 ​深度学习:从大数据中先学习简单的特征,并从其逐渐学习到更为复杂抽象的深层特征,不依赖人工的特征工程。 大数据通常被定义为“超出常用软件工具捕获,管理和处理能力”的数据集。 机器学习关心的问题是如何构建计..

Zlionheart的博客 540

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

关于商品评论的情感分析方法研究(小记)

关于商品评论的情感分析方法研究(论文阅读记录) 对商品评论进行分析挖掘,得出情感倾向,为消费者提供参考,帮助卖家完善商品质量,提高服务水平。 研究机器学习和深度学习的情感分析:比较了jieba、pyhanlp、snownlp分词技术对模型的影响。jieba分析在速度和质量上优于其他两种。用word2vector(实现词组稠密化表示)训练词向量作为输入。有CBOW(上下文词组独热编码向量作为输入,输出中心词词向量)和、SKip-gram(中心词组独热编码向量作为输入,输出上下文词组词向量)两种方式训练。

ASS-ASH的博客 1685

关于机器学习的最佳科普文章:《从机器学习谈起》

文章转自 从机器学习谈起 一、摘要   本文首先介绍了互联网界与机器学习大牛结合的趋势,以及使用机器学习的相关应用,接着以一个“等人故事”展开对机器学习的介绍。介绍中首先是机器学习的概念与定义,然后是机器学习的相关学科,机器学习中包含的各类学习算法,接着介绍机器学习与大数据的关系,机器学习的新子类深度学习,最后探讨了一下机器学习与人工智能发展的联系以及机器学习与潜意识的关联。经过本文的介绍,相...

weixin_33904756的博客 396

Scikit-learn四大分类算法实战:逻辑回归、SVM、决策树、随机森林

机器学习四大经典算法(逻辑回归、SVM、决策树、随机森林)在工程落地中的核心原理与实践要点:逻辑回归通过Sigmoid函数实现线性分类,适合解释性要求高的场景;SVM利用核函数处理非线性数据,但对参数敏感;决策树模拟人类决策过程,解释性强但易过拟合;随机森林通过集成多棵树降低方差,泛化能力强但解释性差。实测数据显示,随机森林在客户流失预测案例中表现最优(AUC 0.892),配合逻辑回归可兼顾准确率与可解释性。工程实践中需注意数据预处理、参数调优及算法边界条件,避免常见陷阱。

这里是数字化与人工智能的 “实验场” 与 “瞭望台” 1406

对比与选型:SVM 与逻辑回归、决策树的机器学习场景适配分析

在深入对比前,需理解各算法的基本机制。支持向量机(SVM):SVM 的核心是寻找最优超平面以最大化分类间隔。它通过核技巧(如径向基函数)处理非线性问题,数学上可表示为:其中,$\mathbf{w}$ 是权重向量,$C$ 是惩罚参数,$\xi_i$ 是松弛变量。SVM 适用于分类和回归任务,尤其在高维空间表现优异。逻辑回归:逻辑回归用于二分类问题,通过 sigmoid 函数将线性组合映射到概率。其模型为:其中,$\mathbf{w}$ 是系数向量,$b$ 是偏置项。

tryutgycghaa的博客 473

逻辑回归和决策树_结合逻辑回归和决策树

逻辑回归和决策树Logistic regression is one of the most used machine learning techniques. Its main advantages are clarity of results and its ability to explain the relationship between dependent and independen...

weixin_26750481的博客 2916

大数据分析与应用进阶:从算法原理到生产级落地(关联规则 / 决策树 / SVM / 逻辑回归全解析)

本文深度解析关联规则、决策树、逻辑回归和SVM四大经典算法在金融风控、电商零售等场景的应用。从原理到分布式实战,涵盖核心指标解析、算法选型对比、生产级优化技巧及可视化实现。重点包括:关联规则的FP-Growth分布式处理、决策树剪枝优化、逻辑回归评分卡构建、SVM核函数选择等实战方案,并提供TB级数据处理架构和故障排查指南。通过3类图表、4个案例和5个优化技巧,帮助开发者突破算法瓶颈,实现从理论到生产落地的跨越。

2401_89814214的博客 713

常见机器学习算法

回归聚类分析相关概念

blue050的博客 1231

Skr-Eric的机器学习课堂(五)-- 基于决策树的分类和支持向量机(SVM)分类

基于决策树的分类 1.基于投票的决策 基于决策树的分类与回归的区别就在于,预测结果的获取,是通过投票而非平均得到的。 ... 命中子表 ... A \ ... B | ... A | ... B > A:2<B:4 ... B | ... B / x -> B # -*- codin...

Skr_Eric的博客 984
上一篇: 模型评估小记
下一篇: 聚类小计
酸辣椒炒青椒
博客等级 码龄11年 9粉丝 19原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值