机器学习笔记(三)--决策树

本文深入探讨了决策树算法中的关键概念——信息熵,解释了其如何衡量数据集的不确定性,并介绍了信息增益的概念。同时,文章还讨论了交叉熵在评估两个概率分布之间的差异中的应用。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

学习机器学习算法之决策树,这个大侠的文章写得不错:http://www.cnblogs.com/yonghao/p/5061873.html

总结一下:

1.对于信息熵的理解:

选假设有一个离散型随机变量X有4中可能的结果:A-1/2,B-1/4,C-1/8,D-1/8,后面的是每种结果的发生概率。那么如果顺序的去猜测X,就会有以下事件可能发生:问到A,命中A,用一次,问A->B,命中B,用两次,问A->B->C,命中C,用三次,问A->B->C,不命中C但是只剩下D自然就会命中D,用三次,所以平均次数=1/2×1+1/4×2+1/8×3+1/8×3=1/2×log2(2)+1/4*log2(4)+1/8*log2(8)+1/8*log2(8)=1.75bit。说明用计算机对X的取值编码的平均长度为1.75个bit(这里引用知乎回答,可以比较形象体会一下信息的量化)。在获得随机变量后会得到信息,那么定义这信息增益量为:log(pi^-1),即对应概率的倒数的对数。总的来说,信息熵是用来刻画数据集合复杂度的统计量,信息熵越大越复杂越没有达到分类的目的,数据集就越不纯。注意在公式中的对数的底数取值可以有不同,一般取2单位是bit,也有取e的单位信息单位奈特nat,只要>1就可以。

 

2.交叉熵:

描述两个数据集合相似程度的度量方法。用交叉熵代替成本函数,通过量化正确结果集与预测结果集的相似程度及交叉熵,就可以快速下降。

 

 

 

内容概要:本文档详细介绍了基于MATLAB实现多目标差分进化(MODE)算法进行无人机维路径规划的项目实例。项目旨在提升无人机在复杂维环境中路径规划的精度、实时性、多目标协调处理能力、障碍物避让能力和路径平滑性。通过引入多目标差分进化算法,项目解决了传统路径规划算法在动态环境和多目标优化中的不足,实现了路径长度、飞行安全距离、能耗等多个目标的协调优化。文档涵盖了环境建模、路径编码、多目标优化策略、障碍物检测与避让、路径平滑处理等关键技术模块,并提供了部分MATLAB代码示例。 适合人群:具备一定编程基础,对无人机路径规划和多目标优化算法感兴趣的科研人员、工程师和研究生。 使用场景及目标:①适用于无人机在军事侦察、环境监测、灾害救援、物流运输、城市管理等领域的维路径规划;②通过多目标差分进化算法,优化路径长度、飞行安全距离、能耗等多目标,提升无人机任务执行效率和安全性;③解决动态环境变化、实时路径调整和复杂障碍物避让等问题。 其他说明:项目采用模块化设计,便于集成不同的优化目标和动态环境因素,支持后续算法升级与功能扩展。通过系统实现和仿真实验验证,项目不仅提升了理论研究的实用价值,还为无人机智能自主飞行提供了技术基础。文档提供了详细的代码示例,有助于读者深入理解和实践该项目。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值