Decision Tree & Threaded Binary Tree & Information Entropy

本文深入探讨了决策树模型及其线性遍历的效率优势,并通过信息熵概念解释了字母与汉字在信息量上的差异,强调了在数据科学中决策树与信息熵的应用价值。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

Decision Tree

A tree-like graph or model of decisions and their possible consequences.


Threaded Binary Tree

如果right child是null pointer就指向inorder successor

如果left child是null pointer就指向inorder predecessor

可以线形的遍历二叉树,比递归的中序遍历快


Information Entropy

H=-\sum _{​{i}}^{​{}}p_{i}\log p_{i}

应用举例,假设26个字母出现次数相同,则每个字母的概率1/26,单个字母的信息熵-log(1/26)由此算出的信息熵为4.7,代表此字母包含的信息量

汉字假设2500个,每个出现概率相同,-log(1/2500),由此算出的信息熵为11.3,说明单个汉字包含信息比字母多

说明同样内容的信息,汉字写的更短,书页数更少

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值