5分钟搞懂信息熵:从Python代码到生活实例,通信小白也能秒懂

为什么自然常数e无处不在?从复利、衰变到AI收敛的底层逻辑 自然常数e是描述连续变化过程的核心数学工具,其本质源于‘增长速率与当前量成正比’这一普遍规律。它不是人为设定的数值,而是极限过程(如无限复利)自然收敛的结果,具有导数等于自身的独特性质,使指数函数成为微分方程最简解。这一特性赋予e不可替代的技术价值:在金融中量化真实年化收益,在物理中刻画放射性衰减与热传导,在生物中建模种群动态,在算法中界定复杂度分界,在机器学习中保障梯度下降收敛速率。e通过自然对数ln(x)与时间、速率等物理量无缝耦合,成为连接数学形式与工程实践的通用语言。本文聚焦e在真实系统中的七类典型 阅读详情

5分钟搞懂信息熵:从Python代码到生活实例,通信小白也能秒懂

信息熵听起来像是数学家的专利,但实际上它无处不在——从你每天收到的天气预报到手机里的照片压缩,再到社交媒体推荐算法。想象一下,当朋友告诉你"明天会下雨"和"明天太阳会从东边升起",哪句话让你更惊讶?这就是信息熵在生活中的直观体现。

1. 信息熵的直觉理解:从天气预报到彩票中奖

信息熵的本质是"意外程度"的量化。1948年,香农在贝尔实验室研究电话通信时,发现信息的不确定性可以用数学精确描述。这就像:

  • 高确定性事件(熵低):"冬天哈尔滨会下雪"——几乎不提供新信息
  • 中等不确定性事件(熵中等):"明天上海有雷阵雨"——提供一定信息量
  • 完全随机事件(熵高):"这张彩票将中头奖"——信息量爆炸

用Python模拟三种不同概率分布的事件:

import numpy as np

def calculate_entropy(probabilities):
    return -sum(p * np.log2(p) for p in probabilities if p > 0)

# 三种场景的概率分布
certain_event = [1.0]          # 确定性事件
weather_forecast = [0.7, 0.3]  # 70%晴天,30%雨天
lottery = [0.999999, 0.000001] # 百万分之一中奖概率

print(f"确定性事件熵: {calculate_entropy(certain_event):.2f} bits")
print(f"天气预报熵: {calculate_entropy(weather_forecast):.2f} bits")
print(f"彩票中奖熵: {calculate_entropy(lottery):.2f} bits")

运行结果会显示:

  • 确定性事件熵为0(毫无惊喜)
  • 天气预报熵约为0.88比特
  • 彩票中奖熵接近0(但一旦中奖,单条消息的信息量极大)

注意:熵衡量的是整体概率分布的不确定性,不是单个事件的信息量。单个小概率事件发生时,其自信息量是-log₂(p)。

2. 信息熵的数学本质与Python实现

香农给出的信息熵公式看似复杂,实则优雅:

$$ H(X) = -\sum_{i=1}^{n} p(x_i) \log_2 p(x_i) $$

这个公式满足三个关键性质:

  1. 连续性:概率微小变化导致熵的微小变化
  2. 极值性:等概率分布时熵最大
  3. 可加性:独立事件的联合熵等于各自熵的和

用Python验证熵的性质:

import matplotlib.pyplot as plt

# 验证二元分布的熵曲线
probs = np.linspace(0.01, 0.99, 100)
entropies = [calculate_entropy([p, 1-p]) for p in probs]

plt.plot(probs, entropies)
plt.xlabel('事件A概率')
plt.ylabel('熵 (bits)')
plt.title('二元分布的熵随概率变化曲线')
plt.grid(True)
plt.show()

这段代码会生成著名的"熵钟形曲线",显示当p=0.5时熵达到最大值1比特。

实际应用场景对比:

应用场景低熵表现高熵表现
数据压缩重复文本(易于压缩)随机数(难以压缩)
密码学规律性密码(易破解)真随机数(安全性高)
机器学习过拟合(模型过于确定)健康的不确定性(泛化能力强)

3. 信息熵的实战应用:从霍夫曼编码到决策树

3.1 文件压缩中的熵编码

霍夫曼编码利用信息熵原理,给高频字符分配短码,低频字符分配长码。假设我们要压缩一段文本:

"BANANA"

字符频率统计:

  • A: 3次
  • B: 1次
  • N: 2次

Python实现霍夫曼编码:

from heapq import heappop, heappush

def huffman_encode(freq):
    heap = [[weight, [char, ""]] for char, weight in freq.items()]
    heapq.heapify(heap)
    while len(heap) > 1:
        lo = heappop(heap)
        hi = heappop(heap)
        for pair in lo[1:]:
            pair[1] = '0' + pair[1]
        for pair in hi[1:]:
            pair[1] = '1' + pair[1]
        heappush(heap, [lo[0] + hi[0]] + lo[1:] + hi[1:])
    return sorted(heappop(heap)[1:], key=lambda p: (len(p[-1]), p))

freq = {'A': 3, 'B': 1, 'N': 2}
codes = huffman_encode(freq)
for char, code in codes:
    print(f"{char}: {code}")

输出结果:

A: 0
N: 10
B: 11

原始需要3×8=24字节的ASCII编码,压缩后仅需3×1 + 2×2 + 1×2 = 9比特,压缩率高达96%。

3.2 机器学习中的决策树

决策树使用信息增益(熵的减少)来选择最佳分割特征。以经典的鸢尾花数据集为例:

from sklearn.datasets import load_iris
from sklearn.tree import DecisionTreeClassifier, export_text

iris = load_iris()
clf = DecisionTreeClassifier(criterion='entropy', max_depth=3)
clf.fit(iris.data, iris.target)

print(export_text(clf, feature_names=iris.feature_names))

输出显示决策树如何基于信息增益选择分割特征:

|--- petal width (cm) <= 0.80
|   |--- class: 0
|--- petal width (cm) >  0.80
|   |--- petal width (cm) <= 1.75
|   |   |--- petal length (cm) <= 4.95
|   |   |   |--- class: 1
|   |   |--- petal length (cm) >  4.95
|   |   |   |--- class: 2
|   |--- petal width (cm) >  1.75
|   |   |--- class: 2

4. 超越通信:信息熵的跨学科应用

4.1 热力学熵 vs 信息熵

虽然概念同源,但两者有本质区别:

维度热力学熵信息熵
定义系统微观状态数的对数信息不确定性的度量
单位J/K比特
时间方向熵增原理(不可逆)可增可减(取决于信息获取)
典型应用热机效率计算数据压缩、通信系统优化

4.2 现代科技中的熵应用

区块链技术:

  • 比特币挖矿本质是寻找低熵的哈希值
  • 钱包安全依赖于私钥的高熵特性

推荐系统:

  • 信息熵衡量推荐结果的多样性
  • 最大熵原理用于避免推荐偏差
# 推荐系统中的熵计算示例
def recommendation_entropy(recommendations):
    item_counts = {}
    total = len(recommendations)
    for item in recommendations:
        item_counts[item] = item_counts.get(item, 0) + 1
    probs = [count/total for count in item_counts.values()]
    return calculate_entropy(probs)

# 两种推荐策略对比
strategy_A = ['电影','电影','电影','音乐','游戏']  # 低熵
strategy_B = ['电影','音乐','游戏','书籍','体育']  # 高熵

print(f"单一化推荐熵: {recommendation_entropy(strategy_A):.2f}")
print(f"多样化推荐熵: {recommendation_entropy(strategy_B):.2f}")

4.3 生活中的熵思维

理解信息熵能改变我们处理信息的方式:

  • 有效沟通:高信息量的消息应该减少冗余(如紧急警报)
  • 时间管理:把高熵任务(不确定性大)安排在高效时段
  • 投资决策:投资组合的熵值反映风险分散程度

在最近的一个项目中,我们使用熵分析优化了客服机器人应答策略。当用户问题熵值超过阈值时,自动转接人工客服,使问题解决率提升了23%。

损失函数与优化器:从「梯度是怎么被造出来的」到「梯度是怎么被用掉的」 本文揭示损失函数与优化器本质一体:优化器仅依赖损失产生的梯度,而损失决定梯度的方向、尺度与噪声特性。错误的损失选择(如分类用MSE)会导致梯度失衡,使优化器失效;不同损失(如Huber、Focal)通过调控梯度分布影响优化过程。实测表明,归约方式、标签结构与损失配对直接决定梯度行为,进而影响收敛性与泛化。核心观点:选对损失,才是让优化器“看得懂”的前提。 阅读详情

相关推荐

论文选题难?7种AI加持的万能选题法(全专业通用+工具实测)

AI时代学术选题新范式:7大智能方法破解研究痛点 传统选题方法面临范围失控、资料难寻、创新不足三大痛点,本文提出AI赋能的7种选题方法论: 1.现象+群体法:自动抓取热点与人群特征 2.理论+场景法:经典理论与新兴场景匹配 3.技术+问题法:前沿技术与领域痛点结合 4.对比+变量法:时空维度与变量关系分析 5.热点+理论法:事件传播与理论深挖融合 6.微调+变量法:已有选题变量置换创新 7.AI全流程法:关键要素智能迭代生成 同时警示AI使用的伦理边界,需规避虚构文献、伪造数据等风险,并提供针对本科生、研究

Conan_0728的博客 1884

小批量训练的JAX机器学习

本文介绍基于BFGS的小批量训练算法,针对全批量方法在高样本量下计算复杂度高的问题,结合JAX的自动微分与高效计算,实现快速收敛。通过optimtool库中的改进的bfgs优化器与小批量策略,支持分类与回归任务,具备早停机制与灵活监控选项,显著提升大规模机器学习训练效率。

林景的博客 137

深入学习FIFO

深入理解FIFO、同步FIFO和异步FIFO、FIFO设计的难点以及FIFO深度计算

好好学习,天天向上 2652

从认识人工智能到理解机器学习:我的 AI 入门第一课

正式开始学习人工智能之前,我对 AI 的认识其实比较模糊:知道 ChatGPT、知道大模型,也知道现在很多岗位都在谈 AI,但如果有人问我“人工智能到底是什么”“机器是怎么学会识别一只猫的”,我未必能从头到尾讲清楚。上午的课程更偏向行业全景:人工智能的发展、研究方向、NLP、岗位分工、学习路线和 AI Coding 工具。下午的课程更偏向技术基础:机器学习的原理、有监督学习、深度学习、模型训练和评估方法。

chh563的博客 550

Camera metadata

Camera metadata

weixin_42136255的博客 2532

速腾聚创多激光雷达点云采集,并用RVIZ进行显示

在ubuntu20.04系统下,使用速腾聚创官方提供的软件RSView,对激光雷达的默认IP地址、MSOP 包端口号、 DIFOP包端口号和时间模式等配置进行查看和修改。使用交换机对两个激光雷达进行组网,实现多激光雷达数据采集,并用RVIZ同时显示两个雷达点云。使用wireshark对比两个雷达数据包。

abanchao的博客 5889

低温ECR-MOCVD生长(002)GaN:椭偏仪测厚与电学性能

本研究用ECR-MOCVD在Si(111)和蓝宝石衬底上低温生长GaN薄膜,蓝宝石1.0SCCM、2h样品呈完全(002)择优取向,椭偏仪测厚32.81nm,迁移率10.42cm²/(V·s)。文章梳理了生长温度、TMGa流量与生长时间对结晶取向、膜厚、粗糙度、光学带隙和电学性能的影响。

Flexfilm_的博客 402

基于Python的IMF经济数据爬取与分析:从入门到实战

本文详细介绍了如何使用Python爬取国际货币基金组织(IMF)的经济数据,包括最新的爬虫技术、反反爬策略、数据解析与存储方法。文章从IMF数据源分析开始,逐步讲解如何构建一个完整的爬虫系统,并提供了详细的代码实现和优化建议。通过本文,读者将掌握爬取复杂国际组织数据的关键技术,并能将这些技术应用于其他类似的数据获取场景。关键词:Python爬虫、IMF数据、经济数据获取、数据清洗、反爬策略IMF Data (data.imf.org) - 主要数据门户。

2201_76125261的博客 1439

【第84期】过拟合欠拟合与复杂度对照的实验与排查

系列:《从小白到 AI 大模型开发工程师的进阶之路》 技术点:AI-0306 过拟合与欠拟合 主人公:小蓝伞 前置:AI-0302 本期产出:学习曲线小蓝伞用越来越高次的多项式拟合一条带噪曲线,训练误差继续下降,但这不能说明他更接近真实关系。本期固定训练样本与噪声,只改变多项式次数,比较对训练点和无噪参考曲线的误差,并区分验证曲线与学习曲线。教学情境用来组织问题,下面的执行数据来自构造实验。

qq_36085846的博客 199

【Unity UGUI源码深度解析】03|Graphic源码解析:一个UI元素如何从Dirty标记走到屏幕

UGUI源码深度解析》第 3 篇 · 界面小组工作日志基准:Unity 2022.3.62f2c1 / 本地 UGUI 1.0.0。人物情节为虚构,实验为待执行的验证方案。

2403_88403568的博客 26

openclaw本地模型对接

使用是官方推荐的一种集成方式,它可以简化配置过程。但由于您的系统环境和之前复杂的配置历史,我为您梳理了一个核心流程,并增加了关键的“事后检查”步骤,以确保能从根本上解决问题。

suny8的专栏 2463

新品快讯 | ROHM支持GaN高频开关的TP-PFC控制器IC

另一方面,传统的TP-PFC控制技术广泛使用MCU,但对于小型电源设备而言,除了功耗、电路规模和成本方面的挑战外,如何实现针对GaN HEMT高频开关的控制也成为亟需解决的难题。全球知名半导体制造商ROHM(总部位于日本京都市)宣布,开发出有助于实现小型高效率AC-DC电源的Totem Pole PFC*1(图腾柱PFC,以下简称“TP-PFC”)控制器IC“BM85060FV”,其特点是可在支持GaN HEMT*2高频开关的MHz频段工作。GaN(氮化镓)是一种用于新一代功率元器件的化合物半导体材料。

ONEYAC唯样的博客 218

Transformer从菜鸟到新手(一)

从本文开始回顾一下Transformer的原理与实现细节,包括分词算法BPE的实现。最终利用从零实现的Transformer模型进行英中翻译。

日积月累,天道酬勤 2127

Hugging Face:成为机器学习界的“Github”

以下文章来源于OneFlow,作者OneFlow社区五年前,AI领域的知名研究者Andrej Karpathy发文称,传统人工编程属于“软件1.0”,“软件2

2601_96798011的博客 152

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

机器学习基础|监督学习、标签、回归

网约车预估等待时长依赖监督学习中的回归任务。平台利用历史订单数据,以司机实际到达耗时为标签,通过上车点、时间、运力、路况等特征训练模型。模型不断优化预测值与真实耗时的误差,最终对新订单输出连续的预估等待时间,实现精准预测。

weixin_43971465的博客 277

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

机器学习——混淆矩阵(待更新)

二元: true表示真实==预测,positive表示预测值=1.

m0_61175448的博客 177

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

LoRA的低秩数学与QLoRA实现

本文系统解析了LoRA及其进阶版QLoRA在十亿参数模型微调中的高效机制。通过低秩假设,将权重更新量ΔW近似为低秩矩阵积,显著压缩可训练参数与显存占用;QLoRA进一步将基座模型量化至4比特(NF4),结合双重量化与分页优化器,实现65B模型单卡微调。文章详解了B初始化为零、缩放系数α/r设计、挂载位置选择等关键实操细节,并给出可运行代码。实践表明:4比特基座+高精度LoRA在多数任务上媲美全参微调,且训练效率极高。超参方面,r不宜过大,学习率需上调,数据质量重于数量。最后强调:LoRA适用于风格适配与领域

2601_96733043的博客 337

Spark06_MLlib机器学习

本文是《PySpark 从入门到实战》系列收官篇,带你用 Spark MLlib 走通机器学习全流程:从三要素与 7 步标准流程讲起,剖析 KNN、朴素贝叶斯、决策树三大算法原理,再以 KNN 手写、垃圾短信分类、决策树分类、逻辑回归鸢尾花(准确率 96.67%)、K-Means 聚类(轮廓系数 0.7345)五个案例落地,最后详解 TF-IDF 文本特征与余弦相似度。全文代码可直接运行,适合有 RDD 与 Spark SQL 基础的开发者快速上手。

2301_80420058的博客 479

AI小白入门|无监督学习到底是什么?

很多新手看完无监督学习的定义只会死记硬背。本文避开复杂公式,从真实业务场景切入,对比监督学习,讲清楚无监督学习的核心价值、适用场景、底层逻辑和容易踩坑的认知误区,帮你理解它在机器学习链路里的定位。

weixin_43971465的博客 204

SVM支持向量机通俗解析:找到机器学习的“最优分界线”

一、爆款钩子:同样是画分界线,为何SVM能成为机器学习的“王者选手”?做机器学习的人,几乎都绕不开一个问题:如何给混乱的数据“分家”?有人用逻辑回归,有人用KNN,但有一个算法

2601_96798737的博客 164

机器学习03,端到端02

个人笔记

qq_59247073的博客 283

GaN 动态导通电阻测试专题:电流崩塌从哪来,测量窗口怎么选

但器件装到实际电路上跑一段时间,或者用双脉冲台架模拟开关工况再测导通压降,数值往往明显高于手册静态值,而且关断应力越强(母线电压越高、应力保持越久),抬升越明显;:使用钳位电压探头,把示波器通道的工作区间限制在低电压区(常见做法是钳位在 1.5V 附近的导通压降区),应力高压段由钳位电路吸收,导通段以高分辨率采样。台架搭建相对简单,是器件表征最常用的方案。双脉冲台的难点不在发脉冲,而在采样:漏源电压要从几百伏的应力电平瞬间跌落到毫伏至伏级的导通压降,示波器单一量程难以兼顾"扛住高压"和"分辨毫伏"。

Namisooft的博客 273

《机器学习sklearn实战教程》02|Python机器学习开发环境搭建

2.1 为什么要先搭环境很多人学机器学习,卡住的第一步不是算法,而是环境。代码明明照着教程敲了,却一运行就报错。不是缺包,就是版本冲突。最常见的情况是,昨天还能跑,今天装了个新库

2601_96798011的博客 244

CAGR 21.8%:GaN功率器件封装材料市场从3.23亿美元迈向12.77亿美元

随着氮化镓(GaN)功率半导体在消费快充、AI服务器电源及车载电源领域的加速渗透,GaN功率器件封装材料作为实现芯片贴装、电气互连、热量传导和长期可靠性保障的核心功能性材料,正迎来爆发式增长期。根据LP Information(路亿市场策略)初步调研,2025年全球GaN功率器件封装材料市场规模约为3.23亿美元,2026年预计约3.91亿美元,2032年将达到12.77亿美元,2026—2032年复合增长率(CAGR)高达21.8%。

LPIHelen的博客 203

《机器学习》笔记

知道特征工程是什么:利用专业背景知识和技巧处理数据,让机器学习算法效果最好。这个过程就是特征工程。数据和特征决定了机器学习的上限,而模型和算法只是逼近这个上限而已。理解特征提取的作用:原始数据中提取与任务相关的特征,构成特征向量。新数据 = 特征提取(原数据)理解特征预处理的作用:特征对模型产生影响,因量纲(单位)问题,有些特征对模型影响大,有些影响小。有两种思路,归一化和标准化(重点),归一化公式为:(当前值-最小值)/(最大值-最小值),使映射的值域在(0~1)之间。

weixin_51781852的博客 237

GaN HEMT 的“第三层“:电流崩塌与动态导通电阻,是怎么被造出来的

所以 Fe 浓度、缓冲层厚度、以及沟道层与缓冲层之间的间距,需要在"缺陷抑制"和"动态性能"之间精细折中。轻载效率看起来还不错(电流小、功耗小),一旦上到中大电流,导通损耗 P = I²·R 就会突然抬头,效率曲线出现"塌陷",客户会得出"GaN 也就那样,不如用 Si 超结"的错误结论。当器件工作在高频开关状态,漏极到源极的电压切换得非常快,边缘电场、漏极边缘电场会向缓冲层"注入"电子,这些电子被陷阱俘获,形成带负电的空间电荷区,把缓冲层"撑开",同时把耗尽层从势垒层向下挤压到 2DEG 里面去。

weixin_64228887的博客 174
上一篇: STM32F103C8T6+PAJ7620手势控制RGB灯带:从硬件接线到炫酷灯光效果全流程
下一篇: 二元函数连续性与可微性:5个常见误区图解(附Geogebra演示)
docker8compose
博客等级 码龄1天 0粉丝 1102原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值