评论《怎样度量信息》

信息的度量 现代通信技术中定义了信息的度量方法,即信息量和信息熵 一、信息量 信息量分为自信息量和互信息量 自信息量的定义: 互信息量的定义: 互信息是一个变量中包含的关于另一个随机变量的信息量,或者说是一个随机变量由于已知另一个随机变量而减少的不肯定性。 发生概率越小的事件,其自身包含的信息量越多; 发生概率越大的事件,其自身包含的信息量越少; 二、信息熵 信息熵即平均自信 阅读详情

 

Google黑板报上有一个系列《数学之美》非常的不错,到目前为止共有四期,链接分别如下:

http://googlechinablog.com/2006/04/blog-post.html

http://googlechinablog.com/2006/04/blog-post_10.html

http://googlechinablog.com/2006/04/4.html

http://googlechinablog.com/2006/04/blog-post_17.html

 

其第一期和第三期都是统计语言模型的话题,一是概述,三介绍了HMM,统计语言模型在NLU/NLP中的应用方兴未艾,不再赘述。而二谈到了中文分词,因为有做SegWord的计划,所以也曾经粗略的分析过中文分词的问题,可见于:

http://blog.youkuaiyun.com/cs_/archive/2006/02/20/603661.aspx

http://blog.youkuaiyun.com/cs_/archive/2006/02/23/607215.aspx

 

倒是第四期,题目为“怎样度量信息?”,并有一段举例:

 

那么我们如何量化的度量信息量呢?我们来看一个例子,马上要举行世界杯赛了。大家都很关心谁会是冠军。假如我错过了看世界杯,赛后我问一个知道比赛结果的观众“哪支球队是冠军”?他不愿意直接告诉我, 而要让我猜,并且我每猜一次,他要收一元钱才肯告诉我是否猜对了,那么我需要付给他多少钱才能知道谁是冠军呢? 我可以把球队编上号,从 1 到 32, 然后提问: “冠军的球队在 1-16 号中吗?” 假如他告诉我猜对了, 我会接着问: “冠军在 1-8 号中吗?” 假如他告诉我猜错了, 我自然知道冠军队在 9-16 中。 这样只需要五次, 我就能知道哪支球队是冠军。所以,谁是世界杯冠军这条消息的信息量只值五块钱。

当然,香农不是用钱,而是用 “比特”(bit)这个概念来度量信息量。 一个比特是一位二进制数,计算机中的一个字节是八个比特。在上面的例子中,这条消息的信息量是五比特。(如果有朝一日有六十四个队进入决赛阶段的比赛,那么“谁世界杯冠军”的信息量就是六比特,因为我们要多猜一次。)

 

由这个例子引出香农信息伦的确是非常精彩的。但若以此来度量信息(这个世界中的所有信息)、处理自然语言,却是值得商榷的,或者说,不应忘了给予反思。

我们仍从这个例子开始,32个球队,如巴西队、意大利队、德国队等,若想知道谁是冠军,对球队进行编号然后用二分法查找,也就是在这种模型下对检索过程进行编码,码长便可以衡量这个结果的“信息量”。但这是有前提的,也就是说,我们在追问“冠军是谁”的信息量时,我们对这个“信息”已经进行了加工,也就是把球队集合与自然数集进行了映射(作标号),换句话说,这是一种结构化的信息。作为信息检索方向的研究与应用,我们当然更希望深入了解非结构化信息的信息量计算。

回过头来看什么是信息,香农信息论的确第一次给出了形式化的定义,也就是《怎样度量信息》中提到的信息熵计算公式。这个定义的哲学就是,信息量是对不确定性的衡量。一个事件越是确定的,对你而言信息量也就越小,如人总是会死的,明天太阳将从东方升起,这些对人而言,信息熵几乎都是为0的。(因为人对这些信息熵的计算是在一定的模型之上)。

但对于机器而言,一个请求“哪支球队是冠军?”意味着什么?如果它的内部已经有了球队集合的映射,并精确“知道”这个输入的意义是什么,自然其信息量也就是5bit。但若在一个非结构化的信息环境中,比如新闻报道的大规模文档集合中,这个请求的信息量是多少?它意味着什么呢?

首先,对于请求,这个结构表达的是一种疑问信息,需要匹配是冠军的球队,信息的主体是:

球队 是 冠军

-〉球队获得了 冠军称号(冠军杯)

这是一种逻辑结构,“是”结构和“获得了”结构在这种自然语言逻辑的环境中信息量是等价的(等同的),当然还有众多的变体。在这种逻辑结构中,除了谓词,还有一些关键的实体单元,如球队、冠军(称号、杯)等,都是具有意义的。

在大规模的新闻文档中回答这个请求,除了理解其信息结构和意义之外,自然是理解信息源的结构和意义。

这样,我们才能在报道繁杂的文档中,计算出我们所需要的答案。那么,这个过程的信息量是多少?刨除“逻辑结构”这样的模型化名词,我们用一个串去到另一个串中去匹配我们所需要的串,这个过程中信息量应该如何度量?什么又是信息呢?

 

国内现在对香农信息论有一种批评的声音(可检 索钟义信 教授的全息自然语言理解方向的探索材料),认为它只研究信息传输过程中噪声环境下的处理,并不涉及信息的理解,我觉得一个不容回避的问题是,既然谈到信息,就不能仅仅关注到不确定性的度量,还要关注到意义的度量(这里用了语言哲学方面的提法,而不是语言学的提法:语义,为的是促进反思)。所以《怎样度量信息》中提到“有了“熵”这个概念,我们就可以回答本文开始提出的问题,即一本五十万字的中文书平均有多少信息量。”这个说法及其后文的计算方法,我觉得对于这篇blog所提到的主题和google的使命来讲是值得再思考的。因为信息和信息量的度量,对我们来讲是意义重大的,或许,这远非信息熵所能表达。

 

仅作继续思考的材料。

 

《User Diverse Preference Modeling by Multimodal Attentive Metric Learning》论文阅读 前言 在该论文中,作者提出了MAML模型,是一种基于多模态信息的度量学习方法,通过该方法学习用户对于不同物品所具有的不同的偏好特征。 一、Related Work 首先,论文介绍了相关的工作,主要分为三个部分:1. 用户偏好建模;2. 度量学习;3. 多模态。 1. Diverse preference modeling 在第一部分中,作者将前人的相关工作划分为两组: 第一组是利用评论信息来分... 阅读详情

相关推荐

论文阅读笔记:Cross-Domain Sentiment Classification with Target Domain Specific Information

本文是复旦大学在第56届ACL会议上发表的文章。主要目的是通过原域大量带有标签的数据及目标域少量带有标签的数据的训练,对目标域大量无标签数据进行分类。 原文链接 摘要: 现有的跨领域情感分类大多集中在提取域不变的特征,而域特定信息对于情感分类也是十分重要的,因此本文提出一种方法,同时抽取原域和目标域的域特定、域不变信息,然后利用原域和目标域的域不变信息训练一个域不变分...

weixin_44740082的博客 3459

信息论复习—信息的度量

离散无记忆信源信息量及熵

vizio.blog.youkuaiyun.com 2290

2020美赛C题解题思路(A Wealth of Data)

(占个坑,B题已写完并发布,现正写C题) 《数学建模想获奖?国赛、美赛看这一个就够了》 —— 数学建模的进阶指南!内容全面、门类齐全,包含组队、日常训练、算法(含MATLAB代码)、建模、写作和“高校内部培训资源”等诸多方面的指导!千载难逢、不容错过! —— 有条件的朋友们支持一下,谢谢! 需要“数学建模国赛美赛资源包”的关注公众号“猫和真人”,回复“1”即可获得资源包,有条件的支持一下哈! ...

猫和真人的博客 11万+

数学之美——信息的度量

信息有大小吗,如何度量信息的大小?如何度量信息之间的关系? 今天主要讨论的几个问题,它是 信息论 的基础,相信看完这篇文章你会感觉:其实每门学科都有它的神奇之处:) 信息熵在日常生活中,我们应该遇到过这样类似的情况:有的人简单说了一句话,我们感觉这句话信息量好大,一时缓不过神来。有的人说了一堆话,感觉和没说一样,半天提取不出来重点信息。如果遇到过这种情况,我们应该有所感觉——信息应该是可以度量的。

IT小小鸟~~ 9419

第十三章:文本聚类应用实战

第十三章:文本聚类应用实战 1. 背景介绍 文本聚类作为自然语言处理 (NLP) 中的关键技术之一,在信息检索、主题发现、客户细分等领域发挥着重要作用。它能够将大量文本数据按照语义相似性进行分组,帮助我们从海量信息中提取有价值的知识和洞察。本章将深入探讨文本聚类的应用实战,涵盖核心概念、算法原理

AI天才研究院 715

Axure RP 10表单数据提交制作

本文介绍了如何使用Axure RP 10实现表单数据提交。

Peppaaa的博客 990

信息怎样衡量多少?

​疑问 我们常常说信息很多,或者信息较少,但却很难说清楚信息到底有多少。你跟你暗恋许久的女生表白,焦急地等待她的回复,那她这让你牵肠挂肚的回复里边包含的信息量有多少呢?一本50多万字的《史记》又包含了多少信息量? 介绍 关于信息怎么衡量这个问题几千年来都没有人给出答案,直到1948年,香农(Claude Shannon)在他著名的论文“通信的数学原理”(A Mathematic Theory of Communication)中提出了“信息熵”的概念后才解决了信息的度量问题。一条信息的信息量...

3225

深入解析Android Qcom Camera HAL3架构与Camx线程模块

本文深入解析了Android Qcom Camera HAL3架构与Camx线程模块的核心原理。文章以高通芯片平台为例,剖析了从按下快门到生成照片的完整Camera流程分析,重点阐述了Camx框架中线程池、消息队列及Fence同步机制如何协同工作,以实现高效、稳定的多线程并发图像处理,为相机性能优化提供理论基础。

weixin_29184075的博客 223

05/23报告

在这 k 次提及中情感的平均值。上式同样将矩阵元素转化为1-N的分数。为用户u提到特征j的次数。上式可以将矩阵元素转化为1-N的分数。,提取其所有的(F,S')对。的评论中被提及的次数,其中, k 表示特征。

qq_40206924的博客 520

实战避坑:示波器测量非隔离开关电源的炸机风险与隔离方案

本文详细分析了使用示波器测量非隔离开关电源时的炸机风险,揭示了地线环路导致的短路问题,并对比了四种防炸机解决方案,包括示波器隔离供电、拔掉电源地线、使用差分探头和被测板隔离供电。重点推荐使用隔离变压器方案,确保测量安全与精度,同时提供了实操建议与经验分享,帮助工程师避免常见测量事故。

weixin_29224309的博客 564

从 CDS 接口到 ABAP 运行时,深入理解 SAP RAP Custom Entity

CDS Custom Entity 是一种非 SQL、瞬态的 CDS 实体,不依赖 HANA SQL 读取数据,而是通过 ABAP 类实现查询逻辑(如 RFC、OData、BAPI 等)。它在 CDS 层定义数据契约(字段、键、关联、注解),由 @ObjectModel.query.implementedBy 指向实现 IF_RAP_QUERY_PROVIDER~SELECT 的类,真正执行数据获取。适用于无法用 SQL 表达的数据源,如远程系统或 API。其核心是“接口 + 实现”模式,运行时由 RAP

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 172

数学之美--信息的度量和作用--信息熵,条件熵和交叉熵

保留初心,砥砺前行 这一章节讲解的是关于信息的某些度量。 我们常常说信息很多,或者信息较少,但却很难说清楚信息到底有多少。……直到1948年,Shannon在他著名的论文“通信的数学原理”中提出了“信息熵”的概念,才解决了信息的度量问题,并且量化出信息的作用。信息熵首先,我们可以记住的是,信息熵一般使用符号H来表示,单位是比特。接下来,看一个书中给出的例子: 当我错过了上一届世界杯的比赛,而想

加勒比海鲜王 3090

RSL-RL:开源人形机器人强化学习控制研究库

摘要:RSL-RL是一款专为机器人领域设计的开源强化学习库,其核心特点是紧凑性、可修改性和高性能。该库聚焦PPO和BC两大主流算法,并整合了对称性增强、好奇心驱动等机器人专用技术。通过纯GPU训练优化,RSL-RL在大型仿真中展现出卓越的吞吐性能,已成功应用于腿足运动控制、全身协调等多个机器人研究场景。其轻量级架构包含运行器、算法和网络三个可独立修改的组件,支持TensorBoard等主流日志工具。该框架特别适合需要快速原型开发的机器人研究者,但不适用于通用机器学习基准测试。开源地址:https://git

2506_90492529的博客 1680

《数据挖掘》第 3 章「相关分析」读书笔记

在控制其他变量后,学习时长与成绩的 Pearson r = 0.68 (p < 0.001, 95% CI [0.55, 0.78]),表明两者存在大效应量的正相关。就算转校生 2 米 3,也只是“最后一名”,不会把整体分布炸掉。突然出现一条 1000 w 播放的爆款,Spearman 只把它当“第一名”,不会数值爆炸。生活反例:把马云收入加进你的工资样本,瞬间“平均工资”爆表。其中 ( d_i = R(x_i) - R(y_i) )。⚠️ :Pearson 只量“直线”关系,对异常值敏感。

qq_60730025的博客 352

UFS软件分区介绍

本文主要介绍了ufs软件分区管理的概况,能够使大家对软件分区有个大体的认识

肥匪斐's blogs 1万+

【原创教程】西门子1500与施耐德伺服的通讯以及调试

该函数块主要描述伺服的手动,左边的引脚Forward是指伺服手动正转,Backward是指伺服手动反转,Fast是指手动的某个方向为快速运行,TipPos手册上描述为固定值,WaitTIme是指伺服手动的相应时间,VeloSlow指伺服手动正常慢速运动的速度,VeloFast指伺服手动快速运动的速度,Acceleration是指伺服手动的加速度,Decelertion是指伺服手动的减速度。该函数块用于伺服停止,左边的引脚Execute为伺服停止执行,Deceleration含义为减速,Axis为轴。

Qinmingyue13的博客 1377

【愚公系列】软考中级-软件设计师 040-软件工程基础(软件质量和度量)

软件质量是指软件在满足用户需求的同时,具备一定的可靠性、可维护性、可测试性等特性。而软件度量是指通过对软件产物进行度量,来评估和衡量软件质量的一种方法。下面将分别介绍软件质量和软件度量的一些重要概念和方法。软件质量属性软件质量属性是衡量软件质量的依据,包括以下几个方面:功能性:软件能否满足用户需求;可靠性:软件在给定环境下的稳定性和可靠性;易维护性:软件是否容易进行修改和扩展;可测试性:软件是否易于进行测试;可移植性:软件是否可以在不同环境中运行。软件度量方法。

愚公智库 8万+

AUTOSAR从入门到精通-【应用篇】基于AUTOSAR架构的混合动力电池 ECU 软件开发

由于严峻的环境污染和能源短缺问题,各国都在致力于发展新能源车,以达到节能排放的目的。在此背景下,12V启停系统由于成本较低廉、匹配方便,得到广泛应用。但是12V系统作为启停系统后存在许多问题,比如节能和减排效果有限,并且轻度混合动力系统的功率需求通常在10~15KW,在此电压条件下运行时,电池的电流会达到1000A,因此该方案行不通。高压混合动力系统(>110V)的节油效果好,但是成本很高,并且需要大功率的电机。48V混合动力系统比高压混合动力系统成本。

getusushu的博客 1491

恶毒评论分类报告

恶毒评论分类报告 一、问题的定义 1.1、项目概述     讨论你关心的事情是很困难的。网络上的虐待和骚扰的威胁意味着许多人停止表达自己,放弃寻求不同的意见。平台很难有效地促进对话,导致许多社区限制或完全关闭用户评论。     对话人工智能团队是Jigsaw和谷歌(都是Alphabet的一部分)共同发起的一个研究项目,目前正致力于开发帮助改善在线对话的工具。一个重点领域是对负面网络行为的研究,比如...

火鸡哥 1696

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

信息➡️信息量➡️信息熵

随机事件每次发生结果具有不确定性,信息是消除这种不确定性的东西;我们用信息对应事件的发生概率来衡量信息量,信息量函数底数的不同取值代表了信息量的不同单位。为了衡量随机事件的不确定性,我们用信息熵衡量确定随机事件每次发生结果所需要的期望信息量。

guaiguaidog的博客 1315

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

用代码具体写出如何对一个用户对产品的在线评论网络进行社交网络分析,注意,数据集里只有用户对产品的评论,而没有用户之间的评论

2. 构建用户-产品网络:根据评论数据集中的用户和产品信息,构建用户-产品网络。在这个网络中,用户和产品将成为网络的节点,而用户与产品之间的评论关系将成为网络的边。3. 社交网络度量指标计算:根据构建的用户-产品网络,可以计算各种社交网络度量指标,以揭示网络的结构和用户之间的关系。5. 可视化分析:为了更好地理解和展示用户对产品的在线评论网络,可以使用可视化工具(如NetworkX、Gephi或Cytoscape)将网络可视化。通过调整节点和边的属性,以及社区颜色标记等方式,可以呈现节点和社区之间的关联。

zhangguanghao9的博客 230

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

什么是事实表和维度表?什么是维度和度量?

写在前面 本文隶属于专栏《100个问题搞定大数据理论体系》,该专栏为笔者原创,引用请注明来源,不足和错误之处请在评论区帮忙指出,谢谢! 本专栏目录结构和文献引用请见100个问题搞定大数据理论体系 解答 维度表 维度表示你要对数据进行分析时所用的一个量,比如你要分析产品销售情况, 你可以选择按类别来进行分析,或按区域来分析。 通常来说维度表信息比较固定,且数据量小 事实表 表示对分析主题的度量。 事实表包含了与各维度表相关联的外键,并通过join方式与维度表关联。事实表的度量通常是数值类型, 且记录数会

Shockang的博客 1万+

基于卷积网络的度量学习

标签: 距离度量度量学习卷积网络分类KNN 2017-01-01 13:14 217人阅读 评论(0) 收藏 举报 分类: machine learning(15) algorithm(6) 版权声明:本文为博主原创文章,未经博主允许不得转载。 目录(?)[+] 距离度量     度量是指在集合X上的一个函数,即距离函数

haoji007的博客 2097

关于深度度量学习要知道的三件事

本文提出了一种新颖的替代损失函数,用于使用召回@k指标进行深度度量学习的训练。需要大批量的数据,本文通过两种方式来解决这个问题:一是实现框架,该框架在很大程度上摆脱了硬件限制;二是提出的Sim-Mix,它有效地和虚拟地增加了批处理大小。在多个标准的深度度量学习和实例级搜索基准上取得了最先进的结果,使用了不同的骨干。使用最近大规模培训前方法的模型初始化,进一步提高了结果,使一些基准似乎几乎得到解决。对更多实验结果和文章细节感兴趣的读者,可以阅读一下论文原文~

计算机视觉工坊 910

研发效能度量框架解读

阅读本文你将收获: 1、研发效能度量框架有哪些构成? 2、对研发效能度量框架进行拆分解读 3、研发效能度量基础设施建设改怎么做

simayi2018的博客 1106
上一篇: search花絮之语义处理
下一篇: 什么是知识
cs_
cs_
博客等级 码龄21年 14粉丝 55原创
评论 3
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值