评论《怎样度量信息》

信息的度量 现代通信技术中定义了信息的度量方法,即信息量和信息熵 一、信息量 信息量分为自信息量和互信息量 自信息量的定义: 互信息量的定义: 互信息是一个变量中包含的关于另一个随机变量的信息量,或者说是一个随机变量由于已知另一个随机变量而减少的不肯定性。 发生概率越小的事件,其自身包含的信息量越多; 发生概率越大的事件,其自身包含的信息量越少; 二、信息熵 信息熵即平均自信 阅读详情

 

Google黑板报上有一个系列《数学之美》非常的不错,到目前为止共有四期,链接分别如下:

http://googlechinablog.com/2006/04/blog-post.html

http://googlechinablog.com/2006/04/blog-post_10.html

http://googlechinablog.com/2006/04/4.html

http://googlechinablog.com/2006/04/blog-post_17.html

 

其第一期和第三期都是统计语言模型的话题,一是概述,三介绍了HMM,统计语言模型在NLU/NLP中的应用方兴未艾,不再赘述。而二谈到了中文分词,因为有做SegWord的计划,所以也曾经粗略的分析过中文分词的问题,可见于:

http://blog.youkuaiyun.com/cs_/archive/2006/02/20/603661.aspx

http://blog.youkuaiyun.com/cs_/archive/2006/02/23/607215.aspx

 

倒是第四期,题目为“怎样度量信息?”,并有一段举例:

 

那么我们如何量化的度量信息量呢?我们来看一个例子,马上要举行世界杯赛了。大家都很关心谁会是冠军。假如我错过了看世界杯,赛后我问一个知道比赛结果的观众“哪支球队是冠军”?他不愿意直接告诉我, 而要让我猜,并且我每猜一次,他要收一元钱才肯告诉我是否猜对了,那么我需要付给他多少钱才能知道谁是冠军呢? 我可以把球队编上号,从 1 到 32, 然后提问: “冠军的球队在 1-16 号中吗?” 假如他告诉我猜对了, 我会接着问: “冠军在 1-8 号中吗?” 假如他告诉我猜错了, 我自然知道冠军队在 9-16 中。 这样只需要五次, 我就能知道哪支球队是冠军。所以,谁是世界杯冠军这条消息的信息量只值五块钱。

当然,香农不是用钱,而是用 “比特”(bit)这个概念来度量信息量。 一个比特是一位二进制数,计算机中的一个字节是八个比特。在上面的例子中,这条消息的信息量是五比特。(如果有朝一日有六十四个队进入决赛阶段的比赛,那么“谁世界杯冠军”的信息量就是六比特,因为我们要多猜一次。)

 

由这个例子引出香农信息伦的确是非常精彩的。但若以此来度量信息(这个世界中的所有信息)、处理自然语言,却是值得商榷的,或者说,不应忘了给予反思。

我们仍从这个例子开始,32个球队,如巴西队、意大利队、德国队等,若想知道谁是冠军,对球队进行编号然后用二分法查找,也就是在这种模型下对检索过程进行编码,码长便可以衡量这个结果的“信息量”。但这是有前提的,也就是说,我们在追问“冠军是谁”的信息量时,我们对这个“信息”已经进行了加工,也就是把球队集合与自然数集进行了映射(作标号),换句话说,这是一种结构化的信息。作为信息检索方向的研究与应用,我们当然更希望深入了解非结构化信息的信息量计算。

回过头来看什么是信息,香农信息论的确第一次给出了形式化的定义,也就是《怎样度量信息》中提到的信息熵计算公式。这个定义的哲学就是,信息量是对不确定性的衡量。一个事件越是确定的,对你而言信息量也就越小,如人总是会死的,明天太阳将从东方升起,这些对人而言,信息熵几乎都是为0的。(因为人对这些信息熵的计算是在一定的模型之上)。

但对于机器而言,一个请求“哪支球队是冠军?”意味着什么?如果它的内部已经有了球队集合的映射,并精确“知道”这个输入的意义是什么,自然其信息量也就是5bit。但若在一个非结构化的信息环境中,比如新闻报道的大规模文档集合中,这个请求的信息量是多少?它意味着什么呢?

首先,对于请求,这个结构表达的是一种疑问信息,需要匹配是冠军的球队,信息的主体是:

球队 是 冠军

-〉球队获得了 冠军称号(冠军杯)

这是一种逻辑结构,“是”结构和“获得了”结构在这种自然语言逻辑的环境中信息量是等价的(等同的),当然还有众多的变体。在这种逻辑结构中,除了谓词,还有一些关键的实体单元,如球队、冠军(称号、杯)等,都是具有意义的。

在大规模的新闻文档中回答这个请求,除了理解其信息结构和意义之外,自然是理解信息源的结构和意义。

这样,我们才能在报道繁杂的文档中,计算出我们所需要的答案。那么,这个过程的信息量是多少?刨除“逻辑结构”这样的模型化名词,我们用一个串去到另一个串中去匹配我们所需要的串,这个过程中信息量应该如何度量?什么又是信息呢?

 

国内现在对香农信息论有一种批评的声音(可检 索钟义信 教授的全息自然语言理解方向的探索材料),认为它只研究信息传输过程中噪声环境下的处理,并不涉及信息的理解,我觉得一个不容回避的问题是,既然谈到信息,就不能仅仅关注到不确定性的度量,还要关注到意义的度量(这里用了语言哲学方面的提法,而不是语言学的提法:语义,为的是促进反思)。所以《怎样度量信息》中提到“有了“熵”这个概念,我们就可以回答本文开始提出的问题,即一本五十万字的中文书平均有多少信息量。”这个说法及其后文的计算方法,我觉得对于这篇blog所提到的主题和google的使命来讲是值得再思考的。因为信息和信息量的度量,对我们来讲是意义重大的,或许,这远非信息熵所能表达。

 

仅作继续思考的材料。

 

《User Diverse Preference Modeling by Multimodal Attentive Metric Learning》论文阅读 前言 在该论文中,作者提出了MAML模型,是一种基于多模态信息的度量学习方法,通过该方法学习用户对于不同物品所具有的不同的偏好特征。 一、Related Work 首先,论文介绍了相关的工作,主要分为三个部分:1. 用户偏好建模;2. 度量学习;3. 多模态。 1. Diverse preference modeling 在第一部分中,作者将前人的相关工作划分为两组: 第一组是利用评论信息来分... 阅读详情

相关推荐

论文阅读笔记:Cross-Domain Sentiment Classification with Target Domain Specific Information

本文是复旦大学在第56届ACL会议上发表的文章。主要目的是通过原域大量带有标签的数据及目标域少量带有标签的数据的训练,对目标域大量无标签数据进行分类。 原文链接 摘要: 现有的跨领域情感分类大多集中在提取域不变的特征,而域特定信息对于情感分类也是十分重要的,因此本文提出一种方法,同时抽取原域和目标域的域特定、域不变信息,然后利用原域和目标域的域不变信息训练一个域不变分...

weixin_44740082的博客 3459

信息论复习—信息的度量

离散无记忆信源信息量及熵

vizio.blog.youkuaiyun.com 2290

2020美赛C题解题思路(A Wealth of Data)

(占个坑,B题已写完并发布,现正写C题) 《数学建模想获奖?国赛、美赛看这一个就够了》 —— 数学建模的进阶指南!内容全面、门类齐全,包含组队、日常训练、算法(含MATLAB代码)、建模、写作和“高校内部培训资源”等诸多方面的指导!千载难逢、不容错过! —— 有条件的朋友们支持一下,谢谢! 需要“数学建模国赛美赛资源包”的关注公众号“猫和真人”,回复“1”即可获得资源包,有条件的支持一下哈! ...

猫和真人的博客 11万+

数学之美——信息的度量

信息有大小吗,如何度量信息的大小?如何度量信息之间的关系? 今天主要讨论的几个问题,它是 信息论 的基础,相信看完这篇文章你会感觉:其实每门学科都有它的神奇之处:) 信息熵在日常生活中,我们应该遇到过这样类似的情况:有的人简单说了一句话,我们感觉这句话信息量好大,一时缓不过神来。有的人说了一堆话,感觉和没说一样,半天提取不出来重点信息。如果遇到过这种情况,我们应该有所感觉——信息应该是可以度量的。

IT小小鸟~~ 9419

第十三章:文本聚类应用实战

第十三章:文本聚类应用实战 1. 背景介绍 文本聚类作为自然语言处理 (NLP) 中的关键技术之一,在信息检索、主题发现、客户细分等领域发挥着重要作用。它能够将大量文本数据按照语义相似性进行分组,帮助我们从海量信息中提取有价值的知识和洞察。本章将深入探讨文本聚类的应用实战,涵盖核心概念、算法原理

AI天才研究院 715

若依开源框架(分离版)在人大金仓数据库下使用

对于甲方业务特殊要求,使用国产化数据库人大金仓,作为项目主要存储。这里以若依开源框架整合人大金仓为例,演示如何在真实项目中引入人大金仓。

🐱喵测实验室 5944

信息怎样衡量多少?

​疑问 我们常常说信息很多,或者信息较少,但却很难说清楚信息到底有多少。你跟你暗恋许久的女生表白,焦急地等待她的回复,那她这让你牵肠挂肚的回复里边包含的信息量有多少呢?一本50多万字的《史记》又包含了多少信息量? 介绍 关于信息怎么衡量这个问题几千年来都没有人给出答案,直到1948年,香农(Claude Shannon)在他著名的论文“通信的数学原理”(A Mathematic Theory of Communication)中提出了“信息熵”的概念后才解决了信息的度量问题。一条信息的信息量...

3225

Ubuntu更新后VirtualBox报错rc=-1908?手把手教你修复Kernel driver not installed

本文详细解析了Ubuntu更新后VirtualBox报错rc=-1908的原因,并提供了完整的修复方案。通过重新安装VirtualBox、处理DKMS内核模块以及解决Secure Boot问题,帮助用户快速恢复虚拟机功能。特别针对Kernel driver not installed错误,给出了从诊断到修复的详细步骤。

weixin_42519781的博客 341

05/23报告

在这 k 次提及中情感的平均值。上式同样将矩阵元素转化为1-N的分数。为用户u提到特征j的次数。上式可以将矩阵元素转化为1-N的分数。,提取其所有的(F,S')对。的评论中被提及的次数,其中, k 表示特征。

qq_40206924的博客 520

CST新手必看:共面波导色散曲线绘制全流程(附参数设置详解)

本文为CST新手提供了绘制共面波导色散曲线的完整流程与参数设置详解。从模型搭建、周期性边界条件设置,到本征模求解器配置和参数扫描技巧,逐步解析关键步骤,并分享后处理与结果验证方法,帮助用户高效完成仿真任务。

j0k1l2m3n的博客 426

从零到一:FAST_LIO与FAST_LIO2算法环境搭建与实战评测

本文详细介绍了FAST_LIO与FAST_LIO2算法的环境搭建与实战评测,包括算法原理、环境配置避坑指南、源码编译技巧及性能对比。FAST_LIO2凭借ikd-tree数据结构在动态环境中表现优异,处理速度提升至15ms,内存占用降低40%。文章还提供了常见问题排查和进阶优化技巧,助力开发者高效实现SLAM应用。

weixin_29271053的博客 471

数学之美--信息的度量和作用--信息熵,条件熵和交叉熵

保留初心,砥砺前行 这一章节讲解的是关于信息的某些度量。 我们常常说信息很多,或者信息较少,但却很难说清楚信息到底有多少。……直到1948年,Shannon在他著名的论文“通信的数学原理”中提出了“信息熵”的概念,才解决了信息的度量问题,并且量化出信息的作用。信息熵首先,我们可以记住的是,信息熵一般使用符号H来表示,单位是比特。接下来,看一个书中给出的例子: 当我错过了上一届世界杯的比赛,而想

加勒比海鲜王 3090

DEAP数据集实战:用PyTorch搭建DNN/CNN脑电情绪识别模型(附完整代码)

本文详细介绍了如何使用PyTorch搭建DNN和CNN模型对DEAP数据集进行脑电情绪识别。从数据预处理到模型架构设计,再到训练优化和部署,提供了完整的实战指南和代码示例,帮助研究者快速掌握脑电信号识别技术。

k8l9m0n的博客 394

《数据挖掘》第 3 章「相关分析」读书笔记

在控制其他变量后,学习时长与成绩的 Pearson r = 0.68 (p < 0.001, 95% CI [0.55, 0.78]),表明两者存在大效应量的正相关。就算转校生 2 米 3,也只是“最后一名”,不会把整体分布炸掉。突然出现一条 1000 w 播放的爆款,Spearman 只把它当“第一名”,不会数值爆炸。生活反例:把马云收入加进你的工资样本,瞬间“平均工资”爆表。其中 ( d_i = R(x_i) - R(y_i) )。⚠️ :Pearson 只量“直线”关系,对异常值敏感。

qq_60730025的博客 352

AutoSAR配置视频讲解:新建DaVinci工程

AutoSAR实验视频讲解:闪烁一颗LED实验【新建DaVinci工程】 上一篇 | 下一篇 | 总目录 实验架构图 视频本频放在了文末,下图描述了本次实验配置内容在AutoSAR架构中的位置,供大家参考 实验内容 本节课程讲解新建DaVinci工程,听上去新建工程很简单,但是还是需要很多的准备工作和细节。主要内容是新建工程和导入dbc文件和导入arxml文件的方法 主要步骤 新建DaVinci工程 导入.dbc通信矩阵文件 导入Mcal的arxml文件 实验视频2:Mcal配置 提示:版权所在,违

雪云飞星的博客 6277

【Unity】 预制体Prefab使用说明

在 Unity 中,Prefab 是一个可以预先制作并重复使用的 GameObject 或组件集合,Prefab 中的 GameObject 可以有子对象和其他组件。

灵境引路人 2853

【愚公系列】软考中级-软件设计师 040-软件工程基础(软件质量和度量)

软件质量是指软件在满足用户需求的同时,具备一定的可靠性、可维护性、可测试性等特性。而软件度量是指通过对软件产物进行度量,来评估和衡量软件质量的一种方法。下面将分别介绍软件质量和软件度量的一些重要概念和方法。软件质量属性软件质量属性是衡量软件质量的依据,包括以下几个方面:功能性:软件能否满足用户需求;可靠性:软件在给定环境下的稳定性和可靠性;易维护性:软件是否容易进行修改和扩展;可测试性:软件是否易于进行测试;可移植性:软件是否可以在不同环境中运行。软件度量方法。

愚公智库 8万+

YOLOv8/v9实战:从零搭建智慧零售货架管理系统(附完整可运行代码)

摘要:本文基于YOLOv8/v9目标检测算法,详细讲解智慧零售货架管理系统的开发流程,解决传统人工巡检效率低、漏检率高的问题。内容涵盖环境配置、商品检测、陈列分析、价格标签验证等核心功能实现,提供可运行代码及零售专用数据集训练方法。系统支持实时货架状态监控、缺货预警与数据分析,帮助零售企业降低运营成本30%以上。 关键词:YOLOv8、YOLOv9、智慧零售、货架管理、商品检测 标签:YOLOv8、YOLOv9、目标检测、零售AI、Python

专注于人工智能、软件开发、工控自动化、工厂数字化及智能化等领域,希望和大家共同进步! 1311

恶毒评论分类报告

恶毒评论分类报告 一、问题的定义 1.1、项目概述     讨论你关心的事情是很困难的。网络上的虐待和骚扰的威胁意味着许多人停止表达自己,放弃寻求不同的意见。平台很难有效地促进对话,导致许多社区限制或完全关闭用户评论。     对话人工智能团队是Jigsaw和谷歌(都是Alphabet的一部分)共同发起的一个研究项目,目前正致力于开发帮助改善在线对话的工具。一个重点领域是对负面网络行为的研究,比如...

火鸡哥 1696

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

信息➡️信息量➡️信息熵

随机事件每次发生结果具有不确定性,信息是消除这种不确定性的东西;我们用信息对应事件的发生概率来衡量信息量,信息量函数底数的不同取值代表了信息量的不同单位。为了衡量随机事件的不确定性,我们用信息熵衡量确定随机事件每次发生结果所需要的期望信息量。

guaiguaidog的博客 1315

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

用代码具体写出如何对一个用户对产品的在线评论网络进行社交网络分析,注意,数据集里只有用户对产品的评论,而没有用户之间的评论

2. 构建用户-产品网络:根据评论数据集中的用户和产品信息,构建用户-产品网络。在这个网络中,用户和产品将成为网络的节点,而用户与产品之间的评论关系将成为网络的边。3. 社交网络度量指标计算:根据构建的用户-产品网络,可以计算各种社交网络度量指标,以揭示网络的结构和用户之间的关系。5. 可视化分析:为了更好地理解和展示用户对产品的在线评论网络,可以使用可视化工具(如NetworkX、Gephi或Cytoscape)将网络可视化。通过调整节点和边的属性,以及社区颜色标记等方式,可以呈现节点和社区之间的关联。

zhangguanghao9的博客 230

什么是事实表和维度表?什么是维度和度量?

写在前面 本文隶属于专栏《100个问题搞定大数据理论体系》,该专栏为笔者原创,引用请注明来源,不足和错误之处请在评论区帮忙指出,谢谢! 本专栏目录结构和文献引用请见100个问题搞定大数据理论体系 解答 维度表 维度表示你要对数据进行分析时所用的一个量,比如你要分析产品销售情况, 你可以选择按类别来进行分析,或按区域来分析。 通常来说维度表信息比较固定,且数据量小 事实表 表示对分析主题的度量。 事实表包含了与各维度表相关联的外键,并通过join方式与维度表关联。事实表的度量通常是数值类型, 且记录数会

Shockang的博客 1万+

基于卷积网络的度量学习

标签: 距离度量度量学习卷积网络分类KNN 2017-01-01 13:14 217人阅读 评论(0) 收藏 举报 分类: machine learning(15) algorithm(6) 版权声明:本文为博主原创文章,未经博主允许不得转载。 目录(?)[+] 距离度量     度量是指在集合X上的一个函数,即距离函数

haoji007的博客 2097

关于深度度量学习要知道的三件事

本文提出了一种新颖的替代损失函数,用于使用召回@k指标进行深度度量学习的训练。需要大批量的数据,本文通过两种方式来解决这个问题:一是实现框架,该框架在很大程度上摆脱了硬件限制;二是提出的Sim-Mix,它有效地和虚拟地增加了批处理大小。在多个标准的深度度量学习和实例级搜索基准上取得了最先进的结果,使用了不同的骨干。使用最近大规模培训前方法的模型初始化,进一步提高了结果,使一些基准似乎几乎得到解决。对更多实验结果和文章细节感兴趣的读者,可以阅读一下论文原文~

计算机视觉工坊 910

研发效能度量框架解读

阅读本文你将收获: 1、研发效能度量框架有哪些构成? 2、对研发效能度量框架进行拆分解读 3、研发效能度量基础设施建设改怎么做

simayi2018的博客 1106
上一篇: search花絮之语义处理
下一篇: 什么是知识
cs_
cs_
博客等级 码龄21年 14粉丝 55原创
评论 3
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值