Efficient Graph Similarity Joins with Edit Distance Constraints 基于路径的q-gram

语言模型:n-grams 语言模型定义n-grams模型评价指标:困惑度参考资料 定义 语言模型是定义在单词序列上的概率模型,通常构建为字符串sss的概率分布p(s)p(s)p(s),这里的p(s)p(s)p(s)反映是字符串sss作为一个句子出现的概率。需要注意的是,与语言学不同,语言模型和句子是否合乎语言没有关系。 n-grams模型 语言中存在上下文相关,理论上下文应当与上文所有信息相关,但是这样必然会导致: 模型参数空间巨大 计算的概率数据矩阵严重稀疏 为了解决上述问题,我们提出了马尔可夫假设: P(xt+1∣xt,... 阅读详情

文章简介:

  1. 文章标题:Efficient Graph Similarity Joins with Edit Distance Constraints
  2. ppt链接
  3. 文章链接
  4. 作者单位:新南威尔士大学,悉尼,澳大利亚
  5. 文章来源:ICDE 2012

正文

文章摘要:

在生物信息学,化学,社交网络,模式识别等许多应用中,图形被广泛用于建模复杂的数据语义。最近的趋势是容忍各种来源(例如错误的数据输入)产生的噪声并找到相似性匹配项。
在本文中,我们研究具有编辑距离约束的图相似性查询。
受q-gram思想解决字符串相似性问题的启发,我们的解决方案从图提取路径作为索引特征。 我们确定通用特征的下限以生成候选对象。 提出了一种有效的算法,通过利用匹配和不匹配特征以及程度信息来处理三种类型的图相似性查询,以改善对候选者的过滤和验证。
我们通过对真实和合成数据集进行广泛的实验,证明了所提出的算法明显优于现有方法。
两个定理:
1.如果GED(q,g)≤r,那么他们共同的基于路径的q-gram个数满足下界:
在这里插入图片描述
2.前缀过滤
如果两个图的q-grams集合为Q(g) Q(q)公共q-gram至少为 α \alpha α ,那么在各自的前缀q-gram |Q(g)- α \alpha α +1|-prefix和 |Q(q)- α \alpha α +1|中,至少有一个相同。

以前方法的不足

k-at树:
star:
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
过滤下界:
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

文章句法:

The algorithm takes as input a collection of graphs, and follows an index nested loop join style, maintaining an in-memory inverted index on-the-fly.
该算法将图形集合作为输入,并遵循索引嵌套循环联接样式,从而即时维护内存中的反向索引。

基于路径的q-gram和基于树的q_gram(又叫做k-AT)的不同之处在于,K-AT树是通过一个顶点的深度优先的层数而定的,基于路径的q-gram是根据图中的俩个点之间的路径定的。一个编辑距离的操作对于基于路径的q-gram的影响较小,因为只会影响其中部分的g-gram,但是对于K-AT树,会影响全部的g-gram。比如修改图中的碳元素C1的值,K-AT树的全部分支都会被影响,但是在基于路径的q-gram中,碳元素2和3不会被影响,因为它们在和碳元素1分开的q-gram中。这种优点会保持图的结构信息。

问题:

  1. 怎样通过定理1和2计算出每个图g的前缀长度 r r r * D p a t h _{path} path​(g)+1?
自然语言处理NLP中的N-gram模型 自然语言处理NLP中的N-gram模型 自然语言处理NLP中的N-gram模型 Naive Bayes N-gram N-gram简介 N-gram中的概率计算 N-gram的用途 用途一:词性标注 用途二:垃圾短信分类 用途三:分词器 用途四:机器翻译和语音识别 机器翻译 语音识别 N-gram中N的确定 N-gram中的数据平滑方法 拉普拉斯平滑 Add-one Add-K ... 阅读详情

相关推荐

Gram矩阵

1、Gram矩阵的定义 2、意义        格拉姆矩阵可以看做feature之间的偏心协方差矩阵(即没有减去均值的协方差矩阵),在feature map中,每个数字都来自于一个特定滤波器在特定位置的卷积,因此每个数字代表一个特征的强度,而Gram计算的实际上是两两特征之间的相关性,哪两个特征是同时出现的,哪两个是此消彼长的等等,同时,Gram的对角线元素,还体现

wangyang20170901的博客 6万+

字符串匹配

数据集成原理-字符串匹配

Dandelion的博客 436

自然语言处理中的N-Gram模型详解

N-Gram(有时也称为N元模型)是自然语言处理中一个非常重要的概念,通常在NLP中,人们基于一定的语料库,可以利用N-Gram来预计或者评估一个句子是否合理。另外一方面,N-Gram的另外一个作用是用来评估两个字符串之间的差异程度。这是模糊匹配中常用的一种手段。本文将从此开始,进而向读者展示N-Gram在自然语言处理中的各种powerful的应用。

白马负金羁 15万+

q-gram 字符串相似

原帖:http://hi.baidu.com/tengteng2007/blog/item/1dee92101028cd08203f2e66.html step1.对string进行q切分 step2.建倒排索引 step3.计算相似度

缕顺 2865

cobs:COBS-紧凑的位片签名索引(用于基因组k-Mer数据或q-Grams)

紧凑的位片签名索引(COBS) COBS(有效位切片签名索引)是反向索引和Bloom过滤器之间的交叉。 我们的目标应用是从文本文档中索引DNA样本或q-gram的k-mers,并使用用户选择的覆盖范围阈值对语料库进行近似模式匹配查询。 查询结果可能包含许多误报,这些误报会随着查询时间和在构建时确定的索引的误报率呈指数下降。 Pandey等人的Mantis的COBS紧凑而简单的数据结构在构建时间和查询性能方面优于其他指标。 在第二位。 但是,与Mantis和其他先前的工作不同,COBS不需要RAM中的完整索引,因此可以扩展到更大的文档集。 COBS有两个接口:( ) C ++中的一个称为cobs的命令行工具(请参见下文) C ++库的Python接口 (请参阅 ) 有关COBS的更多信息,请参见:Timo Bingmann,Phelim Bradley,Florian Gauger

Java字符串相似度:各种字符串相似度和距离算法的实现:Levenshtein,Jaro-winkler,n-Gram,Q-Gram,Jaccard索引,最长公共子序列编辑距离,余弦相似度..

Java字符串相似度 一个实现不同字符串相似度和距离度量的库。 当前实现了十二种算法(包括Levenshtein编辑距离和同级,Jaro-Winkler,最长公共子序列,余弦相似性等)。 查看下面的摘要表以获取完整列表... 下载 使用Maven: <dependency> <groupId>info.debatty</groupId> <artifactId>java-string-similarity</artifactId> <version>RELEASE</version> </dependency> 或检查。 该库需要Java 8或更高版本。 总览 下面介绍了每种已实现算法的主要特征。 “成本”列给出了计算成本的估算值,以分别计算长度为m和n的两个字符串之间的相似度。 归一化? 公制? 类型 成本 典型用法 距离 没有 是 O(米* n) 1 距离相似 是 没有 O(米* n) 1 距离 没有 没有 O(米* n) 1 光学字符识别 3 距离 没有 是 O(米* n) 1 3 距离 没有 没有 O(米* n) 1 相似距离 是

GraphMap:快速的三代序列比对算法

本文介绍了三代序列比对工具GraphMap的原理

david393的博客 1429

应用Q-gram命中特征优化的近似串匹配算法

近似串匹配是文本检索、生物信息学和信号处理等领域的研究基础。为提高近似串匹配速度,采用分块的方法从匹配串中提取了新的q-gram命中特征,结合新特征提出了一种新的近似串匹配算法。实验数据表明新算法消耗了少量的过滤时间就获得了较高的过滤效率,结果显示新算法在各种匹配错误率下的匹配速度一直比经典的SWIFT算法快。

Precise and Fast Cryptanalysis for Bloom Filter Based Privacy-Preserving Record Linkage论文总结

IEEE TRANSACTIONS ON KNOWLEDGE AND DATA ENGINEERING, VOL. 31, NO. 11, NOVEMBER 2019

桐青冰蝶Kiyotaka的博客 358

工业互联网工控安全与工业质检AI大模型建设方案.pptx

工业互联网工控安全与工业质检AI大模型建设方案.pptx

2024 《计算机网络》实验教学指导书.doc

2024 《计算机网络》实验教学指导书.doc

基于Q-Grams的文本相似度算法:从日常例子到数学公式

Q-Grams相似度算法是一种基于连续子串匹配的文本相似度计算方法,通过将字符串分解为固定长度的子串集合,利用Jaccard系数计算相似度。该算法计算效率高,对拼写错误和短文本匹配效果显著,适合实时应用。文章详细介绍了Q-Grams的生成过程、相似度计算步骤和数学公式,对比了其他相似度算法,并给出了文本去重、拼写纠错等应用实例。虽然该算法无法捕捉语义信息,但通过调整q值、结合其他算法等方式可进一步优化,是NLP领域基础且实用的文本匹配方法。

温一多 910

weblogic 集群搭建,双机部署,相关问题记录

4.5.集群搭建1 参考网址https://wenku.baidu.com/view/76365129cd1755270722192e453610661ed95aa4.html IP地址 端口 角色 192.168.1.160 9001 AdminServer ...

zl386119974的专栏 1669

《实体解析与信息质量》-1.2.3.实体引用解析

实体引用解析 实体引用解析所关注的是这样一个决策:两个引用实例是否等价,它们是否指向同一个实体?这个决策通常是通过引用的身份属性值的相似程度来做出的, 这样的做法被称为匹配(Matching)过程。当不同引用被断定为等价时,链接操作为他们赋予相同的链值。 匹配(Matching)和链接(Linking)大概是ER世界中最容易被混淆的两个术语了。链接是通过将不同引用赋予相同的通用标志符链值,

chndata的专栏 1952

二、ROS2完成Docker容器和宿主机通信,使用ros2 topic list看到,但是无法echo

如果容器和主机权限不一致,则会导致无法通信(我的代码中,docker容器是root,宿主机是普通用户),虽然可以查询到相关话题,但是订阅后没有消息输出。比如,docker容器创建了一个共享内存,其所有者为docker容器用户root,当宿主机去访问的时候,由于用户不同,没有权限访问,也就无法进行信息传递。该方法只是临时修改共享内存的权限,每次运行完,需要重新运行上述命令,才可以进行通信。在运行的过程中,ROS2使用了共享内存机制,会共享内存。运行之后,宿主机和容器可能用户名不同,这是因为。

qq_43280851的博客 1265

FPGA串口通信----uart(一)

通过PLL锁相环IP的使用,可以输入时钟进行分频,倍频,也可以产生多路时钟输出信号。外部提供晶振的原因:①Fpga电路大多数需要时序分析②晶振在Fpga内部占空间大,所以放置于外部PCB板上Uart异步传输速率不能很快的原因:考虑到工程实际问题,假如时钟周期大(传输速率慢的话),采取到数据电平变化的边沿时刻的概率会小很多,这样数据也很准确,通常uart适用于2M.

mvpkuku的博客 968

自然语言处理 浅析N-grams模型

N-Gram是大词汇连续语音识别中常用的一种语言模型,该模型基于这样一种假设,第N个词的出现只与前面N-1个词相关,而与其它任何词都不相关,整句的概率就是各个词出现概率的乘积。 详解:https://www.cnblogs.com/wzm-xu/p/4229819.html ...

pangxing6491的博客 5146

UE4_SpeedTree Shader源码分析

目录 1.UMaterialExpressionSpeedTree::Compile 2.Compiler->SpeedTree 3.GetSpeedTreeVertexOffset 4.Scene中的SpeedTree应用 (Scene->UpdateSpeedTreeWind) 5.GetSpeedTreeVertexOffsetInner 由于之后做风场,也需要在S...

zzgyy123的专栏 2630

深度学习:词向量和句向量(Embedding)

文章目录Word VectorSkip-grams model with negative samplingContinuous Bag of WordsDocument Vector Word Vector 词向量模型可表示为含有一层隐藏层的前向神经网络,词向量为输入层到隐藏层的参数,即参数矩阵的行向量. 语料库总词数为|V| embedding后的单词维度为n 输入层为n维向量 输入层到隐藏...

十里清风 3749

SNAP实战:哨兵1 SLC数据预处理全流程详解(附避坑指南)

本文详细解析了使用SNAP软件处理哨兵1号SLC数据的完整预处理流程。从轨道精校正、辐射定标到多视与斑点滤波,再到地理编码,文章提供了清晰的操作步骤与核心逻辑,并重点分享了实践中的常见“坑”与解决方案,旨在帮助用户高效、准确地完成SAR数据预处理。

7up55的博客 1026

机器人动力学仿真软件:PyBullet_(10).案例分析:双足机器人行走仿真

在本节中,我们将详细探讨如何使用PyBullet进行双足机器人的行走仿真。双足机器人行走仿真是一个复杂的动力学问题,涉及多个关节的协调运动和环境交互。通过本节的学习,您将了解如何创建和控制双足机器人模型,设置仿真环境,以及实现基本的行走算法。首先,我们需要创建一个双足机器人模型。PyBullet支持多种模型格式,包括URDF(Unified Robot Description Format)和MJCF(MuJoCo XML Format)。URDF是一种广泛使用的机器人模型描述格式,我们将使用URDF来创建

kkchenjj的博客 908

Efficiently Indexing Large Sparse Graphs for Similarity Search基于K-AT树

读图相似度的文章,经常遇到受到Q-gram模型的启发,提出新的模型的方法。网络上的解释一般都是n-gram的方法,原始方法在一个1948年的文献中提到过,有时间还得细细研究。 ...

CaptureItTechnology的博客 551

Transformer-LSTM预测 | 基于Transformer-LSTM的多变量单步时间序列预测(Matlab)

Transformer-LSTM预测 | 基于Transformer-LSTM的多变量单步时间序列预测(Matlab)

机器学习之心的博客,关注并私信文章链接,获取对应文章源码和数据。 188

Graph Similarity Search with Edit Distance Constraint in Large Graph Databases通过分支(Branch)构建编辑距离下界

文章简介: 文章标题:Graph Similarity Search with Edit Distance Constraint in Large Graph Databases 文章来源:CIKM 2013 作者单位: 郑伟国 北京大学 邹雷 北京大学 德克萨斯州湘联大学-泛美分校,美国爱丁堡 北京大学 王东 北京大学 赵冬岩 文章链接 文章正文: 分支距离的概念: 下界的提出: ...

CaptureItTechnology的博客 1130

板蓝根挥发油微胶囊化技术及其在抗菌织物整理中的应用研究

微胶囊技术是一种通过成膜材料将具有反应活性或挥发性的液体或固体包封成微小颗粒的技术。该技术因其优异的缓释保护和物态改变性能,已在医药、食品、化妆品等多个领域得到广泛应用。本研究采用复凝聚法制备板蓝根挥发油的微胶囊,利用明胶和阿拉伯胶作为壁材,旨在提升其稳定性和抗菌性能。

qq_62634009的博客 584

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

上一篇: 基于SQL的图相似性查询方法
下一篇: A Distance Measure Between Attributed Relational Graphs for Pattern Recognition 使用图编辑距离识别英文手写字母
RunningBComeOn
博客等级 码龄10年 133粉丝 161原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

RunningBComeOn

你的鼓励是我最大的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值