字符串相似度算法介绍

最新推荐文章于 2025-05-21 16:55:00 发布

转载最新推荐文章于 2025-05-21 16:55:00 发布 · 660 阅读

文章标签：

#编程之美

算法相关同时被 2 个专栏收录

35 篇文章

订阅专栏

编程之美

22 篇文章

订阅专栏

本文介绍了三种常用的字符串相似度计算方法：编辑距离（Levenshtein Distance）、最长公共子串（LCS）及向量空间模型下的余弦定理。编辑距离用于计算两个字符串间的最小编辑操作数；最长公共子串通过构建匹配矩阵找出两个字符串间最长的相同子串；余弦定理则将字符串映射为向量，通过计算向量夹角余弦值来衡量字符串的相似度。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

转载于 http://blog.sina.com.cn/s/blog_53e1c1230100bpe1.html

字符串相似度算法介绍

1．编辑距离（Levenshtein Distance）

　　编辑距离就是用来计算从原串（s）转换到目标串(t)所需要的最少的插入，删除和替换
的数目，在NLP中应用比较广泛，如一些评测方法中就用到了（wer,mWer等），同时也常用来计算你对原文本所作的改动数。编辑距离的算法是首先由俄国科学家Levenshtein提出的，故又叫Levenshtein Distance。
Levenshtein Distance算法可以看作动态规划。它的思路就是从两个字符串的左边开始比较,记录已经比较过的子串相似度(实际上叫做距离),然后进一步得到下一个字符位置时的相似度。用下面的例子: GUMBO和GAMBOL。当算到矩阵D[3,3]位置时,也就是当比较到GUM和GAM时,要从已经比较过的3对子串GU-GAM, GUM-GA和GU-GA之中选一个差别最小的来当它的值. 所以要从左上到右下构造矩阵。
编辑距离的伪算法：
整数 Levenshtein距离(字符 str1[1..lenStr1], 字符 str2[1..lenStr2])
宣告 int d[0..lenStr1, 0..lenStr2]
宣告 int i, j, cost

　　对于 i 等于由 0 至 lenStr1
d[i, 0] := i
对于 j 等于由 0 至 lenStr2
d[0, j] := j
对于 i 等于由 1 至 lenStr1
对于 j 等于由 1 至 lenStr2
若 str1[i] = str2[j] 则 cost := 0
否则 cost := 1
d[i, j] := 最小值(
d[i-1, j　　] + 1,　　　　 // 删除
d[i　　, j-1] + 1,　　　　 // 插入
d[i-1, j-1] + cost　　 // 替换
)
返回 d[lenStr1, lenStr2]

2．最长公共子串 (LCS)

　　LCS问题就是求两个字符串最长公共子串的问题。解法就是用一个矩阵来记录两个字符串中所有位置的两个字符之间的匹配情况，若是匹配则为1，否则为0。然后求出对角线最长的1序列，其对应的位置就是最长匹配子串的位置。

　　下面是字符串21232523311324和字符串312123223445的匹配矩阵，前者为X方向的，后者为Y方向的。不难找到，红色部分是最长的匹配子串。通过查找位置我们得到最长的匹配子串为：21232
但是在0和1的矩阵中找最长的1对角线序列又要花去一定的时间。通过改进矩阵的生成方式和设置标记变量，可以省去这部分时间。下面是新的矩阵生成方式：

当字符匹配的时候，我们并不是简单的给相应元素赋上1，而是赋上其左上角元素的值加一。我们用两个标记变量来标记矩阵中值最大的元素的位置，在矩阵生成的过程中来判断当前生成的元素的值是不是最大的，据此来改变标记变量的值，那么到矩阵完成的时候，最长匹配子串的位置和长度就已经出来了。

3. 余弦定理 (向量空间算法)

　　余弦定理古老而广泛的数学概念，在各个学科及实践中都得到了大量的应用，这里简单的介绍下其在判断两个字符串相似度的应用。在余弦定理中基本的公式为：

　　假如字符串s1与s2，比较两个字符串的相似度，sim(s1,s2)，假设s1,s2中含有n个不同的字符，其分别为c1,c2,... cn，判断字符串的相似度转换为两个字符串对应的向量v1,v2之间夹角大小的判断，余弦值越大其向量之间的夹角越小，s1与S2的相似度越大。

向量空间算法的介绍：

　　在向量空间模型中，文本泛指各种机器可读的记录。用D（Document）表示，特征项（Term，用t表示）是指出现在文档D中且能够代表该文档内容的基本语言单位，主要是由词或者短语构成，文本可以用特征项集表示为D(T1，T2，...，Tn)，其中Tk是特征项，1<=k< =N。例如一篇文档中有a、b、c、d四个特征项，那么这篇文档就可以表示为D(a，b，c，d)。对含有n个特征项的文本而言，通常会给每个特征项赋予一定的权重表示其重要程度。即D＝D(T1，W1；T2，W2；...，Tn，Wn)，简记为D＝D(W1，W2，...，Wn)，我们把它叫做文本D的向量表示。其中Wk是Tk的权重，1<=k<=N。在上面那个例子中，假设a、b、c、d的权重分别为30，20，20，10，那么该文本的向量表示为D(30，20，20，10)。在向量空间模型中，两个文本D1和D2之间的内容相关度Sim(D1，D2)常用向量之间夹角的余弦值表示，公式为：　　

　　其中，W1k、W2k分别表示文本D1和D2第K个特征项的权值，1<=k<=N。我们可以利用类似的方法来计算两个字符串的相关度。　　　　
这个算法网上没找到，虽然我写过，但是没什么通用性，就不贴出来。很简单的，有兴趣的可以自己写一个。