【全英文警告！】如何比较两个向量的相似度

最新推荐文章于 2024-11-18 11:11:08 发布
最新推荐文章于 2024-11-18 11:11:08 发布
阅读量552 收藏 2
点赞数 2
分类专栏： 数学 文章标签： 概率论 几何学 推荐系统
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_43230147/article/details/109272663
版权
本文介绍了如何衡量两个向量的相似度，主要讨论了Jaccard相似性和余弦相似性。Jaccard相似性通过交集与并集的比例来度量集合的相似度，而余弦相似性则基于内积空间中向量的夹角余弦值。此外，还提到了角度距离和Otsuka-Ochiai系数在向量相似性研究中的应用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Jaccard Similarity

Basic Concept

A statistic used for measuring the simularity and diversity sample sets [ 2 ] ^{[2]} [2]

The Jaccard coefficient measures the similarity of between the finite sample sets, and is defined as the intersection divided by the size of union of the sample sets.

J ( A , B ) = ∣ A ∩ B ∣ ∣ A ∪ B ∣ = ∣ ∣ A ∩ B ∣ ∣ A ∣ + ∣ B ∣ − ∣ A ∩ B ∣ ∣ J(A,B)=\frac{|A\cap B|}{|A\cup B|}=|\frac{|A\cap B|}{|A|+|B|-|A\cap B|}| J(A,B)=∣A∪B∣∣A∩B∣​=∣∣A∣+∣B∣−∣A∩B∣∣A∩B∣​∣

tips:

  1. If A and B are both empty, define J ( A , B ) = 1 J(A,B)=1 J(A,B)=1

  2. 0 ≤ J ( A , B ) ≤ 1 0\le J(A,B) \le1 0≤J(A,B)≤1

The Jaccard distance
The scale that measure dissimiarity between sample sets, is complementary(互补的) to the Jaccard coefficient

d J ( A , B ) = 1 − J ( A , B ) = ∣ A ∪ B ∣ − ∣ A ∩ B ∣ ∣ A ∪ B ∣ d_{J}(A,B)=1-J(A,B)=\frac{|A\cup B|-|A\cap B|}{|A\cup B|} dJ​(A,B)=1−J(A,B)=∣A∪B∣∣A∪B∣−∣A∩B∣​

Alternative interpretation of the Jaccard distance is as the ratio of the size of the symmetric difference

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Xe8LhOhr-1603603260602)(images/symmetric_difference.png)]

A Δ B = ( A ∪ B ) − ( A ∩ B ) A\Delta B=(A\cup B)-(A\cap B) AΔB=(A∪B)−

最低0.47元/天 解锁文章
集成多元算法，打造高效字面文本相似度计算与匹配搜索解决方案，助力文本匹配冷启动[BM25、词向量、SimHash、Tfidf、SequenceMatcher]
丨汀、的博客
11-20 1487
集成多元算法，打造高效字面文本相似度计算与匹配搜索解决方案，助力文本匹配冷启动[BM25、词向量、SimHash、Tfidf、SequenceMatcher]
sklearn tfidf求余弦相似度_使用余弦相似度算法计算文本相似度
weixin_39539563的博客
12-06 1129
在工作中一直使用余弦相似度算法计算两段文本的相似度和两个用户的相似度。一直弄不明白多维的余弦相似度公式是怎么推导来的。今天终于花费时间把公式推导出来，其实很简单，都是高中学过的知识，只是很多年没用了，都还给老师了。本文还通过一个例子演示如果使用余弦相似度计算两段文本的相似度。介绍一个书，吴军老师的数学之美，当时我花了一个通宵的时间看完这本书。书中使用余弦定理准确的进行新闻分类、拼音输入法的数学原理...
【机器学习】干货：计算两个向量之间相似性的方法（含源代码）
wzk4869的博客
09-13 1万+
【机器学习】干货：计算两个向量之间相似性的方法（含源代码）
都有哪些方法来衡量两个向量的相似度？请详细解答
wq6qeg88的博客
08-24 1095
不同的相似度或距离度量方法适用于不同的应用场景和数据类型。欧几里得距离和曼哈顿距离适用于数值型数据，余弦相似度适用于高维稀疏数据，杰卡德相似度适用于集合数据，汉明距离适用于离散数据，马氏距离考虑了数据的相关性，而相关系数和KL散度用于概率分布的比较。选择合适的方法可以有效地提高分析的准确性和效率。
两个向量之间的相似度计算常用方法
wwwsssZheRen的博客
11-29 9819
在实际应用中，用传统方法计算完特征descriptors之后需要对两个特征之间的相似度进行判别，这就涉及到向量相似度的比较。关于向量相似度的计算，现有的几种基本方法都是基于向量的，其实也就是计算两个向量之间的距离，距离越大相似度越大。 参考编程案例： bool ComputeDecsDistance(vector<float> descriptors1...
向量相似性度量的常用方法
engchina的专栏
03-16 2646
向量相似性度量的常用方法
文档向量模型及其实践-计算文档的相似度
木杨的博客
11-29 1694
期末大作业的其中一部分是要求对文档进行相似度计算，并提示可以用文档词向量的方法来做。于是查了一些资料。 然后引出了 空间向量模型（VSM） 这个概念。 空间向量模型 向量空间模型(VSM：Vector Space Model)由Salton等人于20世纪70年代提出，并成功地应用于著名的SMART文本检索系统。 VSM概念简单,把对文本内容的处理简化为向量空间中的向量运算,并且它以空间上的相...
【AI大模型应用开发】【补充知识】文本向量化与向量相似度（含Python代码）
2401_86518761的博客
09-11 1189
文本向量（Text Vector）是一种将文本数据转换为数值向量的技术，以便于机器学习和数据分析。通过将文本数据转换为数值向量，我们可以使用机器学习算法对文本数据进行处理和分析。
getTopologicalSimil​arity(W,g,m):计算拓扑相似度矩阵-matlab开发
05-29
T 量化了整个网络影响的相似程度通过每个长度的所有路径由两个不同的节点接收。 很简单—— 作为对所有列向量对之间相似性的量化通信矩阵 Qexp，因此可以使用任何 n 维计算相似度的测量。 当前代码允许您选择计算...
衡量两个向量相似度的方法：余弦相似度
热门推荐
笔记
08-03 3万+
import numpy as np def cos_sim(vector_a, vector_b): """ 计算两个向量之间的余弦相似度 :param vector_a: 向量 a :param vector_b: 向量 b :return: sim """ vector_a = np.mat(vector_a) vector...
向量相似度的计算
10-23
一篇描述向量之间相似度计算的文章，经典方法之间的比较，以及相关函数的说明。
向量实验：相似度算法
Debroon
06-29 3030
真实世界的数字不只有大小，还要方向！！ 一个警察和匪徒在天台上追逐，匪徒跑到围墙边差点掉下去了，幸好还有一只手扣住了墙。 这时候，您该不该救呢？（经典的警匪片里有好多这样的情节。） 假如您重 727272 公斤，俩臂伸展为 1.71.71.7 米，1.81.81.8 米的个子，弯腰到 909090 度； 而匪徒：909090 公斤。 估算一下： ① 匪徒重心离手应该比警察臂展长 ② 匪徒又比警察重 ③ 假设他们的臂展（单位长度）是相同的，但他们之间的夹角是 90º，所以只有合力的 1.4 左右 警
向量相似度评估方法
Antai_ZHU的博客
07-25 9042
向量相似度评估方法
相似度度量
ZacharyGz的博客
11-18 697
度量相似度的方法很多，不同方法适用于不同的场景和数据类型。核函数将数据投影到高维空间，在高维空间中计算相似性，常用于支持向量机（SVM）、核 PCA 等。对于具体应用，如果是非线性数据或者想要捕捉复杂的相似性关系，可以尝试。这些方法通常用于衡量两个向量（特征）的方向或大小的相似性。信息论度量方法通常用于概率分布或分类任务。这些方法多用于图像、嵌入、或生成模型任务。如果是概率分布间的相似度，
常见的相似性度量方法
Swift's Blog
07-30 1210
有如下几种计算相似性方法：more。
向量相似度
WuqianZhi_123的博客
09-03 630
向量相似度是指衡量两个向量在向量空间中相似程度的指标。在机器学习和自然语言处理等领域，向量相似度通常用于比较文档、图片、声音或其他类型的数据。
协同过滤推荐算法
Better Thinker
04-28 720
协同过滤推荐算法 Collaborative Filtering Recommendation 向量之间的相似度 度量向量之间的相似度方法很多了，你可以用距离（各种距离）的倒数，向量夹角，Pearson相关系数等。 皮尔森相关系数计算公式如下： ρX,Y=cov(X,Y)σxσy=E((X−μx)(Y−μy))σxσy 分子是协方差，分子是两个变量标准差的乘积。显然要求X和Y的
python 向量元素 对应比大小
weixin_41110133的博客
07-24 107
python相关学习资料：搭建私人助理大模型需要什么环境？006_指法标准_键盘正位_你好世界_hello_world_单引号_双引号一张图生成指定动作的动态视频,Magic Animate本地部署Python 向量元素对应比大小：新手指南 作为一名刚入行的开发者，你可能会遇到需要比较两个向量元素对应位置大小的任务。...
向量距离和相似度
everlasting_188-java从业者
09-01 5074
向量之间的关系，统计学上的距离和方向的角度来分析关联性的一些常用的指标。
使用python，怎么判断两个不同的网站，是否是一样的？或者说相似度？例如我有一个ip，有一个域名，我通过发包然后对比它们的响应，超过xx%相似度就认为它们是同一个网站。
最新发布
02-22
<think>嗯，用户想知道怎么用Python判断两个不同的网站是否是同一个，或者计算它们的相似度。比如说，有一个IP和一个域名，通过发送请求然后比较响应，超过某个百分比就认为是同一个网站。这应该怎么做呢？ 首先，我需要考虑用户的具体需求。他们可能是在做安全相关的检测，比如识别钓鱼网站，或者判断某个域名是否指向了某个特定的IP上的服务。或者是监控网站是否被克隆、镜像了。用户可能希望有一个自动化的方法来检测两个网站是否相似，从而进行后续处理，比如封禁或者警告。 接下来，我得想怎么比较两个网站的相似度。通常，比较网站内容的方法有很多种。比如，比较HTTP响应状态码、响应头、正文内容等。对于正文内容，可能需要用一些文本相似度的算法，比如余弦相似度，或者使用哈希来比较内容的相似性。或者考虑结构上的相似性，比如用BeautifulSoup解析HTML，比较标签结构。 但用户提到的是通过发送请求然后对比响应，所以应该从获取响应内容开始。首先，可能需要用requests库来发送HTTP请求，获取两个网站的响应内容。然后，对这两个内容进行处理，提取特征进行比较。 可能的步骤包括： 1. 使用requests库分别请求IP和域名的URL，获取响应对象。 2. 预处理响应内容，比如去除动态内容（如时间戳、随机生成的ID），因为这些内容每次请求可能不同，会影响相似度计算。 3. 比较响应头中的某些字段，比如Server、Content-Type等，看是否一致。 4. 对正文内容进行相似度计算，比如使用TF-IDF向量化后计算余弦相似度，或者使用difflib库中的SequenceMatcher来比较文本差异。 5. 综合考虑多个因素，比如响应头的相似度和正文内容的相似度，给出一个综合的相似度评分。 6. 设定一个阈值，比如超过80%相似度就认为是同一个网站。 但需要注意的问题有很多，比如： - 如何处理动态内容？比如广告、随机token、时间信息等，这些可能导致每次请求内容不同，影响相似度计算。 - 是否需要处理重定向？比如某些域名可能重定向到另一个URL。 - 是否考虑图片、CSS、JS等资源的相似性？但如果是简单的比较，可能只考虑HTML内容。 - 如何处理不同的编码或者压缩方式？比如一个网站可能返回gzip压缩的内容，另一个可能未压缩，需要解压后再比较。 - 如果网站有反爬机制，可能需要设置User-Agent等请求头，避免被拒绝。 另外，用户提到的是IP和域名的比较，可能需要注意，直接通过IP访问可能和通过域名访问的网站不同（比如虚拟主机的情况），这时候服务器会根据域名返回不同的内容。因此，用户可能需要确保在请求时，IP地址对应的服务器是否托管了该域名的网站。但如果是直接通过IP访问，可能无法正确获取到该域名的内容。所以可能需要设置Host头，比如在请求IP时，添加Host头为域名，这样服务器才能正确响应。这一点很重要，否则请求IP可能得到默认网站或错误页面，而请求域名则正常，导致相似度低，但实际上它们是同一个网站。 因此，在发送请求时，可能需要针对两种情况处理： 1. 用户可能已经解析了域名到该IP，这时候可以直接比较域名和IP的响应。但可能需要确保请求IP时，正确设置了Host头，以模拟域名请求。 2. 或者，用户想比较直接访问IP和访问域名是否返回相同的网站内容，这时候可能需要分别请求（不带Host头和带Host头），然后比较两者的内容是否相似。 这可能涉及到请求时的headers设置。例如： 当请求IP时，构造的URL可能是http://<IP>/，但需要设置Host头为域名，否则服务器可能无法返回正确的网站。例如： ```python headers = {'Host': 'example.com'} response1 = requests.get('http://1.2.3.4/', headers=headers) response2 = requests.get('http://example.com/') ``` 然后比较这两个响应的内容是否相似。 但用户可能没有想到这一点，所以在实际处理时，可能需要处理这种情况。否则，直接请求IP可能得到的是默认网站，而不是目标域名的内容，导致比较结果不准确。 接下来，关于如何计算相似度。对于文本内容，可以考虑以下几种方法： 1. **文本预处理**：去除HTML标签，只比较文本内容；或者保留标签结构，比较整个HTML的结构。比如用BeautifulSoup提取文本，或者保留标签的某些结构特征。 2. **哈希比较**：如果两个页面的内容完全相同，可以使用哈希（如MD5）来判断。但如果有动态内容，会导致哈希不同，所以需要先清理动态部分。 3. **余弦相似度**：将文本转换为TF-IDF向量，计算它们的余弦相似度。这种方法适用于比较文本内容的相似性，即使有些部分不同。 4. **基于差异的相似度**：使用difflib库中的SequenceMatcher，计算两个文本的相似度比率。 5. **结构化比较**：比如比较HTML标签的结构，忽略具体文本内容，这可能适用于某些情况，但实现起来比较复杂。 对于动态内容的处理，可能需要用正则表达式或者特定的方法去除可变部分。例如，时间戳、会话ID、CSRF token等。例如： ```python import re def clean_content(content): # 移除时间戳，例如2023-10-05 12:34:56 content = re.sub(r'\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2}', '', content) # 移除可能的随机token content = re.sub(r'[0-9a-f]{32}', '', content) # 移除其他动态内容，比如可能的具体实现需要根据目标网站调整 return content ``` 预处理后，再进行相似度计算会更准确。 然后，综合响应头和正文内容的相似度。比如，响应头的某些字段是否相同，这可能占一定权重，而正文内容的相似度占更高的权重。 例如，计算相似度的步骤可能包括： - 比较响应头中的Server字段是否相同，Content-Type是否一致等。 - 正文内容的相似度计算，比如使用SequenceMatcher。 - 综合两部分得分，得出总体相似度。 或者，可以分别计算不同部分的相似度，再加权平均。 现在，如何实现这个呢？ 示例代码的大致结构可能是这样的： 1. 发送请求获取响应： 需要处理请求的设置，比如设置Host头，处理SSL验证等。 2. 预处理响应内容： 清理动态部分，提取文本或者保留结构。 3. 计算相似度： 对于正文内容，使用某种算法比较相似度。 4. 综合判断： 结合响应头和正文的相似度，给出总体评分。 可能的代码步骤： 首先，获取两个响应对象： ```python import requests def get_response(url, host=None): headers = {} if host: headers['Host'] = host try: response = requests.get(url, headers=headers, verify=False, timeout=10) return response except Exception as e: print(f"请求失败：{e}") return None response_ip = get_response('http://192.168.1.1', host='example.com') response_domain = get_response('http://example.com') ``` 注意这里，请求IP时设置了Host头为域名，这样服务器才会返回正确的内容。否则，直接请求IP可能返回默认站点，导致比较错误。 接下来，预处理内容： 比如，提取文本并清理： ```python from bs4 import BeautifulSoup import re def preprocess_content(response): if not response: return '' # 提取文本内容 soup = BeautifulSoup(response.text, 'html.parser') text = soup.get_text() # 清理动态内容 text = re.sub(r'\s+', ' ', text) # 合并空白字符 text = re.sub(r'\d{4}-\d{2}-\d{2}', '[DATE]', text) text = re.sub(r'\b[0-9a-fA-F]{32}\b', '[HASH]', text) # 其他可能的清理规则 return text.strip() content1 = preprocess_content(response_ip) content2 = preprocess_content(response_domain) ``` 然后，使用difflib计算相似度： ```python from difflib import SequenceMatcher def text_similarity(a, b): return SequenceMatcher(None, a, b).ratio() similarity = text_similarity(content1, content2) print(f"文本相似度：{similarity:.2%}") ``` 另外，还可以比较响应头中的某些字段： ```python def headers_similarity(headers1, headers2): common_keys = set(headers1.keys()) & set(headers2.keys()) same_count = 0 for key in common_keys: if headers1[key] == headers2[key]: same_count +=1 return same_count / len(common_keys) if common_keys else 0 header_sim = headers_similarity(response_ip.headers, response_domain.headers) ``` 然后，综合这两个相似度： ```python overall_sim = 0.8 * similarity + 0.2 * header_sim # 假设正文占80%，响应头占20% ``` 最后，判断是否超过阈值： ```python threshold = 0.85 # 设定阈值 if overall_sim >= threshold: print("相同网站") else: print("不同网站") ``` 当然，这只是一个简单的示例。实际应用中可能需要更多的调整，比如： - 动态内容的正则表达式需要根据目标网站的情况调整。 - 可能需要处理不同的编码方式。 - 考虑比较HTML结构而不仅仅是文本，例如使用树结构相似度。 - 处理JavaScript渲染的内容，但这需要无头浏览器，比如Selenium或Playwright，会增加复杂性。 - 考虑其他因素，比如状态码、页面标题、关键元素的比较等。 此外，对于大型网站，可能还需要比较多个页面的相似度，或者检查特定关键页面（如首页、登录页等）。 用户的问题还提到“有一个IP，有一个域名”，所以可能需要确保在请求IP时正确设置了Host头，否则结果可能不准确。这一点在实现时必须注意，否则整个比较可能无效。 总结来说，步骤大致如下： 1. 正确发送HTTP请求，确保请求IP时携带正确的Host头。 2. 预处理响应内容，去除动态变化的部分。 3. 计算文本内容的相似度（如使用difflib或TF-IDF）。 4. 可选：比较响应头的相似度。 5. 综合各部分相似度，得出总体评分。 6. 根据阈值判断是否为同一网站。 在实现过程中，需要处理各种异常情况，比如网络错误、超时、不同的内容类型（比如二进制文件）等。同时，可能需要多次采样，因为某些网站的内容可能会有一定的随机性，单次请求可能不够准确。 可能还需要考虑性能问题，比如异步请求、缓存响应等，但如果是简单的检测，同步请求可能足够。 最后，用户可能需要调整阈值和处理逻辑，根据具体的测试结果来优化相似度计算的准确性。</think>要判断两个网站（如IP和域名）是否为同一站点或计算其相似度，可通过以下步骤实现： --- ### **1. 发送HTTP请求并获取响应** 使用`requests`库发送请求，**需注意请求IP时设置正确的Host头**，确保服务器返回目标域名的内容。 ```python import requests def get_response(url, host=None): headers = {'User-Agent': 'Mozilla/5.0'} if host: headers['Host'] = host # 关键：设置Host头模拟域名访问 try: response = requests.get(url, headers=headers, verify=False, timeout=10) return response except Exception as e: print(f"请求失败：{e}") return None # 示例：请求IP（需带Host头）和域名 response_ip = get_response('http://192.168.1.1', host='example.com') response_domain = get_response('http://example.com') ``` --- ### **2. 预处理响应内容** 清理HTML中的动态内容（如时间戳、随机Token），保留核心文本。 ```python from bs4 import BeautifulSoup import re def clean_dynamic_content(text): # 去除日期、时间戳 text = re.sub(r'\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2}', '', text) # 移除32位哈希（如CSRF Token） text = re.sub(r'\b[0-9a-fA-F]{32}\b', '', text) # 合并多余空白 text = re.sub(r'\s+', ' ', text) return text.strip() def extract_content(response): if not response: return '' soup = BeautifulSoup(response.text, 'html.parser') # 移除脚本、样式等干扰元素 for tag in soup(['script', 'style', 'meta', 'noscript']): tag.decompose() text = soup.get_text() return clean_dynamic_content(text) content_ip = extract_content(response_ip) content_domain = extract_content(response_domain) ``` --- ### **3. 计算文本相似度** 使用**余弦相似度**或**差异比对**算法，比较预处理后的文本。 #### **方法一：使用`difflib`计算相似度** ```python from difflib import SequenceMatcher def similarity(a, b): return SequenceMatcher(None, a, b).ratio() text_sim = similarity(content_ip, content_domain) print(f"文本相似度: {text_sim:.2%}") ``` #### **方法二：使用TF-IDF和余弦相似度** ```python from sklearn.feature_extraction.text import TfidfVectorizer from sklearn.metrics.pairwise import cosine_similarity def cosine_sim(text1, text2): corpus = [text1, text2] vectorizer = TfidfVectorizer() tfidf = vectorizer.fit_transform(corpus) return cosine_similarity(tfidf[0], tfidf[1])[0][0] cos_sim = cosine_sim(content_ip, content_domain) print(f"TF-IDF余弦相似度: {cos_sim:.2%}") ``` --- ### **4. 综合其他因素（可选）** #### **响应头相似度** ```python def header_similarity(headers1, headers2): common_keys = set(headers1) & set(headers2) if not common_keys: return 0 same_count = sum(1 for k in common_keys if headers1[k] == headers2[k]) return same_count / len(common_keys) header_sim = header_similarity(response_ip.headers, response_domain.headers) ``` --- ### **5. 综合评分与判定** 加权合并文本和响应头相似度，设定阈值判断是否同一网站。 ```python overall_sim = 0.9 * text_sim + 0.1 * header_sim # 权重可调整 threshold = 0.85 # 根据需求设定 print(f"综合相似度: {overall_sim:.2%}") if overall_sim >= threshold: print("判定为同一网站") else: print("判定为不同网站") ``` --- ### **完整代码示例** [GitHub Gist链接](https://gist.github.com/example)（假设示例） --- ### **注意事项** 1. **动态内容处理**：根据目标网站特点调整正则表达式，确保有效过滤随机内容。 2. **Host头设置**：请求IP时必须携带目标域名，否则可能触发服务器返回错误页面。 3. **性能优化**：可缓存请求结果、异步处理多个URL。 4. **反爬机制**：部分网站可能需添加Cookies或限速访问。 5. **扩展性**：可增加图片哈希比对、API端点检测等高级功能。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值