0.4、向量、向量维度、向量比较、向量搜索和相关算法

向量与向量搜索技术解析
最新推荐文章于 2025-12-03 17:03:32 发布
原创 最新推荐文章于 2025-12-03 17:03:32 发布 · 846 阅读 · 27 ·
CC 4.0 BY-SA版权
文章发表1周内为内容优化高峰期，后续会根据认知迭代继续做完善补充。
文章标签：

#算法 #向量化 #CONSINE #Milvus #RAG

文章目录

1、向量 = 多维数组

RAG 中一般提到的向量，就是由多个浮点数组成的多维数组。

通过一定的方法，文本可以转化为对应的多维数组。
不同的文本对应不同的多维数组。
通过一定的方法，不同多维数据可以比较相似度，一般会变为 -1到1 之间的一个值。

2、延伸思考:如何向量化，比较和搜索？

一段字符串如何拆为指定长度数组，还有数组的每一个位置的值如何确定？
数组之间如何比较？
以及最后表示为-1到1之间，涉及几个什么算法？
拆分和比较的算法分别是什么？
向量如何搜索？

3、详细解答

3.1、总体流程
原始文本
文本分块算法
向量化处理
N维向量数组
索引算法
向量搜索
相似度算法
相似度计算
排序结果

3.2、常用算法对比

文本分块算法

算法特点适用场景
RecursiveCharacterTextSplitter递归分割，保持语义通用文本
TokenTextSplitter按token分割精确控制
SemanticChunker语义感知分割高质量要求

向量化算法（Embedding Models）

算法/模型维度特点适用场景
text-embedding-3-small1536轻量级，速度快通用文本，成本敏感
text-embedding-3-large3072高精度，效果好高质量要求
text-embedding-ada-0021536经典模型，稳定生产环境
sentence-transformers384-768开源，可定制特定领域
Cohere Embed1024-4096多语言支持国际化应用
OpenAI Embedding1536商业级，稳定企业应用

相似度计算算法

算法公式特点值域
COSINE`A·B / (A×
L2距离√Σ(ai-bi)²欧几里得距离[0,∞)
点积A·B简单快速，无界(-∞,∞)
曼哈顿距离`Σai-bi`
Jaccard相似度`A∩B/

向量搜索算法

算法特点时间复杂度内存使用
HNSW分层图结构，近似搜索O(log n)中等
IVF倒排文件，聚类搜索O(k)低
暴力搜索精确搜索，全量比较O(n)低
LSH局部敏感哈希O(1)高
PQ乘积量化，压缩存储O(log n)极低

3.3、向量化算法详细对比

OpenAI系列

# text-embedding-3-small 
- 维度: 1536
- 成本: 低 ($0.00002/1K tokens)
- 速度: 快
- 精度: 中等
- 适用: 通用场景，成本敏感

# text-embedding-3-large  
- 维度: 3072
- 成本: 高 ($0.00013/1K tokens)
- 速度: 慢
- 精度: 高
- 适用: 高质量要求场景

开源替代方案

# sentence-transformers
- 维度: 384-768
- 成本: 免费
- 速度: 中等
- 精度: 中等
- 适用: 自部署，定制需求

# Cohere Embed
- 维度: 1024-4096
- 成本: 中等
- 速度: 中等
- 精度: 高
- 适用: 多语言，企业级

何时考虑其他模型

  • text-embedding-3-large：需要更高精度时
  • sentence-transformers：需要自部署或定制时
  • Cohere Embed：需要多语言支持时
支持向量机与K近邻算法性能对比
AIGC应用创新大全的博客
06-28 627
本文旨在全面比较支持向量机(SVM)和K近邻(KNN)两种分类算法的性能特点，帮助机器学习从业者根据具体问题选择合适的算法。比较范围包括算法原理、数学基础、实现复杂度、计算效率、准确率、鲁棒性等多个维度。核心概念与联系：解释SVM和KNN的基本原理算法原理与操作步骤：详细分析两种算法的数学基础和实现细节项目实战：通过代码示例展示实际应用性能比较：系统对比两种算法的优缺点应用场景与选择建议支持向量机(SVM)：一种监督学习算法，通过寻找最优超平面实现分类K近邻(KNN)
OceanBase向量检索实战（推荐系统、语义搜索、图像检索）详解
本博客聚焦 YOLOv11 全流程落地，涵盖架构优化、数据集处理、训练技巧与多场景部署，兼及国产数据库、Java 开发与 AI 模型应用，内容兼顾理论与工程实践，为开发者提供系统干货，助力高效提升技术能力。
06-27 758
OceanBase向量检索技术解析与配置指南 摘要：本文系统介绍了OceanBase数据库中的向量检索技术，主要包括三大核心内容：首先阐述了向量检索的基本概念、技术原理及OceanBase特有的分布式架构设计；其次详细说明了硬件配置要求、软件环境准备和插件安装验证等环境配置要点；最后深入讲解了向量数据类型、表设计方法及操作函数。文章还提供了IVF、HNSW等索引结构的原理分析，以及生产环境下的硬件配置建议和性能调优参数，为在OceanBase中实现高效向量检索提供了全面指导。
LLM - 白话向量模型和向量数据库
小工匠
03-12 3217
BERT等Transformer模型通过自注意力机制动态调整上下文相关的向量表示，解决一词多义问题（如“苹果”在“水果”与“公司”场景下的不同向量）。其核心目标是将离散的符号化数据（如文本、图像、音频）转化为连续的高维向量空间中的数学表示，从而为模型提供可计算的语义基础。通过比较向量的“距离”，计算机能快速判断哪些事物是相关的。由于RAG应用是一种“边查边答”的应用，比如你问RAG应用：“C-RAG的基本原理是什么” 它需要检索出相关的资料段落（比如C-RAG论文），然后根据这些资料生成答案。
数据库｜一文了解Milvus2.4新特性和多向量搜索体验
在数字化道路无限探索
06-18 3918
Milvus，自2019年开源以来，已成为向量数据库领域的佼佼者，专门用于处理由深度学习和其他机器学习模型生成的大规模向量数据。前段时间发布的Milvus 2.4版本引入了一系列创新功能，包括多向量检索、Grouping搜索和稀疏向量等等，进一步巩固了其在行业中的领先地位。
蜣螂算法（DBO）优化支持向量机原理及MATLAB代码复现
2403_88401503的博客
11-07 1302
蜣螂算法（Dung beetle optimizer，DBO）是由JiankaiXue等人于2022年提出群智能算法，该算法模拟了蜣螂滚球、跳舞、觅食、偷窃和繁殖等行为提升算法全局探索和局部开发能力，在一系列的著名的数学测试函数中取得不错性能，具有收敛速度快的优势。
【人工智能】支持向量机(SVM)算法分析数据集
半山黄油仙的博客
03-20 1145
支持向量机（support vector machines, SVM）和感知器算法一样都是一种二分类模型，它的基本模型是定义在特征空间上的间隔最大的线性分类器，间隔最大使它有别于感知机。算法的主要思路就是寻找最佳超平面，当从二维扩展到多维空间中时，将两类不同的数据完全正确地划分开就成了一个超平面。为了使这个超平面更具鲁棒性，我们需要去找最佳超平面，这个平面在三维空间内距离需要划分的两个类别的最近的样本最远。
向量数据库性能优化全解析：从算法到硬件的终极指南
Baixue5209的博客
04-16 1277
向量数据库性能优化需在算法、硬件、架构三个层面协同创新。建议企业根据数据规模、精度需求、成本预算选择组合策略，并持续跟踪开源社区进展（如Milvus 3.0的磁盘索引、Pinecone的Serverless架构）。在高维数据的战场上，性能提升永无止境。
向量索引和文本嵌入有什么区别
陈开心的博客
12-27 1694
文本嵌入是将文本转换成向量，使机器可以理解和处理文本的语义信息。向量索引是一种优化的数据结构，用于快速检索和比较这些向量，特别是当数据量非常大的时候。它通过加速相似度查询，让你能够快速找到最相关的文本。简而言之，文本嵌入是表示文本的数字化方式，向量索引则是帮助你高效查找这些数字化表示相似性的一种工具。
数据库技术核心：向量检索（pgvector）
三余知行
08-16 4762
`pgvector` 为 PostgreSQL 引入了专门针对向量数据的索引，特别是 HNSW 和 IVFFlat 索引。这些索引帮助实现高效的向量检索和相似度计算。在选择 HNSW 或 IVFFlat 索引时，应根据应用场景的具体需求（如查询频率、数据更新频率和可用内存等）做出选择。HNSW 适合需要高检索精度和灵活更新的数据集，而 IVFFlat 则更适合需要快速处理庞大数据集但对精度有轻微取舍的场景。
5、基于蚁群优化算法的支持向量机参数优化方法
s3t4u的博客
08-18 43
本文提出了一种基于蚁群优化算法的支持向量机参数优化方法，通过引入蚁群算法的状态转移与信息素更新机制，有效搜索惩罚因子C和核参数σ的最优组合。文章详细阐述了目标函数构建、信息素模型设计及优化流程，并在乳腺癌、糖尿病、心脏病、甲状腺和泰坦尼克号五个UCI/Ida标准数据集上进行实验验证。结果表明，该方法在测试误差和计算时间方面均优于传统网格搜索及其他主流优化方法，具有更强的全局搜索能力和更高的优化效率，显著提升了支持向量机的泛化性能。
【pytorch深度学习——小样本学习策略】网格搜索和遗传算法混合优化支持向量机的小样本学习策略进行预测
daviddou2022的博客
08-24 1502
采用网格搜索和遗传算法混合优化支持向量机的小样本学习策略根据心率血氧进行预测疲劳度
机器学习3—分类算法之支持向量机（Support Vector Machine，SVM）算法
ex_6450的博客
08-02 3802
SVM算法分析的六个步骤第一步，加载数据集。采用loadtxt()函数加 - 载酒类数据集，采用逗号（,）分割。第二步，划分数据集。将Wine数据集划分为训练集和预测集，仅提取酒类13个特种中的两列特征进行数据分析。第三步，SVM训练。导入Sklearn机器学习包中svm.SVC()函数分析，调用fit()函数训练模型，predict(test_data)函数预测分类结果。第四步，评价算法。...
Transformer——词向量
0 error(s)
03-03 2806
章讲解了独热编码的概念和局限性，然后详细阐述了词向量的概念及其优点，例如降低维度和捕捉语义关系。文章还深入讲解了几种主流的词向量训练方法，包括Word2Vec、GloVe和FastText，并列举了词向量在自然语言处理任务中的应用。此外，文章还讨论了如何通过权重矩阵获取词向量，以及词向量存在的局限性。这篇文章是理解自然语言处理中词向量的极好参考资料。
dfs|mask^翻转
一个人知道自己为什么而活，他就能够接收任何一种生活
11-30 156
注意到：灯泡状态周期是6。
基于A*算法的雷雨绕飞路径MATLAB实现
2501_92729044的博客
11-30 267
本文提出了一种基于A算法的雷雨绕飞路径规划方法。该方法首先生成模拟雷雨天气图并进行二值化处理，识别危险区域；然后检测计划航路中需要绕飞的航段，通过A算法为每个航段生成左右绕飞候选路径；接着进行视距优化和平行路径拓展以提高安全性；最后整合各航段最优路径构建完整绕飞航路。实验结果表明，该方法能有效避开危险区域，生成安全且长度优化的绕飞路径。关键创新点包括：1) 结合雷达天气数据的精细化处理；2) 多候选路径生成与优化机制；3) 完整航路构建策略。可视化界面直观展示了各阶段路径规划效果。
2025年全国大学生统计科学与算法编程挑战赛——算法赛道（一）
qq_73044452的博客
12-01 283
摘要：本文包含三个编程问题的解决方案。1) 贪吃蛇问题：通过解析移动指令计算蛇最终所在格子的编号；2) 经济小鱼问题：计算前两局存钱、后两局花钱，最终剩余指定金币的方案数；3) 小理吃甜食问题：模拟多轮糖果挑选过程，计算小理获得的最大总糖果值。每个问题都给出了完整的C++实现代码，涉及字符串处理、数学计算和模拟算法等技术。
[优选算法专题十.哈希表 ——NO.55~57 两数之和、判定是否互为字符重排、存在重复元素]
2401_83386596的博客
12-03 546
两数之和问题的最优解法采用哈希表实现O(n)时间复杂度，通过存储元素值与下标的映射关系，快速查找互补值。字符重排判定问题通过单哈希数组统计字符出现次数，先加后减并实时校验，确保字符种类和数量完全一致。存在重复元素问题使用哈希集合检测重复元素，遍历数组时检查元素是否已存在于集合中。三种解法均利用哈希结构优化查找效率，将时间复杂度从暴力解法的O(n²)降至O(n)，是典型空间换时间策略的工业级实现。
红包分配算法的严格数学理论与完整实现
12-03 507
红包分配问题可以严格定义为： 定义 1.1（红包分配问题）: 给定总金额 M>0M > 0M>0 和参与人数 n∈N+n \in \mathbb{N}^+n∈N+，分配函数 f:{1,2,...,n}→R+f: \{1, 2, ..., n\} \rightarrow \mathbb{R}^+f:{1,2,...,n}→R+ 需要满足：设 Ω\OmegaΩ 为样本空间，F\mathcal{F}F 为事件域，PPP 为概率测度： 1.2.2 随机变量性质 定义随机变量 XiX_iXi​ 表示第 iii 个人获
简单多源BFS问题
最新发布
MiauwYuki的博客
12-03 90
简单多源BFS问题
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值