大模型架构记录5-向量数据库

大模型架构之向量数据库要点
最新推荐文章于 2025-12-05 12:37:18 发布
原创 最新推荐文章于 2025-12-05 12:37:18 发布 · 257 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#数据库 #python

一 倒排索引、KNN、PQ

1.1 基础版本

query -> requery  对问题做处理，处理上下文
对query 做 refined query 

1.2 向量数据库

二 搜索逻辑

2.1 knn 

 2.2 近似KNN

先和N个空间的均值比较再和

最低0.47元/天 解锁文章
AI大模型开发架构设计（19）——大模型向量数据库企业级应用实践
yangwei2048的博客
11-23 1814
关系型数据库：MySQL结构化数据精确匹配非关系型数据库：NoSQL非结构化数据精确匹配那么，什么是向量数据库？——非结构化数据模糊匹配向量数据库是一种以向量嵌入（高维向量）方式存储和管理费结构化数据的数据库。数据如何向量化表达？
向量数据库常见算法 | 八十、倒排索引
Androiddddd的博客
09-19 1026
在信息检索和文本分析领域，倒排索引是一种关键的数据结构，它极大地提高了数据检索的效率。本文将详细介绍倒排索引的概念、原理、优势以及如何利用倒排索引进行高效的检索。
倒排索引原理
meser88的博客
06-09 1万+
下图是一个相对复杂些的倒排索引，与上图的基本索引系统比，在单词对应的倒排列表中不仅记录了文档编号，还记载了单词频率信息（TF），即这个单词在某个文档中的出现次数，之所以要记录这个信息，是因为词频信息在搜索结果排序时，计算查询和文档相似度是很重要的一个计算因子，所以将其记录在倒排列表中，以方便后续排序时进行分值计算。这样每个文档就转换为由单词序列构成的数据流，为了系统后续处理方便，需要对每个不同的单词赋予唯一的单词编号，同时记录下哪些文档包含这个单词，在如此处理结束后，我们可以得到最简单的倒排索引。
向量数据库：faiss的常用三种数据索引方式（IndexFlatL2，IndexIVFFlat，IndexIVFPQ）的使用和持久化+索引融合的实现及库函数解读
热门推荐
ResumeProject的博客
01-05 1万+
向量数据库：faiss的常用三种数据索引方式（IndexFlatL2，IndexIVFFlat，IndexIVFPQ）的使用和持久化，索引融合的实现及库函数解读
向量相似性搜索 Part 1 —— KNN 和 倒排文件索引 IVF Inverted File Index
kanhao100的博客
03-15 580
在数据科学中，相似性搜索经常出现在NLP领域、搜索引擎或推荐系统中，需要检索查询的最相关文档或项目。为了加速搜索性能，在数据集嵌入之上构建了一个特殊的数据结构。这种数据结构称为索引。为了加速搜索性能，在数据集嵌入之上构建了一个特殊的数据结构。这种数据结构称为索引。在这个领域有很多研究，许多类型的索引已经发展出来。在选择一个索引应用于某个任务之前，有必要了解它在背后是如何操作的，因为每个索引都有不同的目的和优缺点。 在本文中，我们将研究最朴素的方法——kNN。基于kNN，我们将切换到倒排索引——用于更可扩展
一文让你搞懂向量数据库！结合大模型Agent，简直不要太好用！
瓦罗兰特顶级C位的博客
11-26 4725
以 ChatGPT 为代表的大语言模型问世，它在带来巨大震撼的同时，其天然缺陷和诸多限制也让开发者颇为困扰，比如存在输入上下文 token 限制、不具备记忆能力等问题。
大模型应用开发-向量数据库选型
weixin_40566713的博客
06-21 1171
FAISS：适合需要高性能和低延迟的场景，但实现较为复杂。Annoy：轻量级、适合读取多于写入的场景，但不支持动态更新。HNSW：性能优越，特别适合高维数据，并且支持动态更新。Milvus：企业级解决方案，支持多种索引和动态数据管理，适合大规模分布式环境。Pinecone：全托管服务，易于使用和管理，适合快速部署需求。Weaviate：支持语义搜索和知识图谱，适合复杂的数据集成场景。根据具体的应用需求选择合适的向量数据库，可以显著提升系统的性能和效率。
九析带你轻松完爆AI大模型(十二)---向量数据库
yangpiqiulaotou的博客
11-17 1352
向量数据库顾名思义是一种专门处理向量数据的数据库，传统关系型数据库当中数据通常以表格形式存储，而向量数据库可将非结构化的数据，如：文本、图像、音频等，转化为向量形式存储。这种表示方法使向量数据库能够高效处理大规模、高纬度的数据集，可为AI提供强大的计算基础，如果说数据库是“数据”的硬盘，那么向量数据库就是“AI”的硬盘，随着大模型走向行业应用，垂直领域的AI用例不断增多，汹涌的数据洪超和存算任务，会带来大量的向量搜索的需求。
开源模型应用落地-工具使用篇-向量数据库（三）
以微薄之力，予他人些许温暖.
02-18 8290
引入向量数据库，为AI服务赋能
LLM - 白话向量模型和向量数据库
小工匠
03-12 3219
BERT等Transformer模型通过自注意力机制动态调整上下文相关的向量表示，解决一词多义问题（如“苹果”在“水果”与“公司”场景下的不同向量）。其核心目标是将离散的符号化数据（如文本、图像、音频）转化为连续的高维向量空间中的数学表示，从而为模型提供可计算的语义基础。通过比较向量的“距离”，计算机能快速判断哪些事物是相关的。由于RAG应用是一种“边查边答”的应用，比如你问RAG应用：“C-RAG的基本原理是什么” 它需要检索出相关的资料段落（比如C-RAG论文），然后根据这些资料生成答案。
精选资源
人工智能专题研究-向量数据库-AI时代的技术基座-西南证券.pdf
11-06
向量数据库是人工智能领域中的一个重要组成部分，特别是在大模型盛行的今天，它扮演着越来越关键的角色。随着NVIDIA CEO黄仁勋在NVIDIA GTC Keynote中强调向量数据库在构建大型语言模型中的地位，这一技术受到了广泛...
NineData社区版V4.7.0发布！新增MySQL至TiDB等6条数据复制对比链路，SQL窗口新增谷歌云6种数据源类型
最新发布
云原生智能数据管理平台
12-05 795
NineData社区版V4.7.0正式发布，新增6条数据复制链路（包括MySQL至OceanBase/TiDB等5条跨源链路和1条同构链路），均支持全流程数据同步与对比功能。同时新增6种谷歌云数据源支持，优化了MongoDB内网复制和MySQL XA事务性能。该版本现已支持27种数据库迁移链路，提供包括SQL审核、结构设计等企业级DevOps能力。作为免费开源工具，NineData社区版支持Docker快速部署，具备高性能CDC同步技术，适用于数据库迁移、容灾、ETL等场景，5-10分钟即可完成安装体验。
【免费云平台部署指南】按场景选型+全维度对比（附直达地址）
分享技术干货，聚焦AI前沿科技
12-03 950
免费云平台已能覆盖从静态网站到AI模型部署的大部分场景，核心是根据项目类型（静态/后端/AI）、访问地区（国内/国外）和功能需求（数据库/容器/GPU）选择适配平台。新手建议从简单场景入手（如GitHub Pages部署博客、Hugging Face Spaces部署AI Demo），熟悉后再尝试全栈或容器化部署。
001-计算机实验报告之数据库原理实验报告
LF__plus的博客
12-02 240
001-计算机实验报告之数据库原理实验报告 一共四个实验，分别是：1、使用powerdesigner建模；2、在idea里操作数据库；3、在数据库实现多种查询，如简单查询，连接查询，嵌套查询，分组查询等；4、视图创建
向量数据库原理
qq_38895905的博客
12-04 187
day22 了解向量数据库原理（相似度检索）
python+django/flask+vue的基于协同过滤算法的体育商品推荐系统
Q_Q1963288475的博客
12-04 553
相比于传统的体育商品推荐方式，个性化智能的管理方式可以大幅提高体育商品推荐的管理效率，实现了个性化智能体育商品推荐的标准化、制度化、程序化的管理，有效地防止了体育商品推荐的随意管理， 功能主要包括首页、个人中心、用户管理、商品分类管理、商品信息管理、交流论坛、留言板、系统管理、订单管理等功能，从而实现个性化智能体育商品推荐方式，提高个性化智能体育商品推荐的效率。
Linux设备管理：从内核驱动到用户空间的完整架构解析
X
12-03 781
A[物理硬件插入/移除] --> B[内核驱动探测]B --> C{Linux统一设备模型 LDM}C --> D[在/sysfs创建对象]C --> E[发送uevent事件]D --> F[用户空间工具<br>lspci, lsusb等]E --> G[UDEV守护进程]G --> H[扫描规则库 /etc/udev/rules.d/]H --> I[匹配并执行规则]I --> J1[创建设备节点 /dev/]I --> J2[设置权限与所有权]I --> J3[执行自定义脚本]
【开题答辩全过程】以 基于Javaweb的电动汽车充电桩管理系统为例，包含答辩的问题和答案
shiji9932的博客
12-03 392
本文介绍了一位14年经验的技术专家可提供的毕设支持服务，包括Java、Python等多语言项目开发与答辩指导。重点展示了一个"电动汽车充电桩管理系统"的答辩案例，详细说明了系统功能（预约管理、费用计算等）、技术实现（SpringBoot+Vue+MySQL）及关键问题解决方案（如预约冲突处理、断电检测机制）。文中提供了答辩问答实录，展现了从选题背景到技术细节的完整答辩过程，并附有评委的正面评价。最后建议学生可参考往届真实开题报告，提供选题指导、源码参考等服务，强调独立完成的重要性，同时表
代码生成器
2503_92804185的博客
12-01 449
Service 接口Service 实现类Mapper 接口（补充逆向工程未覆盖的逻辑）
基于向量数据库构建大模型本地知识库
“大模型通过向量数据库，实现本地知识库”这一标题揭示了一个当前人工智能与信息检索领域的重要技术融合方向：将大规模语言模型（LLM）与向量数据库相结合，构建具备高效、精准语义检索能力的本地化知识管理系统。...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值