小白也能懂的 AI 知识库开发指南：RAG 技术原理 + LanceDB 向量数据库实战

关注

原创最新推荐文章于 2026-07-08 09:08:25 发布 1.4k 阅读 AI 写同款· GEO 优化 ›

本地如何通过Ollama部署llama3、phi3等本地大模型？来运行阿里的通译千问大模型，生成内容质量还可以而且速度也很快，（题外：生成的文章如果收录不是很好，最好不要用markdown格式和html格式，直接用文本格式）包括：大模型学习线路汇总、学习阶段，大模型实战案例，大模型学习视频，人工智能、机器学习、大模型书籍PDF。带你从零基础系统性的学好大模型！观看零基础学习书籍和视频，看书籍和视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。阅读详情

1、知识库

不妨把知识库想象成一个全天候开放的智能档案馆，里面整齐陈列放着某一领域的所有重要资料 —— 从产品手册、技术白皮书到行业报告、学术论文，甚至是社交媒体上的专业讨论。这些信息经过系统化整理，形成一个可供 AI 随时查阅的 “外部大脑”。
null

与人类记忆不同，这个数字档案馆的内容可以随时更新：新增最新研究成果、移除过时的技术说明，整个过程无需对 AI 模型进行重新训练。这种灵活性让 AI 始终能掌握最新信息，避免了 “知识老化” 问题。例如，在医疗领域，当有新的治疗指南发布时，只需将其加入知识库，AI 就能立即据此提供建议。

简单来说，知识库是为 AI 构建的结构化信息集合，它就像给 AI 配备了一套可随时更新的专业百科全书，确保回答基于最新、最准确的特定领域信息。

2、RAG

RAG 的全称叫检索增强生成（Retrieval Augmented Generation）,它是一种技术方法，可以让 AI 在回答问题时，先检索知识库里的相关信息，然后把检索到的信息生成最终答案。其原理如下图所示：

null

最左边的是知识库的原始文档，这些文档会以分片的方式存储到一种叫做“向量数据库”的数据库中。当用户输入一个查询 Query 的时候， RAG 技术会从向量数据库中，查找和用户查询最接近的 K 个知识库文档分片，并将这些分片内容作为上下文送到大模型中，大模型再根据这些上下文内容和用户查询，给出最终的结果。

3、Embedding

真正存入向量数据库的内容，其实不是知识库的分片，而是分片内容经过 “Embedding” 处理后的一个向量（想象成3维空间中的一个点，只是这里的维度不是3维，而是几百维）。

而用户的 Query 也会经过同样的 “Embedding” 处理，得到一个向量。然后向量数据库会计算用户 Query 向量与知识库分片向量之间的相似度(例如余弦相似度)，返回相似度最高的分片内容。

以下图为例，展示了文本被转为向量后就是一堆数字：

null

Embedding 技术将文本语义编码为向量，使检索更关注内容相关性而非关键词匹配。通过将文本转换为高维向量，Embedding 能捕捉到语义上的相似性，从而提高检索的准确性和相关性。

4、实现你的第一个知识库

创建 2-basic.py，代码如下：

from agno.agent import Agent
from agno.knowledge.url import UrlKnowledge
from agno.vectordb.lancedb import LanceDb, SearchType
from agno.models.ollama import Ollama
from agno.embedder.ollama import OllamaEmbedder

knowledge_base = UrlKnowledge(
    urls=["https://juejin.cn/post/7520048068626038822"],
    # 使用 LanceDB 作为向量数据库, 向量存储在 `agno_docs` 表
    vector_db=LanceDb(
        uri="tmp/lancedb",
        table_name="agno_docs",
        search_type=SearchType.hybrid,
        embedder=OllamaEmbedder(id="qwen3:8b")
    )
)

agent = Agent(
    name="RAG Agent",
    model=Ollama(id="qwen3:8b"),
    description="An agent that uses RAG to answer questions based on the provided URLs.",
    knowledge=knowledge_base,
    instructions=[
        "You are a helpful assistant that answers questions based on the provided URLs.",
        "If the answer is not found in the URLs, respond with 'I don't know'.   ",
        "Always provide a concise and accurate answer.",
    ],
    show_tool_calls=True,
    markdown=True
)

if __name__ == "__main__":
    # 加载知识库, 首次执行后注释该行
    agent.knowledge.load(recreate=True)
    agent.print_response("为什么不建议用Flutter实现液态玻璃效果?", markdown=True)

4.1、定义知识库

首先定义知识库实例，UrlKnowledge 是 Agno 框架中的一个知识库（Knowledge Base）类，用于从指定的网页（URL）抓取内容。

null

urls 允许我们配置多个知识库链接，代码中使用了掘金的一篇文章作为参数，它就会自动爬取这篇文章。
vector_db 是向量数据库的配置，代码中使用 LanceDB 作为向量数据库:

uri=“tmp/lancedb”
指定 LanceDB 的本地存储路径。所有的向量数据和索引会保存在这个目录下。你可以换成任何你有写权限的本地路径。
table_name=“agno_docs”
指定在 LanceDB 数据库中存储数据的表名。你可以在同一个数据库下用不同表名存储不同的数据集。
search_type=SearchType.hybrid
指定 LanceDB 在检索时采用的搜索方式，代码中使用混合检索，它结合了“向量相似度检索”（基于 embedding 向量的相似度）和“关键词全文检索”（如 BM25/Tantivy 等）。
这样可以同时利用语义相似度和关键词匹配，提高检索的相关性和准确率。
embedder=OllamaEmbedder(id=“xx”)
指定用于文本向量化（embedding）的模型，这里用的是 Ollama 本地部署的 qwen3:8b 模型。OllamaEmbedder 会调用该模型把文本转成向量，便于后续的相似度检索。

4.2、在 Agent 中调用知识库

在 Agent 中使用 RAG 的方法非常简单，只需要设置 Knowledge 参数即可。

null

以下代码首次创建知识库或者更新知识库的时候使用，如果已经建立知识库且不需要更新可以注释该代码。否则的话每次运行都需要创建知识库会影响性能。

null

4.3、运行

首次执行看到下面的 log 就意味着知识库成功创建

null

让大模型结合知识库回答问题，大模型会自动调用知识库：

null

在运行过程中可能出现一些报错，大概分为2类：

是代码中依赖的包没有安装
是本地的模型服务假死

问题1通过 pip install 安装依赖即可解决。问题2出现假死的情况执行代码会出现 503，这个时候通过重启 ollama server 来解决。

下面这个是 ollama server 启动后的日志窗口，也能够帮助我们 debug 时发现一些异常。

null

5、Agno 中支持的知识库和向量数据库

上面代码中我们使用了 UrlKnowledge(知识库) 和 LanceDB(向量数据库) 的组合，实际上 Agno 提供了很多开箱即用的知识库和向量数据库集成，可以根据业务实际情况选择：

null

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传优快云，朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】