Python大模型应用开发实践 - 本地化部署大模型实现RAG应用

最新推荐文章于 2025-08-04 22:31:11 发布
最新推荐文章于 2025-08-04 22:31:11 发布
阅读量871 收藏 16
点赞数 21
CC 4.0 BY-SA版权
分类专栏： 大模型 AI 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/u013224722/article/details/149166810

实践环境

Windows 10

Python 3.11.9

PyCharm Community Edition 2025.1

非教程，非科普文，仅记录我自己的探索实践过程。

实践预期

        本地部署大模型，安装向量数据库Chroma，文本向量化后存入Chroma数据库，查询条件进行向量化后在Chroma数据库中进行查询，将查询结果与问题一起扔给大模型，大模型生成增强后的新答案。

一、安装Ollama

Ollama 是一个开源框架,专为在本地机器上便捷部署和运行大模型而设计

Ollama官网https://ollama.com/

验证Ollama安装是否成功

二、本地部署向量模型

1、拉取模型

Ollama官网，进入Models页面，查看模型列表

点击deepseek-r1，进入二级页面，查看模型介绍，选择要部署的版本

2、部署模型

回到Windows Cmd， 执行命令拉取模型，尝试部署 deepseek-r1:8b

ollama pull deepseek-r1:8b

模型下载比较费时间，需要耐心等待。

CMD 输入指令查看模型列表：

ollama list

3、Ollama Python库

Ollama在Python中的使用参考链接https://github.com/ollama/ollama-python/tree/main

4、测试本地模型

打开Pycharm，在终端执行命令：

pip install ollama

新建Embed.py文件

import ollama

LLM_Ollama_DEEPSEEK_R1 = "deepseek-r1:8b"

def get_embedding(text, model_name="deepseek-r1:8b"):
    response = ollama.embed(model_name, text)
    embedding = response['embeddings']
    return embedding

print("-----------------------------------Convert String To Vector Result: \n")
vectors = get_embedding("你是谁")
print(vectors[0])
print("Vector length:",  len(vectors[0]))

启动调试，控制台输出：

新建Chat.py文件

from ollama import chat

LLM_Ollama_DEEPSEEK_R1 = "deepseek-r1:8b"

messages = [
  {
    'role': 'user',
    'content': '简述海水很咸的原因?',
  },
]

response = chat(LLM_Ollama_DEEPSEEK_R1, messages=messages)

print("\n --------------------------------- Result:\n")

print(response['message']['content'])

 启动调试，控制台输出：

三、使用Chroma数据库

1、参考资源

2、安装Chromedb

pip install chromadb

安装报错了，查看镜像源，设置镜像源，然后重新安装

#清除pip缓存
pip cache purge

#查看源列表
pip config list

#设置阿里云镜像
pip config set global.index-url https://mirrors.aliyun.com/pypi/simple/

#重新安装chromadb
pip install chromadb

#查看chromadb是否已完成安装
pip show chromadb

安装成功 

四、 chromadb + Ollama 实现RAG应用

1、RAG 应用流程

工作原理参考借鉴：

工作原理介绍https://juejin.cn/post/7424431087894380584

完整的 RAG 应用流程两个阶段：

数据准备阶段

  1. 数据提取: 从各种数据源（例如网页、文档、数据库等）提取需要用于 RAG 系统的文本数据。
  2. 分块: 将提取的文本数据分割成更小的块（例如段落、句子等），以便于后续的向量化和检索。
  3. 向量化: 使用嵌入模型将每个文本块转换为向量表示，捕捉其语义信息。
  4. 数据入库: 将文本块的向量表示存储到向量数据库中，以便于快速检索。

检索生成阶段

  1. 问题向量化: 将用户提出的问题转换为向量表示。
  2. 根据问题查询匹配数据: 使用问题向量在向量数据库中进行相似性搜索，找到与问题最相关的文本块。
  3. 获取索引数据: 获取与问题相关的文本块的索引信息，例如文本块的来源、位置等。
  4. 将数据注入 Prompt: 将检索到的相关文本块作为上下文信息，注入到 Prompt 中，提供给 LLM。
  5. LLM 生成答案: LLM 根据 Prompt 中的问题和上下文信息，生成最终的答案。

tips：chromadb内置了all-MiniLM-L6-v2作为嵌入模型，首次运行会下载。默认存放在C:\Users\Administrator\.cache\chroma\onnx_models\

2、实践源码

import chromadb
import json
import ollama

LLM_Ollama_DEEPSEEK_R1 = "deepseek-r1:8b"

# 创建客户端，内存模式，数据不会进行持久化
chroma_client = chromadb.Client()

# 创建集合
collection = chroma_client.get_or_create_collection(name="my_collection")

# 用于测试的文本段落
localdata_documents = [
    "1919年5月4日，北京的爱国学生开展了集会、游行、罢课等活动，反对北洋政府准备在损害中国主权的《凡尔赛和约》上签字，得到社会各界广泛支持，最终形成了全国规模的爱国运动，并取得了胜利。五四运动促进了马列主义在中国的传播，在思想上、干部上为中国共产党的建立作了准备。",
    "1920年春夏之交，陈独秀以马克思主义研究会为基础，多次召集会议，商讨建党问题。1920年8月 ，在上海环龙路渔阳里2号的《新青年》编辑部成立了中国共产党上海发起组，推选陈独秀为负责人，标志着中国第-一个共产党早期组织的诞生。",
    "1928年4月28日,毛泽东率领的秋收起义部队,和朱德、陈毅领导的湘南起义和南昌起义部分部队在井冈山胜利会师,是中国人民解放军建军史上的重要历史事件。钢山会师后根据中共湘南特委决定，两军合编为工农革命军第四军,壮大了井冈山的革命武装力量,对巩固扩大全国第一个农村革命 根据地,推动全国革命事业发展,具有深远的意义。",
]

# 用于测试的文本段落元数据
localdata_metadatas = [
    {"date": "1919年5月", "location": "北京", "event": "五四运动"},
    {"date": "1920年8月", "location": "上海", "event": "共产党的早期组织"},
    {"date": "1928年4月", "location": "江西", "event": "井冈山会师"},
]

# 文本向量化函数
def get_embedding(text, model_name="deepseek-r1:8b"):
    response = ollama.embed(model_name, text)
    embedding = response['embeddings']
    return embedding

# 将文本向量化
doc_embeddings = get_embedding(localdata_documents)

# 向量化完成后，输出前5个
print(type(doc_embeddings))  # List类型
print("\n 文本内容向量化结果 : 只输出前5个 -----------------------------\n")
for i, element in enumerate(doc_embeddings):
    embedding_item = element[:5]
    print(embedding_item)

# 将文本、文本元数据、文本向量数据保存到Chroma数据库
# 如果不填，则在写入时，使用默认的嵌入函数进行向量化
# 本实践源码中，使用了本地化部署的大模型对文本进行了向量化处理
collection.add(
    documents=localdata_documents,
    metadatas=localdata_metadatas,
    ids=["id1", "id2", "id3"],
    embeddings=doc_embeddings,
)

# 查询条件向量化处理
query_embedding = get_embedding("井冈山会师")
print("\n 查询条件向量化结果: 只输出前5个 -----------------------------\n")
query_embedding_result = query_embedding[0][:5]
print(query_embedding_result)


# 从Chroma中查询数据，向量化后的查询条件作为参数
results = collection.query(
    query_embeddings=query_embedding,
    n_results=1
)

# 格式化输出查询结果
print(type(results))  # Result为Dict类型
formatted_json = json.dumps(results, indent=4, ensure_ascii=False)  # 转为Json格式，输出后便于阅读
print("\n Chromadb查询结果 -----------------------------\n")
print(formatted_json)

# 将Chroma查询的结果，嵌入提示词中，提供给 deepseek-r1:8b 大模型，用于答案生成
data = results["documents"][0][0]
output = ollama.generate(
    model=LLM_Ollama_DEEPSEEK_R1,
    prompt=f"根据这段文字：{data}。回答这个问题：概括井冈山会师经过?",
    think=False
)
print("\n LLM Result  --------------------------------\n")
print(output["response"])

控制台输出：

文本内容向量化结果 : 只输出前5个 -----------------------------

[-0.0065811593, 0.0025668987, 0.0012655873, 0.0012356776, -0.0052756034]
[-0.0028774142, 0.0007679193, 0.00024022924, -0.004543038, -0.004750963]
[-0.001057489, -0.003188561, 0.011073442, 0.00017057206, -0.0072994265]

 查询条件向量化结果: 只输出前5个 -----------------------------

[-0.0010892575, 0.0040866444, 0.009315611, 0.009925646, 0.001663873]
<class 'dict'>

 Chromadb查询结果 -----------------------------

{
    "ids": [
        [
            "id3"
        ]
    ],
    "embeddings": null,
    "documents": [
        [
            "1928年4月28日,毛泽东率领的秋收起义部队,和朱德、陈毅领导的湘南起义和南昌起义部分部队在井冈山胜利会师,是中国人民解放军建军史上的重要历史事件。钢山会师后根据中共湘南特委决定，两军合编为工农革命军第四军,壮大了井冈山的革命武装力量,对巩固扩大全国第一个农村革命 根据地,推动全国革命事业发展,具有深远的意义。"
        ]
    ],
    "uris": null,
    "included": [
        "metadatas",
        "documents",
        "distances"
    ],
    "data": null,
    "metadatas": [
        [
            {
                "date": "1928年4月",
                "location": "江西",
                "event": "井冈山会师"
            }
        ]
    ],
    "distances": [
        [
            0.16255146265029907
        ]
    ]
}

 LLM Result  --------------------------------

好的，我为您整理这段关于井冈山会师的文字。1928年4月，毛泽东指挥的秋收起义部队与朱德、陈毅领导的湘南起义和南昌起义余部在井冈山胜利会师。随后根据中共湘南特委指示，这两支革命力量合并组建为工农革命军第四军，进一步壮大了井冈山地区的革命武装，并对巩固和发展全国首个农村革命根据地产生了重要影响。

这段历史是中国人民解放军发展历程中的关键节点之一，对于推动当时全国范围内的革命运动具有重要意义。通过这样的会师事件，中国共产党得以整合和扩大革命力量，为后续的革命斗争奠定了坚实的基础。
Langchain4j-Java大模型应用开发实战
program哲学
07-23 4263
本文详细介绍如何基于Java 利用Langchain4j框架开发大模型应用，包括各种实战内容
基于LangChain-Chatchat实现的RAG-本地知识库的问答应用[1]-最新版快速实践并部署（检索增强生成RAG大模型）
丨汀、的博客
05-06 2314
基于LangChain-Chatchat实现的RAG-本地知识库的问答应用[1]-最新版快速实践并部署（检索增强生成RAG大模型）
Python大模型应用开发实践：本地化部署大模型实现RAG应用
专注于Python爬虫开发，分享爬虫技巧、项目实战与反爬经验，使用Scrapy、BeautifulSoup等工具，解决数据抓取难题。
07-08 529
摘要 本文探讨了在本地化环境中部署大模型（如GPT、BERT）并结合检索增强生成（RAG）技术的应用方法。首先介绍了大模型的特点和RAG的基本原理，分析了本地化部署面临的技术挑战，包括硬件资源需求、数据隐私问题及部署框架选择。随后详细阐述了RAG应用的实现步骤，包括知识库构建、模型部署、检索与生成模块集成以及性能优化策略，并通过Python代码示例展示本地化RAG模型的搭建过程。最后总结本地化大模型的应用前景，指出其在专业领域（如医疗、法律）中的潜在价值。 关键词：大模型、RAG、本地化部署、Python、
大模型全析：本地化部署开源大模型ChatGLM3-6B
aolan123的博客
06-13 943
ChatGLM3-6B有3个参数可以设置。max_length：模型的总token限制，包括输入和输出的tokens。temperature：模型的温度。温度只是调整单词的概率分布。它最终的宏观效果是，在较低的温度下，我们的模型更具确定性，而在较高的温度下，则不那么确定。数字越小，给出的答案越精确。top_p：模型采样策略参数。每一步只从累积概率超过某个阈值 p 的最小单词集合中进行随机采样，而不考虑其他低概率的词。只关注概率分布的核心部分，忽略了尾部。
【AI大模型应用开发】3.2 RAG实战 - RAG应用+UI实现加载本地文件并对话
2401_84495872的博客
07-20 1091
前面我们实现了RAG基本流程，今天我们在此基础上给它加个UI界面，在浏览器打开，实现上传本地文件、解析，并用大模型实现与该文档的对话。也就是一个阉割版demo版的ChatPDF或知识库对话系统。界面采用Python的gradio库，这个库在机器学习和大模型界很火，它运行后会启动一个Web服务器，并在默认浏览器中打开一个新页面，显示Gradio界面。别问为啥用这个，就是看大模型的界面好多都是这个库搭的，所以也就用一下。不会gradio没关系，就几行代码，很容易理解。
LLM大模型：Tree-RAG工作流程及实体树应用介绍
Langchain的博客
07-18 1174
T-RAG方法基于将检索增强生成（Retrieval-Augmented Generation，简称RAG）架构与开源经过微调的大型语言模型（Large Language Model，简称LLM）以及实体树向量数据库相结合。这种方法的重点在于上下文检索。
【AI大模型应用开发】3. RAG初探 - 动手实现一个最简单的RAG应用
m0_65555479的博客
07-26 1286
大模型也不是万能的，也有局限性。LLM 的知识不是实时的LLM 可能不知道你私有的领域/业务知识RAG（Retrieval Augmented Generation）顾名思义：通过检索的方法来增强生成模型的能力。你可以把这个过程想象成开卷考试。让 LLM 先翻书，再回答问题。至此，我们已经实现了RAG的基本流程。总结下流程：离线部分，可提前生成好（1）文档加载与分块（2）分块数据灌入向量数据库在线部分（3）解析用户提问，用户提问向量化（4）查询向量数据库，得到最相似的k个文本块。
RAG应用实践-基于大模型构建知识库(Java版本)
2301_82275412的博客
11-15 2062
目前大部分基于大模型的应用都是用python写的，本文使用java实现一个基于大模型的知识库（RAG系统）。
企业级大模型应用的Java-Python异构融合架构实践
有见寒舍
02-25 1281
RAG（Retrieval-Augmented Generation）是一种结合信息检索与生成模型的深度学习方法，可基于JAVA进行处理；（目前火山引擎的知识库，就是一种典型的RAG应用）3.2 RAG通用架构。
大模型RAG实践操作---一个简单的知识文档助手Demo
weixin_42838778的博客
08-17 1493
文本生成模型：Mixtral 8x7B Instruct是一种可以遵循指令、完成请求和生成创造性文本格式的语言模型。Mixtral 8x7B是一种高质量的稀疏混合专家模型（SMoE），具有开放权重。该模型已通过监督微调和直接偏好优化（DPO）进行了优化，以确保仔细遵循指令。在MT Bench上，它的得分达到了8.30，使其成为最好的开源模型，性能与GPT3.5相当。Mixtral在大多数基准测试中都优于Llama 2 70B，推理速度快6倍。
RAGFlow Agent 知识检索节点源码解析：从粗排到精排的完整流程
澄南澄北的博客
08-01 936
文本检索：基于关键词匹配，擅长精确匹配和术语查找向量检索：基于语义相似度，擅长理解查询意图和同义词匹配Embedding 检索方法通过分别编码 Query 和 Chunk 得到向量，并用余弦相似度评估相关性。优点是可以提前计算Chunk的向量并存储，检索效率高、可大规模向量召回，适合在粗排阶段使用。但这种独立编码方式无法建模两者之间的语义交互。而 Rerank 模型会将 Query 和 Chunk 作为一个成对的输入，同时送入模型进行处理。
使用yolo11训练饮料瓶盖缺陷检测质量检测数据集VOC+YOLO格式1432张5类别步骤和流程
FL1623863129的博客
08-03 738
训练完成后，最佳权重保存路径为：runs/detect/train/weights/best.pt，如果多次运行命令runs/detect/train2,runs/detect/train3文件夹生成只需要到数字最大文件夹查看就可以找到模型。经过上面训练可以使用模型做一步部署，比如使用onnx模型在嵌入式部署，使用engine模型在jetson上deepstream部署，使用torchscript模型可以在C++上部署等等。通过比较不同模型在这些指标上的表现，可以判断哪个模型在实际应用中可能更有效。
学习日志27 python
最新发布
AYheyheyhey的博客
08-04 832
封装是 “隐藏内部细节”，解决数据安全和接口简化问题；多态是 “统一接口，不同实现”，解决代码灵活性和扩展性问题；二者常结合使用：封装为多态提供了基础（确保对象内部稳定），多态通过封装的接口实现灵活交互。
numpy广播
2402_89746772的博客
08-01 469
展平数组并返回拷贝（修改不影响原数组）。展平数组并返回视图（修改会影响原数组）。将数组广播到指定形状（返回只读视图）。数组元素迭代器，用于遍历所有元素。不改变数据，仅修改数组形状。对换数组维度（矩阵转置）。删除数组中的一维条目。滚动指定轴到新位置。
ORACLE复杂查询
ZZH1120KQ的博客
08-04 1365
在Oracle数据库中，逻辑判断和条件判断是两个密切相关但又不完全相同的概念。逻辑判断主要关注的是根据逻辑运算符（如AND、OR、NOT）对条件表达式的结果进行逻辑运算，从而得出最终的布尔值（true或false）。条件判断则更侧重于根据给定的条件或表达式来判断某个操作是否应该执行，或者应该执行哪个分支的操作。
宝塔Python项目无法使用域名访问
少湖说
07-31 1065
摘要：宝塔中部署的Flask项目无法通过IP/域名访问。排查发现：1) 阿里云安全组443端口已开放但连接被拒；2) 项目配置中host应为"0.0.0.0"而非"localhost"；3) Nginx反向代理错误地将请求转发至443端口（实际项目运行在50001端口）。解决方案：修改Nginx配置中的proxy_pass为http://127.0.0.1:50001，并确保外网映射正确对应内外端口。注意宝塔面板的端口映射功能可能不生效，需手动配置。（149字）
【笔记】ROS1｜5 ARP攻击Turtlebot3汉堡Burger并解析移动报文【旧文转载】
shandianchengzi的博客
08-04 871
本文介绍了如何使用ARP攻击技术干扰Turtlebot3汉堡机器人的ROS通信。作者首先讲解了ARP协议的基本原理和攻击依据，然后通过实验演示了如何利用arpspoof工具实施ARP欺骗攻击，包括干扰普通主机上网和小车与控制机的通信。文章提供了详细的实验步骤和思考题，并建议读者在虚拟机环境下进行实践。实验结果显示，通过持续发送虚假ARP响应包可以成功劫持网络通信，开启IP转发后虽能恢复但会降低网速。最后作者还演示了如何解析被攻击机器人的移动控制报文。
rag大模型搭建应用实践
03-15
<think>嗯，用户让我介绍一下RAG大模型搭建的应用实践。首先，我需要明确什么是RAG。RAG是检索增强生成，结合了检索系统和生成模型的技术，对吧？然后，用户可能想知道具体的应用步骤和实际案例。不过他们可能对技术细节不太熟悉，所以需要用中文解释得通俗易懂。 我应该先分步骤讲解搭建流程，比如数据准备、检索系统、生成模型、集成优化这些部分。每个步骤需要具体说明要注意的地方，比如数据预处理的重要性，或者如何选择合适的嵌入模型。然后，应用场景部分可以列举几个常见的例子，比如智能客服、知识库问答，这样用户更容易理解。 可能用户是开发者或者企业技术负责人，他们想了解如何实际应用RAG，所以需要强调实践中的关键点，比如数据质量、检索效率、模型调优。还要提到挑战，比如处理多模态数据或实时性要求，这样他们能预见到可能的问题。 要确保回答结构清晰，分点列出，使用中文术语，同时避免太专业的 jargon。可能需要检查是否所有数学表达式都用对了格式，比如用$...$包裹，但用户的问题里没有涉及太多数学内容，所以这方面可能不用太担心。最后，总结一下RAG的优势和适用场景，帮助用户判断是否适合他们的需求。</think>以下为RAG（Retrieval-Augmented Generation）大模型搭建应用的分步解析，结合技术原理与实践经验： $$ \text{RAG} = \text{检索系统} + \text{生成模型} $$ ### 一、核心架构原理 1. **双模块结构** - **检索模块**：通过向量数据库$D$实现语义搜索，计算查询$q$与文档$d_i$的相似度$sim(q,d_i)$ - **生成模块**：基于检索结果$R$生成最终输出$y$，即$P(y|x,R)$ 2. **数学表达** 给定输入$x$，生成过程可表示为： $$ y = \arg\max_{y} P_{LM}(y|x, R) \quad \text{其中} \ R = \{d | sim(q,d) > \tau\} $$ ### 二、搭建流程 #### 阶段1：数据准备 - **文档处理** - 使用文本分割器（如RecursiveCharacterTextSplitter）将文档划分为chunk - 优化公式：$chunk\_size=512,\ overlap=64$（典型参数） - **向量化处理** - 采用Embedding模型$E$（如BAAI/bge-base-zh）进行编码： $$ \mathbf{v}_i = E(d_i) \in \mathbb{R}^{768} $$ #### 阶段2：检索系统搭建 1. **向量数据库选型** | 类型 | 特点 | 适用场景 | |---|---|---| | FAISS | 高检索速度 | 十亿级数据 | | Chroma | 易用性强 | 快速原型开发 | | ES | 支持混合搜索 | 企业级系统 | 2. **检索优化技巧** - 多路召回策略：结合BM25与向量检索 - 重排序模型：使用cross-encoder提升精度 #### 阶段3：生成模型集成 1. **模型选型建议** - 中文场景：ChatGLM3-6B, Qwen-7B - 英文场景：Llama2-13B, Mistral-7B 2. **提示工程模板** ```python prompt_template = """ 基于以下上下文： {context_str} 请回答这个问题：{query_str} 要求： 1. 答案需准确引用上下文 2. 如信息不足请说明 3. 使用中文回答 """ ``` ### 三、性能优化关键 1. **检索质量提升** - 通过负采样训练更好的Embedding： $$ \mathcal{L} = -\log \frac{e^{sim(q,d^+)}}{e^{sim(q,d^+)} + \sum_{d^-} e^{sim(q,d^-)}} $$ 2. **生成控制策略** - 温度参数调节：$T=0.3$时生成更确定 - 惩罚重复：设置repeat_penalty=1.2 ### 四、典型应用场景 1. **企业知识库问答** - 实践案例：某金融机构部署RAG系统后，客服问题解决率提升40% 2. **法律文书分析** - 检索准确率要求：>85% - 使用领域微调的Legal-BERT作为Embedding模型 ### 五、监控与评估 1. **核心指标** | 指标 | 计算公式 | 目标值 | |---|---|---| | 检索召回率 | $\frac{|R \cap G|}{|G|}$ | >0.8 | | 生成准确率 | Human Evaluation | >75% | | 响应延迟 | $t_{end} - t_{start}$ | <3s | 2. **AB测试方案** - 对照组：纯生成模型 - 实验组：RAG系统 - 关键指标对比：事实准确性、响应相关性 ### 六、进阶实践方向 1. **多模态扩展** - 支持图像检索：CLIP模型编码 $$ \mathbf{v}_{image} = E_{CLIP}(I) $$ 2. **实时更新机制** - 增量索引构建：每天增量更新索引，满足$freshness<1h$ 3. **安全防护** - 注入检测：对检索结果进行内容安全过滤 $$ P_{risk} = f_{detector}(d) < 0.1 $$ 实践建议：从垂直领域小规模试点开始（如产品手册问答），逐步扩展到复杂场景。注意数据隐私保护，建议使用本地化部署方案。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

DuelCode

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值