- 博客(25)
- 收藏
- 关注
原创 5.多进程将海量 Markdown 数据解析并写入 Milvus 向量库--构建知识库
在构建 RAG(检索增强生成)系统或处理海量私有知识库时,我们经常会面临一个瓶颈:数据预处理太慢。如果采用单线程的串行方式,读取文件、解析 Markdown、转化为向量再写入数据库,整个过程不仅耗时,而且无法充分利用多核 CPU 的性能。为了解决这个问题,采用多进程结合生产者-消费者模型是一个非常经典且高效的解决方案。今天,我将分享一段基于模块编写的实战代码,演示如何实现海量 Markdown 文件的并发解析与 Milvus 数据库的高效批量写入。
2026-03-06 12:56:06
591
原创 3.Embedding介绍
在RAG(Retrieval-Augmented Generation)的混合检索中,是两种互补的向量表示方法,分别用于捕捉语义信息和关键词匹配。混合搜索结合了不同搜索范式的优势,以提高检索的准确性和鲁棒性。它充分利用了密集向量搜索和稀疏向量搜索的能力,以及多种密集向量搜索策略的组合,确保对各种查询进行全面而精确的检索。在这种情况下,使用和两种方法检索候选内容。来自这些方法的结果会被合并、重新排序,并传递给 LLM 以生成最终答案。这种方法兼顾了精确性和语义理解,对各种查询场景都非常有效。
2026-03-05 16:18:26
513
原创 2.数据的加载和切片
1. 数据加载 (Data Loading):将存储在各种格式(PDF, Word, Markdown, HTML, 数据库等)中的非结构化或半结构化数据,读取并转换为 LLM 框架(如 LangChain)能理解的统一对象(通常称为Document2.数据切片 (Data Chunking/Splitting):将加载进来的长文本,按照一定的规则切割成更小的“块”(Chunks)。本篇博客主要讲述常用的pdf/markdown文件的加载和切片,使用UnStructured。
2026-03-04 20:12:56
464
原创 1.milvus数据库简介和连接操作
向量是神经网络模型的输出数据格式,可以有效地对信息进行编码,在知识库、语义搜索、检索增强生成(RAG)等人工智能应用中发挥着举足轻重的作用。Milvus 是一个开源的向量数据库,适合各种规模的人工智能应用。Milvus 是一种高性能、高扩展性的向量数据库,可在从笔记本电脑到大规模分布式系统等各种环境中高效运行。它既可以开源软件的形式提供,也可以云服务的形式提供。
2026-03-04 16:00:48
768
原创 聊天机器人-03-web界面构建
在之前02的基础上构建web界面,并加入相关的处理函数,如用户和web界面机器人的对话交互,以及将用户输入的消息交给大模型处理之后返回给机器人。运行后,根据运行框内的本地地址,打开后即可跟机器人聊天。
2025-12-27 10:51:49
311
原创 聊天机器人-02-消息摘要
第一次运行后,结构跟之前一样,会产生6条消息记录,接下来再单独问个问题,并再RunnableWithMessageHistory( )函数里面设置断点,断点如图,转到该函数的定义里面,打开左边的结构栏,找到invoke点进去,然后进行调试,就可以看只保留最近的两条消息和摘要。”,模型得从之前大量的聊天记录去寻找,再来回答我们的问题,这样一方面会对程序速度有影响,也可能发送大量的数据使使模型产生幻觉的情况。在01当中,解决了对话存储的问题,但是随着程序的长久应用,必定会产生大量的历史聊天记录,
2025-12-26 17:56:17
431
原创 聊天机器人-01-保存历史消息
2.历史对话放在数据库里,结束程序,内存释放,此时屏蔽掉result1,只留result3/result2,大模型也是可以完成对话。1.历史对话放在内存里,结束程序,内存释放,此时屏蔽掉result1,只保留result3/result2,大模型就无法完成对话。,核心是让大模型能够记住同一用户(会话)的历史对话内容,从而在后续交互中基于上下文回应,而非每次都当作全新对话。
2025-12-26 10:45:03
665
原创 大模型输出解析器和结构化输出
通常,这个方法仅在支持下面描述的更高级方法的模型上存在, 并将在内部使用其中一种。它负责导入合适的输出解析器并 将模式格式化为模型所需的正确格式。对于某些用例,限制大型语言模型的输出为特定格式或结构,例如,如果输出要存储在关系数据库中,如果模型生成遵循定义的模式或格式的输出,将会容易得多。最常见的输出格式将是JSON。负责获取模型的输出并将其转换为更适合下游任务的格式。在使用大型语言模型生成结构化数据或规范化聊天模型和大型语言模型的输出时非常有用。限制模型的输出始终为某种有效的 JSON。
2025-12-25 18:39:33
526
原创 常用提示词模板总结
是通过 Few-Shot(少样本)学习,给大模型提供 3 个「复杂问题→分步推理→最终答案」的示例,让模型学会 “先拆解问题→提后续子问题→查中间答案→汇总最终答案” 的推理范式,最终让模型用同样的逻辑回答 “唐朝和宋朝哪个持续时间更长” 的问题。作用:通过消息列表(每个消息包含role(角色,比如user/assistant/system)和content(内容))来构建对话提示。提示词模板有助于将用户输入和参数转换为语言模型的指令。提示词模板的输入是一个字典,其中每个键表示要填充的提示词模板中的变量。
2025-12-25 16:30:14
917
原创 Agent的上下文和记忆
配置适用于不可变数据,如用户元数据或 API 密钥。当您有在运行期间不会更改的值时使用。使用保留用于此目的的键。1.运行时传入的信息,如 `user_id` 或 API 凭据。这里工具和graph.py是彼此分开两个.py文件的。2.多步推理过程中更新的内部状态。3.来自先前交互的持久记忆或事实。数据,这些数据可以影响代理行为或工具执行。LangGraph 提供了。上下文包括消息列表之外的。在test脚本中运行后结果如下。执行期间可更改的动态数据。在运行开始时传入的数据。可在对话之间共享的数据。
2025-12-20 17:53:20
533
原创 LangGraph-智能体中Tool的定义
这个@tool装饰器是定义自定义工具的最简单方法。默认情况下,装饰器使用函数名称作为工具名称,但可以通过将字符串作为第一个参数传递来覆盖。此外,装饰器将使用函数的文档字符串作为工具的描述 - 因此必须提供文档字符串。请注意,@tool支持解析注释、嵌套模式和其他特性,有几种常见的方法,此次列举几种常见的方法。
2025-12-20 13:24:52
1452
原创 07-上下文感知的RAG案例
1.从指定网页加载 Agent 相关知识并构建向量数据库;3.结合聊天历史理解用户问题(比如处理指代 / 省略);4.生成简洁、基于上下文的回答,并保留会话历史。2.基于用户问题从向量库检索相关上下文;
2025-12-16 21:17:10
373
原创 06-FAISS向量数据库
1.安装FAISS pip install faiss-cpu,也可以是gpu,看具体使用情况 2.实现代码输出:左边的文件栏也会出现保存的数据库:输出:
2025-12-16 15:09:16
589
原创 01-Qwen3大模型私有化部署-租赁算力云上部署
由于电脑配置问题,选择了租用算力云进行部署,,选择RTX 4090的显卡进行配置,具体配置看下图,如果部署vllm的时候可能出现版本不兼容,可以尝试更换显卡,如4090D换成4090。
2025-12-10 00:19:25
969
原创 04-基于Embedding的相似搜索
本文介绍了使用智谱AI的Embedding技术进行文本相似搜索的实现方法。通过读取存储文本向量的CSV文件,将字符串格式的向量转换为可计算的Python列表。文章详细说明了调用智谱AI的embedding接口将文本转换为高维向量,以及计算余弦相似度的函数实现。最后演示了如何根据关键词在向量空间中进行相似搜索,并返回相似度最高的结果。该方法可应用于文本检索、推荐系统等场景,通过向量相似度快速找到相关内容。
2025-12-09 20:54:05
643
原创 03-采用聚类和T-SNE可视化数据
本文展示了使用T-SNE和K-means对文本向量进行降维和聚类分析的过程。首先从CSV文件读取文本嵌入向量数据,将其转换为数值矩阵。然后使用K-means算法将数据聚为3类,并通过T-SNE将高维向量降维到2D空间进行可视化。最终用不同颜色区分聚类结果,直观展示亚马逊评论的分布模式。该流程实现了高维文本数据的降维分析和聚类可视化。
2025-12-09 20:06:18
540
原创 02-T-SNE可视化数据
本文介绍了使用T-SNE技术对亚马逊评论数据进行可视化分析的过程。首先将CSV中存储为字符串的Embedding向量转换为Python列表,通过np.vstack堆叠成高维矩阵。然后利用T-SNE将高维数据降维至二维平面,并根据1-5星评分分别用红、橙、黄、青、绿五种颜色标记。最终生成散点图直观展示不同评分评论的聚类效果,为文本数据分析提供了可视化参考。
2025-12-08 22:35:22
227
原创 01-Embedding开发
本文介绍了一个使用智谱AI(ZhipuAI)为食品评论生成语义向量的流程。首先从CSV文件中加载数据,经过预处理后筛选出最新且符合token长度限制的1000条英文评论。然后调用ZhipuAI的Embedding模型为每条评论生成语义向量,并将结果保存为新的CSV文件。关键步骤包括数据清洗、token计数过滤和API调用,最终输出包含原始评论及其对应embedding向量的结果文件。
2025-12-05 12:03:07
467
原创 3.使用LangServe部署应用程序
这个软件可以进行调试,可以更改'language'和'text'变量,输出不同的结果。让其他人或者程序可以通过http调用你的程序。
2025-12-04 12:19:27
142
原创 2.LangChain的提示模板
因为是让模型去翻译,text里面的内容避免为问句,不然模型会以为是回答text里面的内容;或者在system里备注只要翻译不要回答。
2025-12-03 11:01:10
227
原创 1.使用LangChain调用LLM
第二个model用的是智谱的GLM-4,是免费,适合初学者一开始学习,第一个是用的DeepSeek的,兼容的OpenAi,需要付费。
2025-12-03 10:43:54
278
原创 LangChain简介
Langchain 是一个开源的AI框架,可以提升大模型的功能性,它允许开发人员将像 GPT-4 这样的大型语言模型与外部的计算和数据源结合起来,并且产生交互,比如让模型从你的私有数据中提取信息类似数据库、PDF文件或其他文档,甚至Langchain 还可以帮助你根据这些信息执行特定操作,如发送邮件;这些主要依靠其为开发者提供者提供的多种模块化组件,便于使用的同时,也使得LLM获得更为准确和详细的回答。
2025-12-02 22:38:56
2118
1
embedding专栏-01-Embedding开发-根据原始数据得出的语义向量(embedding)
2025-12-08
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅