基于通义千问和向量数据构建问答知识库

原创 已于 2025-01-17 13:43:49 修改 · 1.1k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能

于 2023-12-01 16:05:38 首次发布
本文介绍了如何使用Java和阿里云的向量检索服务，结合ChatGPT构建检索增强生成模型RAG-02。步骤包括开通阿里云服务，获取API-KEY，以及安装DashVectorSDK。

参考：Java从0到1构建基于ChatGPT+向量数据库的检索增强生成模型RAG-02 - 知乎 (zhihu.com)

1、先开通  阿里云的向量检索服务

如何开通向量检索服务并创建API-KEY_向量检索服务-阿里云帮助中心 (aliyun.com)

 按流程申请 最后需要申请API-KEY

安装DashVector SDK

Maven Repository: com.aliyun » dashvector-java-sdk (mvnrepository.com)

<dependency>
    <groupId>com.aliyun</groupId>
    <artifactId>dashvector-java-sdk</artifactId>
    <version>1.0.5</version>
</dependency>

最低0.47元/天 解锁文章
高阶知识库搭建实战四、 基于通义千问+向量化工具库搭建知识库
xiaoqi270620903的专栏
11-19 1031
通过以上步骤，你将能实现基于通义千问大模型和知识库的问答功能，为企业内部FAQ、客户服务等场景提供智能支持。如果需要进一步深入，可以探索结合RAG机制对知识库内容实时扩展和更新的方案。将文本数据向量化是为了方便后续基于向量检索实现问答功能。通义千问模型需要结合已有向量化的知识库，实现用户问题与知识库内容之间的匹配。使用向量相似性检索（如余弦相似度）找到与用户提问最接近的知识条目。或类似的嵌入生成工具库（国内建议选择可兼容的模型）。将用户问题和检索到的知识条目作为输入，调用通义千问模型生成答案。
使用Chainlit接入通义千问快速实现一个本地文档知识问答机器人增强版
洛阳泰山的博客
08-03 1668
这里定义了一个递归字符文本分割器，用于将长文档拆分成更小的块，以便于处理和索引。同时定义了向量数据库的集合名称。这个变量用于设置消息的发送者名称。
langchain+通义千问-1_8B-Chat-Int4搭建本地知识库
A2224853393的博客
03-17 2294
主要是修改模型的路径和使用哪个模型，运行LLM模型使用显卡。LLM模型最开始我使用没有量化的1.8B版本，4G的3050显卡报OOM，显存带不起来，所以换成了int4量化版本，推理最低仅需不到2GB显存，生成2048 tokens仅需3GB显存占用。然后下载需要的 LLM 与 Embedding 模型，LLM模型我用的是通义千问-1_8B-Chat-Int4（书接上回，在本地运行了通义千问-1_8B-Chat，又想用通义千问+langchain搭建本地知识库。本地知识库还有点问题，待解决。
LangChain结合通义千问的自建知识库
热门推荐
一个学长的博客
02-02 1万+
在使用了通义千问API了之后，下一步就是构建知识库文档，使用了比较有名的LangChian，最后成果将自己的txt生成了知识向量库，最后我还把自己的论文生成了一个知识向量库，然后问他我的创新点是啥，实话实说比我总结的好，我想这下回老师要是看不懂我论文的时候能不能直接，嗯，对吧，反正也是工作中用到还挺有意思的，能分享的部分我都分享出来了，然后这个是接着通专栏的第一篇的延申文档。
【喂饭教程】手把手教你用通义千问3.0搭建长上下文RAG系统，全程干货，零基础小白收藏这一篇就够了！！
最新发布
2401_85325557的博客
09-05 1041
这篇文章介绍了如何使用通义千问3.0系列模型（包括指令模型、嵌入模型和重排模型）构建完整的RAG系统。文章详细展示了具有256K超长上下文长度的Qwen3-4B-Instruct-2507和Qwen3-4B-Thinking-2507模型，并通过代码演示了文本生成、嵌入计算和文档重排的实现方法。最后提供了完整的RAG系统构建步骤和实际应用案例，展示了如何结合这些模型创建高效的检索增强生成系统。
利用阿里通义千问和Semantic Kernel，10分钟搭建知识助手！
dotNET跨平台
12-22 1000
前言通义千问：是阿里推出的一个超大规模的语言模型，其中参数模型Qwen-72B已经宣布开源，同时还开源了18亿参数模型Qwen-1.8B和音频大模型Qwen-Audio，至此已经开源了18亿、70亿、140亿、720亿参数的4款大语言模型，以及视觉理解、音频理解两款多模态大模型。Semantic Kernel：是微软推出的开源项目，旨在将大型语言模型与应用程序集成，方便开发者构建一个更加智能、更加...
LLM——langchain 与阿里 DashScop (通义千问大模型) 和 DashVector（向量数据库） 结合使用总结
奔跑的蜗牛的博客
07-11 4816
langchain 是一个面向大模型开发的框架，其中封装了很多核心组件，包括对文本等非结构化数据的 chunk，向量数据库的嵌入和查询等，并且对许多大模型的调用进行了封装, 如果说我们需要基于多个 LLM 开发 APP， 使用 Langchain 可以极大的简化我们的程序代码，很多操作可以直接通过 Langchain API 进行操作。langchain 还有最重要的一个功能就是社区提供了很多 Agent 工具，比如说：视频做编辑的工具视频转换成动画的工具生成图片的工具生成动画视频的工具。
零基础搭建个人知识库！DeepSeek、通义千问保姆级详细教程！小白友好型~
bugyinyin的博客
05-15 2469
近期，各类AI工具的爆火，引起不少小伙伴们的兴趣。很多人想用AI帮助自己处理、分析生活中的一些文件、数据等等。但如果用网页版、APP版，每次上传文件会很麻烦！所以建立一个个人知识库，会方便很多。 建立个人知识库用于AI训练，其实很简单！网上也有很多说法，说这样那样的，众说纷纭！但，我保证，看完今天这篇推文，你自己也可以轻松建立知识库！
基于 langchain 和 通义千问大模型 的向量知识库构建和应用
weixin_45564519的博客
05-18 2546
本文基于 langchain 和 通义千问大模型， 构建了一个向量知识库，并实现了基本的查询功能。
java调用ai模型:使用国产通义千问完成基于知识库的问答
whisperzzza的博客
12-03 2672
基于RAG（Retrieval-Augmented Generation）技术，可以实现一个高效的Java智能问答客服机器人。核心思路是将预先准备的问答QA文档（例如Word格式文件）导入系统，通过数据清洗、向量化处理，并存储到向量数据库中。当用户提问时，系统首先识别并理解用户的查询意图，接着从向量数据库中检索出最相关的文档或数据，最后结合大模型生成准确的回答。整个过程利用了Java编程语言的优势，确保了系统的高效运行和维护性。
通过阿里云Milvus和通义千问快速构建基于专属知识库的问答系统
10-11 1739
本文展示了如何使用阿里云向量检索Milvus和灵积（Dashscope）提供的通用千问大模型能力，快速构建一个基于专属知识库的问答系统。在示例中，我们通过接入灵积的通义千问API及文本嵌入（Embedding）API来实现LLM大模型的相关功能。已创建Milvus实例。具体操作，请参见。已开通服务并获得API-KEY。具体操作，请参见。请确保您的运行环境中已安装Python 3.8或以上版本，以便顺利安装并使用DashScope。安装相关的依赖库。下载所需的知识库。
用向量数据库建立本地知识库
qq_40753021的博客
03-06 324
本实例是通过向量数据库对本地文本进行拆分，拆分后每一块文本转成向量存放到向量数据库。这样在搜索内容时，会先把问题转成向量，然后就可以根据问题向量在向量数据库里进行搜索，快速找到对应内容。本程序完全离线运行（无需网络连接），支持模型本地存储（./m3e-base）和数据本地存储（./vector_db）。可以用于企业知识库检索、法律文档查询、学术论文搜索、个人文档管理等场景。
构建以向量数据库为中心的动态知识库
AI天才研究院
06-06 1179
1. 背景介绍 随着人工智能和大数据技术的迅速发展，知识图谱作为一种重要的知识表示和管理工具，得到了越来越广泛的应用。知识图谱可以将各种领域的知识进行整合和关联，为智能应用提供丰富的语义信息。然而，传统的知识图谱在处理大规模、动态和复杂的知识时面临着一些挑战，例如知识存储和查询效率低下、知识更新困难等。为了解决这些问题，本文提出了一种基于向量数据库的
【AIGC】通义千问生成问答数据集
Kida 的躺平小屋
04-08 2399
好久没有更新跟实际应用相关的内容了（主要是因为公司知识产权问题未能立即公开，目前只能挑选一些脱敏内容与各位分享），如标题所示本期将跟大家讲一下如何通过通义千问生成问答数据集的。
非常简单！用Java实现一个简单的向量数据库雏形。
杨若瑜的技术博客
08-25 1956
本文帮助你简单的用Java实现一个KD-Tree的例子
RAG实操教程: langchain+Milvus向量数据库创建你的本地知识库
2401_85782938的博客
06-19 9071
本文主要是 Milvus 向量数据实战总结。LLM 痛点以及解决方案RAG 是什么，为什么选用RAG。langchain文档加载器，chat model文档拆分的注意点，chat model区别。chat 示例代码。
LangChain+通义千问+AnalyticDB向量引擎保姆级教程
2301_78285120的博客
12-08 3032
1.创作文字，如写故事、写公文、写邮件、写剧本、写诗歌等;2.编写代码；3.提供各类语言的翻译服务，如英语、日语、法语、西班牙语等；4.进行文本润色和文本摘要等工作；5.扮演角色进行对话；6.制作图表等。如果直接使用通义千问API从0到1来构建应用，技术成本还是相对比较高的。幸运的是，当前已经有非常优秀的框架LangChain来串联AIGC相关的各类组件，让我们轻松构建自己的应用。
基于LangChain实现RAG（大模型使用通义千问）
weixin_44312617的博客
11-14 2009
RAG（Retrieval-Augmented Generation）是一种结合了检索和生成的方法，旨在提高自然语言处理任务的性能。相对于预训练和微调，RAG的优势在于能够利用外部知识源，如知识图谱或文档数据库，以增强模型的理解和生成能力。此外，RAG还可以通过检索相关信息来减少对大规模预训练数据的依赖，从而降低计算成本。
基于通义千问Qwen2.5模型的RAG微调+langchain
weixin_59191169的博客
11-04 1194
环境准备步骤和环境设置指南，包括RAG和微调所需的所有依赖项。Transformers：用于加载和使用预训练模型。Datasets：用于处理和管理数据集。Accelerate：用于分布式训练和混合精度。PEFT：用于参数高效微调（如LoRA）。LangChain：用于构建RAG系统。Chromadb：用作向量存储。Sentence-Transformers：用于生成文本嵌入。确保您的系统有足够的GPU内存。Qwen2.5-7B模型需要至少12GB的GPU内存。
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值