点击蓝字⬆ 关注我们
本文共计2083字 预计阅读时长7分钟
什么是RAG?
随着数据智能技术的不断发展,以大语言模型(LLM)驱动的AIGC为代表的内容生成技术已经成为企业数据智能能力中不可或缺的一部分。但在实践过程中,LLM(例如ChatGPT)仍存在不少问题,例如信息更新不及时、垂直领域知识匮乏,且可能产生“幻觉”(即生成不准确的内容)等问题。
检索增强生成(Retrieval-Augmented Generation,RAG)技术是一种结合了检索和大语言模型内容生成的技术方案,它通过引用外部知识库,在用户输入Query时检索出知识,然后让模型基于可信的知识进行用户回答。RAG具有较高的可解释性和定制能力,可大幅降低大语言模型的幻觉,适用于问答系统、文档生成、智能助手等多种自然语言处理任务。
本篇文章,将手把手教你基于腾讯云ES与TI-ONE平台,搭建专属AI知识库与DeepSeek大模型,让你快速拥有一个更安全、更懂你、且不会“服务器繁忙,请稍后再试”的AI助手。
为什么选择腾讯云ES?
腾讯云ES是云端全托管海量数据检索分析服务,拥有高性能自研内核,集成X-Pack,支持通过自治索引、存算分离、集群巡检等特性轻松管理集群,也支持免运维、自动弹性、按需使用的 Serverless 模式。在RAG方面,腾讯云ES支持了一站式向量检索、文本+向量混合搜索、倒数排序融合、与大模型集成、GPU高性能推理、字段级别权限控制等能力,同时针对查询性能做了大量优化,有效的提升了数据检索效率,目前已落地微信读书“AI 问书”、微信输入法“问 AI”、腾讯地图、腾讯会议、IMA Copilot、乐享智能搜索等大型应用中。
同时,作为国内公有云首个从自然语言处理、到向量生成/存储/检索、并与大模型集成的端到端一站式技术平台,腾讯云ES作为核心参编单位参与了由中国信通院发起的的RAG标准制定,并成为首个通过RAG权威认证的企业。
通过腾讯云ES,你可以根据自身需求,灵活定制知识库的内容与功能, 打造更懂你、更安全、更可控的专属AI助手。
为什么使用TI-ONE部署大模型?
腾讯云 TI-ONE 训练平台(简称TI-ONE)是为 AI 工程师打造的一站式机器学习平台,为用户提供从数据接入、模型训练、模型管理到模型服务的全流程开发支持。TI-ONE 支持多种训练方式和算法框架,满足不同 AI 应用场景的需求。当前,TI-ONE已在控制台支持了一系列DeepSeek模型的可视化部署,通过TI-ONE平台,我们可在数分钟内快速拉起DeepSeek相关服务,告别“服务器繁忙,请稍后再试”。
AI 助手构建
购买ES 集群
1、登录腾讯云ES控制台
2、点击新建:
3、计费模式为按量计费,产品版本为标准版、ES 版本为 8.13.3、商业特性为白金版:
ES 节点配置,测试环境可选择为ES.S1(4核8G),节点数为2,磁盘为通用型SSD,磁盘容量为 20GB:
登录Kibana
1、集群创建完成后,点击集群名称,进入访问控制页面,在可视化访问控制设置公网访问策略:
2、获取当前 IP 地址并设置到 IP 白名单中:
3、点击Kibana公网访问地址访问Kibana。
部署embedding 模型
在集群购买完成后,就可以前往Kibana部署Embedding模型、创建知识库索引与向量化管道:
1、开启「节点出站访问」,仅开启数据节点即可,如有专用主节点,仅开启专用主节点即可。(该功能为白名单,请联系工单处理):
注:如需上传自定义模型或第三方平台(如 Huggingface)模型,可参考
https://github.com/elastic/eland