奔跑的蜗牛的博客

langchain 是一个面向大模型开发的框架，其中封装了很多核心组件，包括对文本等非结构化数据的 chunk，向量数据库的嵌入和查询等，并且对许多大模型的调用进行了封装, 如果说我们需要基于多个 LLM 开发 APP， 使用 Langchain 可以极大的简化我们的程序代码，很多操作可以直接通过 Langchain API 进行操作。langchain 还有最重要的一个功能就是社区提供了很多 Agent 工具，比如说：视频做编辑的工具视频转换成动画的工具生成图片的工具生成动画视频的工具。

本文总结了如何使用 Langchain 的 AgentExecutor 封装 tools, 构造我们自己的 Agent, 然后通过 LLM 调用，或者通过 Agent 调用，最后总结了如何让我们的 Agent 带有记忆功能，可以保存历史对话记录，这里为了简单就没有使用实际的数据库，实际生产中还是要使用数据库去保存这些信息的，感兴趣的朋友可以尝试下。

现在比较流行的 RAG 检索就是通过大模型 embedding 算法将数据嵌入向量数据库中，然后在将用户的查询向量化，从向量数据库中召回相似性数据，构造成 context template, 放到 LLM 中进行查询。如果说将用户的查询语句直接转换为向量查询可能并不会得到很好的结果，比如说我们往向量数据库中存入了一些商品向量，现在用户说：“我想要一条价格低于20块的黑色羊毛衫”，如果使用传统的嵌入算法，该查询语句转换为向量查询就可能“失帧”，被转换为查询黑色羊毛衫。

如何将数据分块，然后向量化嵌入向量数据库中，是 LLM 能够成功预测下一个 token 的关键，本文简单介绍了阿里云向量数据库 DashVector 的使用，并且使用一个具体的案例，将整个流程给串起来，关于 DashVector 还有很多高级功能这里并没有使用，读者可以 自行探索使用以下。后续我会结合阿里云的通义千问大模型和 DashVector 打造一个专业的知识库，以及如何使用多模态嵌入和大模型交互的场景实战。

阿里提供了各种各样的的大模型 API ，包括文字处理，语音，图片，视频等，云服务大模型 AI API 的提供，可以说把普通人进入 AI 行业的门槛降到了最低，以后人人都是 AI 工程师，最珍贵的不再是 AI 算法，而是一个好的 idea，将生活中的大大小小事情结合这些 AI 能力，产生创造力，提升我们的工作生活效率。只想说未来以来，特别是作为程序员的我们，思想一定不能再停留在以前的思考方式。

在之前的文章中实践了阿里云的文字转语音大模型，感觉还是挺有意思的，效果也挺不错的，感兴趣的可以看下阿里云 CosyVoice 语音合成大模型 API 实践阿里云 API 实践流程开通灵积服务，获得API-KEY；通过“申请体验”申请FaceChain人物写真生成体验权限，并获得通过；开发调用人物图像检测API，进行用户上传图像的质量校验，非必选链路，可以用于产品中进行前置校验，及时提醒用户更换质量不合格的图像。详情参考人物图像检测API详情；图像文件打包，上传并管理文件，详情参考。

本文将从宏观层面说明 LLM 私有模型的训练步骤，包括预训练，微调，合规对齐，再到最后如何集成到我们的 APP 中。⼀家⾦融科技企业希望利⽤⼤模型来解决保险智能客服的业务，希望能够⽤AI助⼿来替代原有的智能客服。本文从宏观层面，简单的讲解了下大模型私有模型训练的相关步骤，以及如何而将 Fixed 模型集成到我们的 APP 中，其中未涉及到一些复杂的名词，后续我们一步步总结如何将 LLM 应用落地实践过程。里边整理了大量的中文 LLM。

本文使用阿里云的向量检索服务（DashVector），结合ONE-PEACE多模态模型，构建实时的“文本搜图片”的多模态检索能力。多模态数据Embedding入库。通过ONE-PEACE模型服务Embedding接口将多种模态的数据集数据转化为高维向量。多模态Query检索。基于ONE-PEACE模型提供的多模态Embedding能力，我们可以自由组合不同模态的输入，例如单文本、文本+音频、音频+图片等多模态输入，获取Embedding向量后通过DashVector跨模态检索相似结果。