怎么在大模型之上构建应用?构建人工智能上层应用的框架——langchain

LangChain入门指南 LangChain是一个强大的框架,旨在帮助开发人员使用语言模型构建端到端的应用程序。它提供了一套工具、组件和接口,可简化创建由大型语言模型 (LLM) 和聊天模型提供支持的应用程序的过程。LangChain 可以轻松管理与语言模型的交互,将多个组件链接在一起,并集成额外的资源,例如 API 和数据库。官方文档:https://python.langchain.com/en/latest/ 阅读详情

“langchain,在大模型之上构建应用的脚手架”

在大模型之上构建应用需要很多的步骤,比如文档加载,数据库读取,大模型加载,以及各个环节的连接等。

因此,就有了langchain这个开发框架,它的功能就是把大模型开发过程中需要的常见问题整合在一块,方便开发者。

当然,不使用langchain是否能构建上层应用?

答案是可以,但会很麻烦。

01、什么是langchain?

简单来说,langchain是一款开发框架,它的作用就是简化开发者的开发流程,让开发者能够把精力集中在具体的业务中,而不是一大堆繁杂的准备工作中。

举例来说,构建一个人工智能的应用,可能既需要文字生成,又需要图片处理,还需要进行分类等;这时一个大模型可能无法同时满足这几个要求。

因此,如果要同时调用多个大模型的功能,这时每一个大模型都需要接口调用处理等。

比如,在大模型的加载中就有第三方服务比如chatGPT,通义千问等;还有开源模型的加载,比如huggingface上的开源模型,还有一些本地大模型服务部署的框架如ollama/gpt4all/llstudio等,还包括自己开发的大模型框架,如使用pytorch,tensorflow开发的模型。

不同的模型具有不同的加载方式,如果全部自己手动开发,那么将会耽误大量的时间,而且还可能存在各种问题。

图片

再加上当前大模型+知识库的爆火,有知识库给大模型做资料库,这时就需要把知识库集成到应用中。就一个知识库就涉及到文档加载,向量数据库,资料存储与搜索等多个功能。

这些功能很重要,但它们都属于具体业务的支撑技术,这样就会导致开发人员需要大量的时间和精力来处理这些边缘又重要的任务。

因此langchain就出现了,langchain封装了很多技术细节,开发者只需要按照它的要求进行简单的调用就可以完成以上功能,大大简化了开发人员的流程。

02、langchain的核心功能模块

  • 模型(model i/o)

模型模块的功能主要就是各种模型的加载,由langchain官网提供了多种模型的加载包,比如通过网络调用openAI的接口,调用huggingface接口和自定义模型接口等。

在这里插入图片描述

  • 提示(prompt)

提示的作用就是prompt工程,因为当前的大模型还不够智能,所以良好的提示词会获得更好的回应。因此,就诞生了提示词工程,其作用就是更好的提问。

  • 索引(index)

索引模块的作用主要用来加载外部文档,比如知识库,搜索引擎等。此模块可以从外部网络中加载文档并输入到大模型中,以助于可以让我们得到更好的处理结果;文档格式也是多种多样,比如txt,word,pdf,数据库等。

在这里插入图片描述

  • 内存(memory)

这里内存的作用是用来记录历史记录,在大模型的交互中大模型本身没用记录历史提问的功能,所以需要自己做历史记录,然后再次访问的时候,把历史记录一块带着。

  • 链(chain)

链是langchain中的核心模块,其作用是把多个步骤串成一条调用链,比如先获取用户输入之后,先调用知识库获取资料,在调用文本生成模型生成文本,再调用图片生成功能生成图片等。

链就可以把上述功能给串起来,简化操作,即把上层的输出作为下层的输入。

  • 代理(agent)

在这里插入图片描述

在应用的构建中可能会用到很多第三方的功能或插件,比如需要搜索功能就要调用谷歌或百度的搜索接口,需要控制机械手臂完成动作也需要调用其接口。

而这就是代理模块的作用,也叫做AI agent,作用相当于大模型的手和脚,也是大模型与工业领域结合的方向。

如何学习大模型 AI ?

由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。

但是具体到个人,只能说是:

“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。

这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。

我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述

第一阶段(10天):初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。

  • 大模型 AI 能干什么?
  • 大模型是怎样获得「智能」的?
  • 用好 AI 的核心心法
  • 大模型应用业务架构
  • 大模型应用技术架构
  • 代码示例:向 GPT-3.5 灌入新知识
  • 提示工程的意义和核心思想
  • Prompt 典型构成
  • 指令调优方法论
  • 思维链和思维树
  • Prompt 攻击和防范
  • …

第二阶段(30天):高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。

  • 为什么要做 RAG
  • 搭建一个简单的 ChatPDF
  • 检索的基础概念
  • 什么是向量表示(Embeddings)
  • 向量数据库与向量检索
  • 基于向量检索的 RAG
  • 搭建 RAG 系统的扩展知识
  • 混合检索与 RAG-Fusion 简介
  • 向量模型本地部署
  • …

第三阶段(30天):模型训练

恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。

到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?

  • 为什么要做 RAG
  • 什么是模型
  • 什么是模型训练
  • 求解器 & 损失函数简介
  • 小实验2:手写一个简单的神经网络并训练它
  • 什么是训练/预训练/微调/轻量化微调
  • Transformer结构简介
  • 轻量化微调
  • 实验数据集的构建
  • …

第四阶段(20天):商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。

  • 硬件选型
  • 带你了解全球大模型
  • 使用国产大模型服务
  • 搭建 OpenAI 代理
  • 热身:基于阿里云 PAI 部署 Stable Diffusion
  • 在本地计算机运行大模型
  • 大模型的私有化部署
  • 基于 vLLM 部署大模型
  • 案例:如何优雅地在阿里云私有部署开源大模型
  • 部署一套开源 LLM 项目
  • 内容安全
  • 互联网信息服务算法备案
  • …

学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。

如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】
大模型之LangChain介绍 LangChain 就是一个 LLM 编程框架,你想开发一个基于 LLM 应用,需要什么组件它都有,直接使用就行;甚至针对常规的应用流程,它利用链(LangChain中Chain的由来)这个概念已经内置标准化方案了。下面我们从新兴的大语言模型(LLM)技术栈的角度来看看为何它的理念这么受欢迎。其官方的定义。 阅读详情

相关推荐

Langchain4j框架-Java程序员的大模型框架

LangChain4j 可以理解是Java版本的LangChain,是一个旨在简化将大型语言模型(LLM)集成到 Java 应用程序中的框架。它帮我们封装了不同LLM 提供商(如 OpenAI、Google Vertex AI)的专有API方便在不同 LLM 或嵌入式存储之间切换,而无需重写代码。该项目于 2023 年初启动,旨在填补 Java 生态系统中缺乏 LLM 库和框架的空白。

weixin_43410352的博客 7089

什么是LangChain?从零开始入门 LangChain

LangChain 作为一个新兴的开源 LLM 开发框架,它的设计理念和一些实现方法都有值得我们借鉴的地方。当然一个开源项目必然有自己的优点的同时也会存在不少的缺点。我们在实际使用的时候,应该按照自己的需求和实际情况去选择,切记,不要简单的因为网上的评论而做出选择。毕竟,好不好用,只有你自己才清楚。

2401_85375151的博客 3万+

如何利用LangChain来构建自己的AI应用?

LangChain 开发应用实践指南

2501_91386299的博客 1023

LangChain学习

单独的GPT-4可能知道很多关于世界各地的信息,但如果不能实时查找最新的航班信息或者酒店价格,它提供的旅行建议可能就不够准确或实用。通过LangChain,开发人员可以更轻松地管理与语言模型的交互,无缝地连接多个组件,并集成额外的资源,如API和数据库等,以加强应用的能力和灵活性。LangChain的优势在于为开发人员提供了一个便捷的框架,使其能够更高效地构建应用程序,利用最先进的语言模型和对话系统,同时能够灵活地定制和整合其他必要的资源,为应用程序的开发和部署提供了更大的灵活性和便利性。

我是大好人的博客 3974

一文彻底搞懂什么是LangChain?

LangChain赋予了开发人员将LLM与其他计算和知识来源相结合以构建应用程序的能力。使用LangChain,开发人员可以使用一个抽象LLM应用程序的核心构建块的框架。探索LangChain的能力并尝试其各个组件,会发现可能性几乎无限。LangChain框架提供了一种灵活和模块化的语言生成方法,允许创建根据用户特定需要量身定制的定制解决方案。

女王の专属领地 2万+

Linux平台CCS安装配置完整示例

手把手讲解在Linux系统中完成CCS安装与环境配置的全过程,涵盖关键步骤与常见问题解决,是查找ccs安装教程时不可多得的实战指南。

weixin_42601134的博客 514

AI 大模型应用开发:LangChain 框架全解析—快速构建大模型应用

LangChain 作为大模型应用的构建框架,通过解决诸多开发中的问题,为大模型应用的开发提供了有效解决方案。它帮助开发者在语言模型领域实现了许多复杂操作,让构建现代、高效、安全的语言模型应用变得更加轻松。点亮“

2401_85325726的博客 1230

告别调参烦恼:用Simulink手把手实现自适应模糊PID温度控制(附模型下载)

本文详细介绍了如何使用Simulink实现自适应模糊PID温度控制,解决传统PID调参难题。通过模糊推理引擎动态调整PID参数,系统能自动适应不同工况,显著提升控制精度和响应速度。文章包含完整的建模步骤、参数优化技巧和工业应用扩展,并附赠可下载模型,帮助工程师快速掌握这一智能控制技术。

weixin_30872499的博客 153

LangChain:大模型AI应用开发的强大引擎

LangChain大模型AI应用开发实践》是一本深度探索LangChain框架及其在构建高效AI应用中所扮演角色的权威教程。本书以实战为导向,系统介绍了从LangChain基础到高级应用的全过程,旨在帮助开发者迅速掌握这一强大的工具,解锁人工智能开发的新维度。本书内容围绕LangChain快速入门、Chain结构构建、大模型接入与优化、提示词工程、高级输出解析技术、数据检索增强(RAG)、知识库处理、智能体(agent)开发及其能力拓展等多个层面展开。

程序边界 7283

Unity3d实现的十字路口的模拟(一)

最近学习了Unity3d这个游戏引擎,感觉真的是非常的强大,正好赶上操作系统课程要做一个模拟信号量的模拟程序,于是打算做一个模拟十字路口的程序,大致的实现要实现的成果是:存在四种不同的汽车,包括一辆警车(不受交通信号灯的控制)随机产生在不同的路口,并且有不同的行动路线如:直走,左转,右转等,当然还有交通信号灯来控制车辆的有序运行。可以展示不同的视角来观察路口的情况(利用Q,W,E,R分别控制不同的

永远在身边的专栏 7489

S参数反演法

等效介质理论模型— 利用S参数反演法提取超材料结构的等效参数 等效介质理论模型—利用S参数反演法提取超材料结构的等效参数 S参数反演法,即利用等效模型的传输矩阵和S参数求解超材料结构的等效折射率n和等效阻抗Z的过程。本文对等效介质理论模型进行了详细介绍,并提供对应代码。 超材料的传输矩阵 超材料结构的传输矩阵函数为: 其中,d 为等效光学活性材料的厚度,n 为折射率,Z 表示阻抗。 S参数和传输矩阵T 超材料结构的S参数和传输矩阵T满足下列方程: 利用以上两式,可以得到等效折射率n和相对阻抗的表达式

weixin_43962864的博客 1万+

【AI 大模型】LangChain 框架 ① ( LangChain 简介 | LangChain 模块 | LangChain 文档 )

一、LangChain 简介 1、LangChain 概念 2、LangChain 定位 3、LangChain 开发语言与应用场景 4、LangChain 核心组件 5、LangChain 学习路径 二、LangChain 模块 1、模型输入 / 输出 ( Models ) 2、提示词模板 ( Prompts ) 3、索引 ( Indexes ) 4、链 ( Chains ) 5、记忆 ( Memory ) 6、代理 ( Agents ) 7、 工具 ( Tools ) 8、 文档加载器 ( Docume

让 学习 成为一种 习惯 ( 韩曙亮 の 技术博客 ) 1万+

pi-star图形界面安装指南

pi-star图形界面安装指南,MMDVM热点安装,树莓派3B+热点

blueisman的专栏 1909

【粉丝福利社】LangChain大模型AI应用开发实践/人工智能前沿实践丛书

在人工智能的前沿领域,LangChain作为一个创新的开源框架,正定义着大型语言模型 (large language model,LLM) 应用的未来。随着技术的快速发展,开发者面临着如何高效构建、部署及优化基于LLM 的应用程序的挑战。为了帮助开发者应对这些挑战,本书将深入探讨LangChain, 从快速入门到高级应用,全面覆盖LangChain的核心概念和实际操作。LangChain不仅仅是一个开源框架,也是一扇通往创新世界的大门,为渴望在人工智能 领域探索的开发者提供了必要的工具和指南。

愚公智库 14万+

小程序 video 控制器外观调整_Kessil 360X Tuna Sun无线控制器使用分享

之前分享了Kessil 360X Tuna Sun开箱记录,时间关系,没来得及使用WiFi Dongle无线控制器。昨晚抽空实操了一下,做个操作记录,希望对大家有参考Kessil无线模块操作指南官方视频英文教程配中文字幕,非常详尽语速较快,重点位置可以暂停操作点击边框调出视频工具条1、拆包取控制器,保存二维码Kessil WiFi Dongle包装打开包装就能看到Kessil无线控制模...

weixin_39759060的博客 4733

Mediatek NeuroPilot Yolov8量化

【代码】Mediatek NeuroPilot Yolov8模型转化。

sdrgtywretyeruet的专栏 346

LangChain:大模型框架的深度解析与应用探索

在数字化的时代浪潮中,人工智能技术正以前所未有的速度蓬勃发展,而大模型作为其中的翘楚,以生成式对话技术逐渐成为推动行业乃至整个社会进步的核心力量。往近一点来说,在公司,不少产品都戴上了人工智能的帽子,各种高大上人工对话界面,作为一个已经工作8年的老程序员来说,一种压力感扑面而来,这使得我不得不去接受新的东西,在学习和使用Prompt、function-call和Rag后发现了一个对AI初学者极其友好的框架——Langchain,帮助我更好更快的使用大模型。

猫步轻移,以学求知。余于此方寸之地,如猫观鼠,细察技艺所得,思维所悟。灵思如猫之警觉,日积月累,终成智海; 2260

PyCharm配置SSH远程解释器第3步时弹框报错:com.google.gson.stream.MalformedJsonException: Expected value at l...如何解决?

🏆本文收录于 《全栈 Bug 调优(实战版)》 专栏。专栏聚焦真实项目中的各类疑难 Bug,从成因剖析 → 排查路径 → 解决方案 → 预防优化全链路拆解,形成一套可复用、可沉淀的实战知识体系。无论你是初入职场的开发者,还是负责复杂项目的资深工程师,都可以在这里构建一套属于自己的「问题诊断与性能调优」方法论,助你稳步进阶、放大技术价值 。

**My Coding Family** 1928

来了!10个构建Agent的大模型应用框架

的最大优势在于它与 Spring 生态系统的无缝集成。在此,我们将重点介绍10个具有代表性的Agent应用构建框架,并对其他常见的框架进行简要概述,以期为大家提供一个相对全面的视角,了解这一领域的现状和潜在趋势。它简化了创建业务友好型智能体的过程,使得快速理解GenAI的价值变得轻而易举,这为缩短产品上市时间和提供即开即用的定制选项提供了便利,尤其适合构建如营销智能体这样的轻量级智能体。它的多智能体协作能力、结构化的工作流设计、用户友好的界面、灵活的集成选项以及积极的社区支持,共同构成了其引人注目的特点。

我相信...... 2340

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

上一篇: 为什么都放弃了LangChain?
下一篇: 大家都在说的AI大模型微调到底是什么?最易懂的AI知识科普!为你解决对“微调”所有的疑问
我爱学大模型
博客等级 码龄3年 7883粉丝 687原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值