基于dify平台的智能光伏规划Agent

一、作品拟解决的工程问题

1、该作品聚焦光伏发电系统规划设计领域的痛点,主要解决四类工程问题:

数据壁垒严重:气象数据分散于气象局、卫星平台及商业 API,地理数据涉及高程图、土地利用类型等多源异构数据集,人工整合耗时费力且易遗漏关键信息。

设计精度不足:依赖经验公式或简化模型进行发电量估算,未充分考虑光谱散射、组件温度系数等动态影响因素,导致方案与实际情况偏差达 15%-20%。

经济评估粗放:缺乏对不同品牌设备全生命周期成本的精细化对比,忽视运维成本、电网接入费用等隐性支出,投资决策存在盲目性。

方案适应性差:方案一旦生成难以根据实时气象变化或政策调整(如补贴退坡)进行动态优化,系统韧性不足。

2、解决工程问题应用的工程要素

(一)技术性要素

数据融合技术:通过调用气象 API、对接地理数据库、内置设备数据库及集成电网政策接口,实现多源数据实时调取与整合,打破数据壁垒。

混合建模架构:结合物理模型(如光伏转换效率公式)与数据驱动模型(机器学习挖掘历史数据),提升发电量预测精度,降低方案偏差。

自适应优化引擎:支持方案根据气象变化、政策调整动态迭代,增强系统适应性。

全生命周期成本分析模型:纳入设备采购、运维、电网接入等隐性成本,实现精细化经济评估,辅助科学决策。

(二)非技术性要素

政策适配机制:建立政策知识库,动态跟踪全国及各省市光伏补贴政策,确保方案符合最新政策导向。

用户交互设计:通过智能交互引导功能,简化用户操作流程,使非专业用户(如小微企业、偏远地区用户)也能高效使用系统。

本地部署支持:将系统封装为 Windows.exe 应用,适配封闭网络环境,满足政府机关、

二、作品概况

一)作品目标

本作品旨在通过传统发电技术与大模型的深度融合,突破传统光伏设计的瓶颈,基于 DIFY 平台的低代码特性,构建融合气象预测、地理信息处理、电力电子仿真的数字化孪生引擎,将传统光伏设计的 “经验主导” 模式升级为 “数据挖掘 + 机理模型” 双轮驱动模式。通过挖掘海量历史项目数据,建立从环境参数到系统输出的非线性映射关系,形成可自适应进化的光伏方案设计智能体,为分布式能源系统的规模化应用提供关键技术支撑,契合电气工程领域 “智能化 + 绿色化” 的发展趋势。

二)设计实施方案

整体架构设计采用 “多 Agent 协同 + 工作流引导” 的三层架构:

智能交互层:基于 DIFY 平台构建自然语言交互界面,支持文本、图片、PDF 等多模态输入,实现用户需求的自动解析与规划流程启动。

任务执行层:设计问题分类、政策法规、组件选型、电力计算等多个专责 Agent,通过问题分类与链式调用实现复杂任务协同处理,例如政策法规 Agent 负责查询地方补贴政策,电力计算 Agent 完成发电量与收益分析。

数据支撑层:整合本地结构化数据库(组件参数、设备型号)、向量检索知识库(政策文档、技术标准)及外部 API 接口(如 NREL PVWatts 气象数据),实现多源数据实时调取与融合。

分阶段开发流程如下:

阶段一:搭建基础系统,实现用户问题的结构化解析与多轮对话引导,基于 LLM 构建 Prompt 模板以理解非结构化需求。

阶段二:拆分功能模块,设计 Agent 协同逻辑,简单问题由 LLM 直接响应,复杂问题通过工作流调用子 Agent 补全参数与计算。

阶段三:建设知识库与数据接口,采用向量化存储组件参数与政策信息,接入 PVWatts API 与 Bcha 搜索工具提升实时性。

阶段四:拓展多模态能力,集成 Qwen2.5VL7BInstruct 模型实现屋顶照片识别、文档解析,提取面积与接线结构信息。

阶段五:实现接线图可视化与客户端封装,通过 Flowchart.fun 生成电气连接图,使用 Nativefier 工具封装为 Windows.exe 应用适配离线部署。

核心技术方案包括:

·混合建模:结合物理模型(光伏转换效率公式)与数据驱动模型,提升发电量预测精度。

·自适应优化:构建实时增量计算机制,支持方案根据气象变化、政策调整动态迭代。

  • 最终成果

1. 功能实现

智能交互引导:用户输入目标地区后,系统基于多轮对话逻辑自动触发需求挖掘流程,针对不同用户类型定制引导路径。例如,向居民用户重点询问屋顶结构(平屋顶 / 斜屋顶)、用电习惯等参数,向企业用户聚焦厂房承重、并网电压等级等专业信息。通过自然语言理解技术解析模糊表述(如 “大概 50 平方米”“想尽快回本”),并结合上下文记忆功能减少重复提问,非专业用户也能高效完成信息录入。

多源数据整合与知识库构建:构建 “三维度知识库体系”,包括:

·技术标准库:接入《光伏发电站设计规范》(GB 50797)等 12 项行业标准,将组件选型、布线距离等强制要求转化为系统校验规则,确保方案合规性;

·设备参数库:收录 500 + 组件型号的结构化数据(含功率、效率、温度系数等 28 项指标),通过爬虫技术定期同步厂商官网更新,支持按品牌、功率段等多维度筛选;

·政策法规库:整合全国及 31 省市光伏补贴政策、并网流程等文件,采用向量检索技术实现 “政策条款 - 项目场景” 智能匹配(如 “浙江户用光伏” 自动关联地方度电补贴标准)。

同时对接 NREL PVWatts 气象 API 与地理信息数据库,实时获取辐照度、地形坡度等动态数据,通过数据清洗工具统一格式,实现多源信息的无缝融合。

动态方案生成主要基于 “数据驱动 + 机理模型” 双引擎输出方案,包括:

·发电量预测:结合物理模型(光伏转换效率公式)与 数据驱动模型,考虑光谱散射、组件老化等因素,月度预测误差极小;

·布局优化:通过阴影长度计算(D=H/tanθ_sun)优化组件间距,降低遮挡损失;

·经济性分析:纳入设备采购、运维、电网接入等全生命周期成本,生成投资回收期等经济指标;

·文档输出:自动生成符合行业规范的接线图(Flowchart.fun 格式)与 Word 报告,包含标准条款引用与数据来源说明。

本地化部署的实现方式为:封装为 159MB 的 PV Planning Assistant.exe 应用,集成离线数据库(含典型气象年数据、基础标准条款),支持权限管理与操作日志记录,保障数据安全。

2. 技术亮点

语义检索升级:采用 FAISS 向量检索技术构建设备知识向量空间,组件选型语义匹配准确率较传统关键词检索提升 60%。例如,用户输入 “适合海边的组件” 时,系统可关联 “耐盐雾”等特性,避免漏选适配型号。

全流程自动化:从数据采集到报告生成实现端到端自动化,方案周期从传统 2-5 天压缩至 2 小时内,效率提升 90%。针对批量项目(如整县光伏开发)支持模板复用,可一键

生成多地点对比方案。

标准合规校验:内置标准条款自动校验模块,例如布线距离违反 GB 50797 要求时,系统实时提示并给出调整建议,设计错误率低于 2%。

多模态交互拓展:集成 Qwen2.5VL 多模态模型,支持用户上传屋顶照片、CAD 图纸等非结构化输入,通过图像识别提取尺寸、倾角等参数,信息采集效率提升 40%。

四、作品主要技术指标与参数(包括实验数据、实物照片等)

一、系统功能覆盖与响应能力

系统由5个核心Agent模块构成,包括资源评估、组件选型、接线图生成、经济分析与文档导出等模块,支持从用户输入到完整可研方案自动生成的全流程操作。基于 Dify 平台与多轮交互结构,系统平均完成一次完整任务的时间为 15~30秒,在校园实验服务器部署环境下可支持超100并发用户无明显延迟,具备良好的实时交互体验。

二、发电量预测精度与经济分析误差控制

系统接入 PVWatts API 查询实测光照数据,并结合组件温度修正、角度优化、遮挡损耗等机理模型进行修正。实验测试中,对比浙江、山东两地已建光伏项目,系统预测年发电量与实际运行值平均误差控制在 ±5%以内,显著优于仅使用经验公式的传统工具。经济分析模块引入地方电价、补贴机制与组件衰减模型,计算得出的投资回收期误差不超过±3%,满足实际工程初设需求。

  • 知识库与标准数据集接入能力

为提升系统智能化程度与专业可信度,本项目在智能光伏规划系统中构建了多源融合的知识库管理体系,集成了结构化元件信息库、政策法规数据库、行业标准文献集、图文混合内容库四大类数据资源,支持语义查询、规则匹配与上下文调用,赋能多智能体任务中的高质量知识支撑。

1、结构化元件数据库构建

内置超 480种光伏组件型号、130种主流逆变器型号,字段包含尺寸、功率、效率、价格、品牌、 MPPT 路数、容量、电压等级、并网方式等共计18个核心字段,支持模糊语义检索与条件筛选。数据库支持模糊检索、语义理解调用(如“能抗台风的组件”可匹配 IP65 等级产品),并在选型 Agent 中结合启发式规则与约束条件进行自动筛选。

2、地方政策与电价补贴知识库构建

接入 Bocha Search 引擎与手动汇编的电价政策知识库,覆盖全国各省市的补贴额度、上网电价机制、居民/工商业分布式政策异同。知识以表格与向量化文本方式并存,支持通过语义问答形式直接返回本地补贴条款,并用于经济性分析模块中的回报周期与收益模拟。

3、行业标准与规范文献集成

引入国家光伏标准文档摘要(如 GB/T 19964-2021《光伏发电站接入电力系统技术规定》、NB/T 32004、NB/T 32010等),并将其转化为段落向量,嵌入知识检索模块。系统可自动识别用户提问中的法规含义(如“BIPV 可否并网?”),并返回相应条款内容或解读。此外,标准库支持与模型对话交互,用户可上传标准文档或关键词提问,系统会返回条文解释或相关原文段落。

4、多模态图文知识融合

借助 Qwen2.5-VL 等多模态大模型接口,系统能够支持识别图纸、组件铭牌、配电原理图等非结构化信息,并将识别结果结构化存入知识库,供后续布线图生成与容量计算使用。未来,本系统将拓展建筑图、地形图与3D可视化数据的接入与融合。

5、知识库运行机制与更新策略

构建向量引擎:基于 FAISS 实现知识块的高效语义匹配,通过 Embedding 向量化 + 相似度检索来支持 RAG。

定期数据更新:组件/逆变器库每月更新,政策库支持人工+API双通道维护;

拥有完善接入机制:支持 markdown、PDF、docx 等多种格式文档导入,并具备知识块清洗、去重、聚类能力;

支持下文共享:所有知识可作为 Agent 间任务参数共享(如政策条款可参与经济计算模块调用)。

四、系统接口兼容性与扩展能力

系统支持调用多个外部数据源,具体如下:

·PVWatts API:用于全球太阳辐射数据获取;

·Bocha Web Search:用于地方光伏政策查询;

·自建设备数据库:支持结构化与向量化存储模式;

·多模态模型接口(如 Qwen2.5-VL):可识别上传图片中的屋顶结构或图纸文本。

、实物展示与实验截图

为提升系统展示性,我们对接线图(如下图1)、柱状图(如下图2)、用户界面(如下图3)、光伏方案报告文档(如下图4)进行可视化处理,部分截图如下所示:

图1 接线图自动生成

图2 柱状图自动生成

图3 用户界面


图4 光伏方案报告

一、课程优势本课程有陈敬雷老师的清华大学出版社配套新书教材《GPT多模态大模型与AI Agent智能体》(跟我一起学人工智能)。新书配合此实战课程结合学习,一静一动,互补高效学习!本课程由互联网一线知名大牛陈敬雷老师全程亲自授课,技术前沿热门,是真正的互联网工业级实战项目。二、课程简介        GPT-5多模态大模型、MCP、AI Agent智能体、DeepSeek、Dify、扣子Coze、RAG、Sora……这些不断刷屏的前沿技术正持续引爆AI领域,掀起一轮又一轮创新浪潮。你是否也渴望穿透技术表象,直抵核心本质?是否想系统梳理发展脉络,不再被碎片化信息裹挟?          在 Dify AI 智能平台实操浪潮里,MCP、RAG 知识库集成、DeepSeek 模型调用、通义千问交互设计等 AI 应用操作,正重塑业务落地场景。想穿透平台技术表象,直抵 Dify 智能体开发、多模型融合核心?想摆脱碎片化摸索,系统掌握从 0 到 1 落地 AI 应用的实操路径?这门 Dify AI 智能平台实战课专为你打造!从基础组件逻辑到多模型协同部署,从 RAG 与大模型结合到行业场景落地,深度拆解 Dify 平台实操体系,教你用 Dify 融合多技术把 AI 创意变成真实生产力,在智能应用浪潮里精准卡位、高效实操!课程核心亮点:从根源到前沿,锻造硬核 AI 技能课程模块详解:体系化学习,收获明确第一章:AI Agent智能体、Dify平台、工作流开发等操作实践1.Dify平台基础环境搭建-Docker和WSL安装操作实践本课程聚焦Dify/Coze平台基础环境搭建,深入讲解 Docker 与 WSL 安装实操。从 Windows 系统下以管理员身份运行命令行安装 WSL,开启 Hyper-V 功能,到官网下载安装 Docker Desktop,并巧妙配置镜像源提升下载速度,每一步都有详细演示与指导。同时,课程会给出下载 Dify 并启动的具体步骤,帮助你快速搭建起 Dify 运行所需的基础环境,为后续深入探索 Dify 平台强大功能筑牢根基,无论是编程新手还是 AI 爱好者,都能轻松上手 。2.最新Dify源码平台安装实操和核心架构全流程拆解 本课程围绕最新 Dify 源码平台展开,为你呈上全面的安装实操与核心架构拆解。从前期环境准备,像不同系统下 Docker、Docker Compose 及 Git 的安装配置,到一步步克隆 Dify 代码,启动中间件服务,再到细致地配置并运行后端 API 服务与前端 Web 服务,每一个安装环节都有详细步骤演示与深度讲解,助你顺利搭建 Dify 平台。在核心架构拆解部分,课程深入剖析 Dify 的六大功能层。从负责任务调度与逻辑处理的核心业务层,到提供交互界面的交互与展示层;从承担数据存储与缓存功能的数据存储与缓存层,到赋予平台 AI 能力的 AI 能力层;还有保障网络安全与请求转发的网络与安全层,以及用于隔离测试的隔离与测试层,帮你透彻理解各层容器的作用及协同工作机制。无论你是想基于 Dify 开发 AI 应用的开发者,还是对其架构原理感兴趣的技术爱好者,本课程都能让你收获满满,为后续深入应用 Dify 平台奠定坚实基础 。3.Dify集成DeepSeek和阿里通义千问等大模型底座插件安装想拓展 Dify 平台的大模型能力吗?本课程聚焦 Dify 集成 DeepSeek、阿里通义千问等大模型底座插件的安装实操。从前期准备,如获取对应模型 API Key、检查 Dify 市场插件可用性,到安装环节,细致演示在 Dify 市场中精准定位并下载 DeepSeek、通义千问插件(规避版本报错问题),再到关键的配置阶段,指导你在 Dify 系统内正确填入 API Key,开启所需模型开关。同时,深入剖析不同插件与 Dify 现有架构的融合逻辑,助你理解安装后如何让新模型在 Dify 平台上稳定运行、高效协作,轻松为 Dify 增添多元大模型支持,拓展应用开发边界 。4.Dify平台 - 配置Agent策略及MCP插件在Dify平台强大的生态体系中,合理配置Agent策略与安装MCP插件,能极大拓展其功能边界,为AI应用开发带来更多可能。本课程将深入聚焦这两大关键板块,助力开发者全面掌握相关实操技能。课程开篇,会为你详细阐释Agent策略的核心概念与在Dify平台中的关键作用。通过直观的演示,你将学习如何在Dify的Chatflow/Workflow编辑器内,精准拖拽Agent节点至画布,并深入理解Function Calling和ReAct等内置策略的差异,依据不同业务场景做出选择。例如,在处理明确的任务需求时,Function Calling可快速调用外部函数,实现高效响应;而ReAct策略则适用于需要多步推理、交替思考与行动的复杂场景。同时,课程会细致讲解如何在节点配置面板中,针对所选策略,合理设置驱动大语言模型、添加并配置可调用工具、填写API密钥授权、定义任务目标与上下文,以及设定执行步数等关键参数,确保Agent能精准执行任务。5.Dify平台整体功能操作实践  全面解锁Dify平台功能!从平台基础操作界面认知,到项目创建、智能体配置、工作流编排,再到功能联调与部署,完整演示Dify平台各模块实操流程。帮你快速上手这款工具,利用平台能力高效搭建AI应用,降低开发门槛。  6.Dify平台知识库管理模块操作实践  专注Dify平台知识库管理!详解知识库创建、文档上传、知识分类、检索优化等操作。教你如何构建高质量知识库,让AI智能体精准调用知识,解决业务问答、内容推荐等场景需求,掌握知识驱动AI应用的核心技能。  7.智能客服知识问答助手AI智能体开发操作实践  围绕智能客服场景,专攻知识问答助手AI智能体开发。从需求梳理、知识体系构建,到智能体对话逻辑设计、多轮问答优化,结合实际客服案例实操。教你打造能精准答疑、高效服务的智能客服助手,提升业务接待效率与用户体验。  8.大模型预测AI智能体应用落地工作流开发操作实践  聚焦大模型预测场景,拆解AI智能体应用落地工作流开发全流程。从需求分析到功能实现,手把手教你借助大模型能力,搭建高效预测工作流,掌握智能体在实际业务中落地的关键操作,让模型预测从理论走向可执行的应用方案。  9.从0到1实操:AI智能体工作流开发操作实践  专为0基础或想系统搭建AI智能体工作流的学习者设计。从基础概念破冰,逐步讲解工作流设计逻辑、开发步骤、调试优化,全程实操演示,带你走完“从无到有”开发AI智能体工作流的完整路径,快速具备独立开发简单工作流的能力。  10.预测类AI算法模型训练和预测API代码开发实践  深入预测类AI算法核心,涵盖模型训练全流程(数据预处理、算法选型、训练调优 ),并重点讲解预测API代码开发。通过真实案例实操,教你用代码实现算法模型落地,让训练好的模型能通过API对外提供预测服务,打通算法到应用的关键环节。  11.多模态大模型AI智能体工作流开发实践  拥抱多模态趋势,聚焦多模态大模型驱动的AI智能体工作流开发。涵盖图像、文本、语音等多模态数据处理,讲解工作流中多模态任务串联、交互逻辑设计,通过案例实操,让你掌握开发能处理复杂多模态场景的智能体工作流技能 。第二章: MCP(大模型上下文协议)代码开发实践12.MCP Server开发实践 - 服务器发送事件(SSE)代码开发实践服务器发送事件(SSE)是MCP(Model Context Protocol)协议实现实时数据交互的核心技术,也是打通Dify平台与外部数据源的关键桥梁。本课程聚焦MCP Server中SSE的开发实践,从基础原理到代码落地,带开发者掌握实时数据推送的核心技能。课程先解析SSE的工作机制:如何通过HTTP长连接实现服务器向客户端(如DifyAgent)单向持续推送数据,对比WebSocket理解其轻量性与适用场景(如实时日志、增量数据返回)。随后,结合MCP协议规范,详解SSE在MCP Server中的角色——如何将外部数据源(数据库查询结果、API响应、实时监控数据)以事件流形式实时反馈给Dify,支撑Agent的动态决策。13.MCP Server开发实践 - 可流式传输的HTTP(StreamableHttp)代码开发实践可流式传输的HTTP(StreamableHttp)是MCP协议中实现高效数据交互的核心技术,为Dify平台与外部服务的动态通信提供了灵活支撑。本课程聚焦StreamableHttp在MCP Server中的开发实践,帮助开发者掌握流式数据传输的实现逻辑与落地技能。14.MCP Client代码开发实践和Cherry Studio、Dify平台集成MCP 课程简介MCP(Model Context Protocol)客户端是连接AI应用平台与MCP服务器的关键接口,本课程聚焦MCP Client的开发实践及其在Cherry Studio、Dify两大平台的集成落地,帮助开发者打通“客户端-服务器-应用平台”的全链路数据交互。第三章:DeepSeek大模型企业应用落地实践15. Ollama 框架详解:本地部署 DeepSeek 大模型实战指南核心内容:深度剖析 Ollama 框架,从安装到配置,一步步教你在本地部署 DeepSeek 大模型,涵盖模型下载、运行及管理等实操环节。学习受益:掌握 Ollama 框架运用,能独立在本地部署 DeepSeek 大模型,降低模型使用成本,保障数据隐私,提升自然语言处理效率。16. Ollama 安装与 DeepSeek 大模型部署全流程操作实践核心内容:全面覆盖 Ollama 在不同系统的安装方法,以及 DeepSeek 大模型从选型到部署的完整流程,包含硬件适配、版本选择及部署后测试。学习受益:通过实践掌握 Ollama 与 DeepSeek 大模型部署技能,可依自身需求灵活搭建模型环境,为 AI 相关工作、学习筑牢基础。17. Open WebUI 全方位解析:自托管 AI 平台功能与应用核心内容:详细解读 Open WebUI 自托管 AI 平台,介绍其安装方式、多模型兼容特性、权限管理及丰富的功能模块,如 RAG 集成等。学习受益:学会运用 Open WebUI 搭建个性化 AI 平台,利用其丰富功能提升大模型交互体验,满足企业级或个人多样化 AI 应用需求 。18. 基于Unsloth的DeepSeek训练微调核心工具核心内容:基于 Unsloth 对 DeepSeek 模型,优化训练效率与内存占用,适配多场景部署,支持灵活导出与定制。    学员收益:掌握高效微调 DeepSeek 的方法,降低硬件门槛,提升模型落地能力,助力科研与企业应用。19. DeepSeek-R1训练微调代码实践核心内容:DeepSeek-R1高效训练微调,结合医学 COT思维链 数据集,实操 LoRA、量化压缩,实现专业领域推理大模型问答全流程。学员收益:快速掌握数据处理到部署全流程,攻克大模型微调痛点,获得医学垂类模型训练实战能力。然后举一反三,相同代码可以应用到其他行业。20. 吃透 DeepSeek-R1:模型文件全解析与实战指南    核心内容:解析架构与训练机制,详解 163 个分片文件及配置、分词器,含多领域实战案例。    学员收益:掌握模型原理与优化,提升实战能力,拓宽职业路,培养逻辑与创新思维。21. 本地运行DeepSeek-R1满血版大模型    核心内容:涵盖硬件配置(多高端 GPU 等)、环境部署、模型下载与调优,及推理测试全流程。    学员收益:掌握本地部署技能,实现隐私数据处理,降低依赖,提升大模型实战与优化能力。! 为什么选择这门课程?四大核心优势权威性与实用性兼具:作者陈敬雷深耕 AI 领域多年,课程内容基于《GPT 多模态大模型与 AI Agent 智能体》一书,结合京东图书配套视频,理论与实践深度结合。理论与实战紧密融合:每个知识点都配套代码实践,从原理理解到动手操作无缝衔接,避免 “纸上谈兵”,学完就能上手应用。内容全面且聚焦核心:覆盖大模型技术全链条关键内容,不冗余、不零散,直击技术核心,让学习更高效。紧跟 AI 应用落地浪潮:聚焦 Dify 平台核心操作,深耕 MCP 框架搭建、RAG 知识库集成、DeepSeek 与通义千问模型调用、多模型协同部署等实操热点,拆解平台最新功能与技术融合逻辑,确保所学直接对接 Dify 实操场景,贴合用多技术落地 AI 应用的行业需求。 三、老师介绍陈敬雷  充电了么创始人,CEO兼CTO陈敬雷,北京充电了么科技有限公司创始人,CEO兼CTO,十几年互联网从业经验,曾就职于用友网络、中软集团、凡客诚品、唯品会、猎聘、人民日报(灵思云途)、北京万朝科技,曾任架构师、首席技术官、首席科学家等职务,对业务领域B端、C端、电商、职场社交招聘、内容文娱、营销行业都有着丰富的经验,在技术领域,尤其在大数据和人工智能方向有丰富的算法工程落地实战经验,其中在猎聘任职期间主导的推荐算法系统项目获得公司优秀项目奖,推荐效果得到5倍的提升。此外,陈敬雷著有清华大学出版社四本人工智能书籍,分别是《分布式机器学习实战》《自然语言处理原理与实战》《GPT多模态大模型与AI Agent智能体》《DeepSeek大模型与具身智能实践》,颇受好评。同时陈敬雷还是知名大数据人工智能讲师,研发了上百门课程,总计有30万学员。四、《GPT多模态大模型与AI Agent智能体》书籍配套视频课程介绍:陈敬雷老师的京东自营书名标题: GPT多模态大模型与AI Agent智能体(跟我一起学人工智能)《GPT多模态大模型与AI Agent智能体》(跟我一起学人工智能)是一本2025年清华大学出版社出版的图书,作者是陈敬雷,本书深入探讨了GPT多模态大模型与AI Agent智能体的技术原理及其在企业中的应用落地。全书共8章,从大模型技术原理切入,逐步深入大模型训练及微调,还介绍了众多国内外主流大模型。LangChain技术、RAG检索增强生成、多模态大模型等均有深入讲解。对AI Agent智能体,从定义、原理到主流框架也都进行了深入讲解。在企业应用落地方面,本书提供了丰富的案例分析,如基于大模型的对话式推荐系统、多模态搜索、NL2SQL数据即席查询、智能客服对话机器人、多模态数字人,以及多模态具身智能等。这些案例不仅展示了大模型技术的实际应用,也为读者提供了宝贵的实践经验。本书适合对大模型、多模态技术及AI Agent感兴趣的读者阅读,也特别适合作为高等院校本科生和研究生的教材或参考书。书中内容丰富、系统,既有理论知识的深入讲解,也有大量的实践案例和代码示例,能够帮助学生在掌握理论知识的同时,培养实际操作能力和解决问题的能力。通过阅读本书,读者将能够更好地理解大模型技术的前沿发展,并将其应用于实际工作中,推动人工智能技术的进步和创新。五、配套书籍目录:第1章 大模型技术原理1.1 大模型技术的起源、思想1.2 基于Transformer的预训练语言模型1.2.1 编码预训练语言模型1.2.2 解码预训练语言模型1.2.3 基于编解码架构的预训练语言模型1.3 提示学习与指令微调1.3.1 提示学习1.3.2 指令微调1.4 人类反馈强化学习1.4.1 强化学习1.4.2 PPO算法1.4.3 大模型人类反馈强化学习对齐1.5 GPT智能涌现原理与AGI通用人工智能1.5.1 什么是智能涌现1.5.2 思维链1.5.3 上下文学习能力1.5.4 指令理解1.5.5 通用人工智能第2章 大模型训练及微调2.1 大模型训练概述2.2 分布式训练的并行策略2.2.1 数据并行2.2.2 模型并行2.2.3 混合并行2.2.4 并行计算框架2.3 预训练模型的压缩2.3.1 模型压缩方案概述2.3.2 结构化模型压缩策略2.3.3 非结构化模型压缩策略2.3.4 8位/4位量化压缩实战2.4 大模型微调方法2.4.1 Prefix Tuning微调2.4.2 P-Tuning V1微调2.4.3 P-Tuning V2微调2.4.4 LoRA微调2.4.5 QLoRA微调2.5 基于旋转位置编码RoPE的长文本理解2.5.1 RoPE技术原理2.5.2 RoPE关键特性第3章 主流大模型3.1 国内大模型3.1.1 智谱清言ChatGLM3.1.2 百川智能3.1.3 百度文心一言3.1.4 阿里巴巴通义千问3.1.5 腾讯混元3.1.6 华为盘古3.1.7 360智脑3.1.8 科大讯飞星火3.1.9 智源悟道大模型3.1.10 月之暗面Kimi3.1.11 复旦大学MOSS3.1.12 零一万物3.1.13 字节跳动豆包大模型3.2 国外大模型3.2.1 OpenAI GPT-4o3.2.2 Meta LLaMA3.2.3 Anthropic Claude3.2.4 谷歌Gemini和开源Gemma3.2.5 Mistral Large3.2.6 xAI Grok3.3 垂直类大模型3.3.1 HuatuoGPT3.3.2 BianQue3.3.3 BenTsao3.3.4 XrayGLM3.3.5 DoctorGLM3.3.6 ChatMed3.3.7 度小满轩辕3.3.8 BloombergGPT3.3.9 LawGPT3.3.10 LexiLaw3.3.11 Lawyer LLaMA3.3.12 ChatLaw3.3.13 ChatGLM-Math第4章 LangChain技术原理与实践4.1 LangChain技术原理4.2 LangChain六大核心模块4.2.1 模型I/O4.2.2 数据增强模块4.2.3 链模块4.2.4 记忆模块4.2.5 Agent模块4.2.6 回调处理器第5章 RAG检索增强生成5.1 RAG技术原理5.1.1 RAG的概念与应用5.1.2 RAG技术架构5.1.3 分块和向量化5.1.4 搜索索引5.1.5 重新排序和过滤5.1.6 查询转换与路由5.1.7 RAG中的Agent智能体5.1.8 响应合成器5.1.9 大模型微调和RAG优劣势对比5.2 文本向量模型5.2.1 Embedding模型、Reranker模型及ColBERT模型5.2.2 阿里巴巴GTE向量模型5.2.3 中文acge_text_embedding模型5.2.4 智源中英文语义向量模型BGE5.2.5 Moka开源文本嵌入模型M3E5.2.6 OpenAI的text-embedding模型5.3 向量数据库5.3.1 Faiss5.3.2 Milvus5.3.3 Pinecone5.3.4 Chroma5.4 RAG应用实践5.4.1 基于大模型构建企业私有数据的知识问答5.4.2 应对大模型落地挑战的优化策略第6章 多模态大模型6.1 多模态基础模型6.1.1 多模态对齐、融合和表示6.1.2 CLIP6.1.3 BLIP6.1.4 BLIP-26.1.5 InstructBLIP和X-InstructBLIP6.1.6 SAM6.1.7 OpenFlamingo6.1.8 VideoChat6.1.9 PaLM-E6.2 OpenAI多模态大模型DALL·E 3、GPT-4V、GPT-4o、Sora6.2.1 文生图多模态大模型DALL·E 36.2.2 GPT-4V6.2.3 端到端训练多模态大模型GPT-4o技术原理6.2.4 文生视频多模态大模型Sora6.3 通义千问多模态大模型6.3.1 开源Qwen-VL和Qwen-VL-Chat6.3.2 Qwen-VL-Plus和Qwen-VL-Max6.4 开源端到端训练多模态大模型LLaVA6.4.1 LLaVA6.4.2 LLaVA-1.56.4.3 LLaVA-1.66.4.4 MoE-LLaVA6.4.5 LLaVA-Plus6.4.6 Video-LLaVA和LLaVA-NeXT-Video6.5 零一万物多模态大模型Yi-VL系列6.5.1 Yi-VL系列模型架构6.5.2 Yi-VL系列模型训练微调及推理6.6 清华系多模态大模型6.6.1 VisualGLM-6B6.6.2 CogVLM26.6.3 CogAgent6.6.4 CogView、CogVideo和CogVideoX6.6.5 CogCoM6.6.6 GLM-4V-9B第7章 AI Agent智能体7.1 AI Agent智能体介绍和原理7.1.1 AI Agent的定义与角色7.1.2 AI Agent技术原理7.2 主流大模型Agent框架7.2.1 AutoGPT7.2.2 MetaGPT7.2.3 ChatDev7.2.4 AutoGen7.2.5 FastGPT7.2.6 XAgent7.2.7 GPT-Engineer7.2.8 BabyAGI7.2.9 SuperAGI第8章 大模型在企业应用中落地8.1 基于大模型的对话式推荐系统8.1.1 基于大模型的对话式推荐系统技术架构设计8.1.2 推荐AI Agent智能体8.1.3 面向推荐的语言表达模型8.1.4 知识插件8.1.5 基于大模型的推荐解释8.1.6 对话式推荐系统的新型评测方法8.2 多模态搜索8.2.1 多模态搜索技术架构设计8.2.2 多模态搜索关键技术8.2.3 多模态实时搜索与个性化推荐8.3 基于自然语言交互的NL2SQL数据即席查询8.3.1 NL2SQL数据即席查询技术原理8.3.2 NL2SQL应用实践8.4 基于大模型的智能客服对话机器人8.4.1 大模型智能客服对话机器人技术原理8.4.2 AI大模型赋能提升智能客服解决率新策略8.4.3 基于大模型的智能客服对话机器人系统搭建8.5 多模态数字人8.5.1 多模态数字人技术原理8.5.2 三维建模与三维重建8.5.3 数字人形象设计8.5.4 唇形同步算法8.5.5 NeRF、ER-NeRF与RAD-NeRF模型8.5.6 数字人项目实践8.6 多模态具身智能8.6.1 多模态具身智能概念及技术路线8.6.2 多模态感知与场景理解8.6.3 视觉导航8.6.4 世界模型8.6.5 具身智能模拟器8.6.6 多模态多感官交互具身智能大模型8.6.7 端到端强化学习人形机器人8.6.8 多模态通才具身智能体   
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值