基于LoRA微调多模态大模型

NLP实践——VQA/Caption生成模型BLIP-2的应用介绍 本文介绍最新的图文生成模型BLIP-2,从下载安装到简单的应用。 阅读详情

随着,ChatGPT 迅速爆火,引发了大模型的时代变革。然而对于普通大众来说,进行大模型的预训练或者全量微调遥不可及。由此,催生了各种参数高效微调技术,让科研人员或者普通开发者有机会尝试微调大模型。

因此,该技术值得我们进行深入分析其背后的机理,之前分享了大模型参数高效微调技术原理综述的文章。下面给大家分享大模型参数高效微调技术实战系列文章,相关代码均放置在GitHub:llm-action。

本文为大模型参数高效微调技术实战的第七篇。本文将结合使用 LoRA 来训练用于图生文的blip2-opt-2.7b模型。

数据集和模型准备

数据集使用6名足球运动员的虚拟数据集,带有可用于微调任何图像描述模型的文字说明。数据集下载地址:https://huggingface.co/datasets/ybelkada/football-dataset

图片image.png

模型为利用 OPT-2.7B 训练的 BLIP-2 模型,其由三个模型组成,下面会详细介绍,模型下载地址:https://huggingface.co/Salesforce/blip2-opt-2.7b

BLIP-2 简介

BLIP-2 通过利用预训练的视觉模型和语言模型来提升多模态效果和降低训练成本,预训练的视觉模型能够提供高质量的视觉表征,预训练的语言模型则提供了强大的语言生成能力。如下图所示,由一个预训练的 Image Encoder,一个预训练的 Large Language Model 和一个可学习的 Q-Former 组成。

图片image.png

  • Image Encoder:负责从输入图片中提取视觉特征。

  • Large Language Model:负责文本生成。

  • Q-Former:负责弥合视觉和语言两种模态的差距,由Image Transformer和Text Transformer两个子模块构成,它们共享相同自注意力层,如下图所示。

    • Image Transformer通过与图像编码器进行交互提取视觉特征,它的输入是可学习的 Query,这些Query通过自注意力层相互交互,并通过交叉注意力层与冻结的图像特征交互,还可以通过共享的自注意力层与文本进行交互。
    • Text Transformer作为文本编码器和解码器,它的自注意力层与Image Transformer共享,根据预训练任务,应用不同的自注意力掩码来控制Query和文本的交互方式。

图片image.png

为了减少计算成本并避免灾难性遗忘的问题,BLIP-2 在预训练时冻结预训练图像模型和语言模型,但是,简单地冻结预训练模型参数会导致视觉特征和文本特征难以对齐,为此BLIP-2提出两阶段预训练 Q-Former 来弥补模态差距:表示学习阶段和生成学习阶段。

表示学习阶段

在表示学习阶段,将 Q-Former 连接到冻结的 Image Encoder,训练集为图像-文本对,通过联合优化三个预训练目标,在Query和Text之间分别采用不同的注意力掩码策略,从而控制Image Transformer和Text Transformer的交互方式。

生成学习阶段

在生成预训练阶段,将 Q-Former连接到冻结的 LLM,以利用 LLM 的语言生成能力。这里使用全连接层将输出的 Query 嵌入线性投影到与 LLM 的文本嵌入相同的维度,然后,将投影的Query嵌入添加到输入文本嵌入前面。由于 Q-Former 已经过预训练,可以提取包含语言信息的视觉表示,因此它,可以有效地充当信息瓶颈,将最有用的信息提供给 LLM,同时删除不相关的视觉信息,减轻了 LLM 学习视觉语言对齐的负担。

图片image.png

该模型可用于如下的任务:图像描述生成、视觉问答任务、通过将图像和之前的对话作为提示提供给模型来进行类似聊天的对话。

先预先准备Processor、模型和图像输入。

from PIL import Image
import requests
from transformers import Blip2Processor, Blip2ForConditionalGeneration
import torch

device = "cuda" if torch.cuda.is_available() else "cpu"

processor = Blip2Processor.from_pretrained("Salesforce/blip2-opt-2.7b")
model = Blip2ForConditionalGeneration.from_pretrained(    
    "Salesforce/blip2-opt-2.7b", load_in_8bit=True, device_map={"": 0}, torch_dtype=torch.float16
)  # doctest: +IGNORE_RESULT

url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)

对于图像描述生成任务示例如下:

inputs = processor(images=image, return_tensors="pt").to(device, torch.float16)

generated_ids = model.generate(**inputs)
generated_text = processor.batch_decode(generated_ids, skip_special_tokens=True)[0].strip()
print(generated_text)

# two cats laying on a couch

对于视觉问答任务(VQA)示例如下:

prompt = "Question: how many cats are there? Answer:"
inputs = processor(images=image, text=prompt, return_tensors="pt").to(device="cuda", dtype=torch.float16)

generated_ids = model.generate(**inputs)
generated_text = processor.batch_decode(generated_ids, skip_special_tokens=True)[0].strip()
print(generated_text)
# two

LoRA 简介

LoRA方法的核心思想就是通过低秩分解来模拟参数的改变量,从而以极小的参数量来实现大模型的间接训练。

模型微调

为了不影响阅读体验,详细的微调代码放置在GitHub:llm-action 项目中 blip2_lora_int8_fine_tune.py文件,这里仅列出关键步骤。

第一步,加载预训练Blip-2模型以及processor。

在这里插入图片描述

第二步,创建 LoRA 微调方法对应的配置;同时,通过调用 get_peft_model 方法包装基础的 Transformer 模型。

在这里插入图片描述

第三步,进行模型微调。

在这里插入图片描述

最后,保存训练的Adapter模型权重及配置文件。

model.save_pretrained(peft_model_id)

模型推理

为了不影响阅读体验,详细的代码放置在GitHub:llm-action 项目中blip2_lora_inference.py文件。直接运行CUDA_VISIBLE_DEVICES=0 python blip2_lora_inference.py即可完成图生文。

结语

本文介绍了基于LoRA微调BLIP-2多模态大模型。码字不易,如果觉得我的文章能够能够给您带来帮助,期待您的点赞收藏加关注~~

​

如何学习AI大模型?

作为一名热心肠的互联网老兵,我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

一、全套AGI大模型学习路线

AI大模型时代的学习之旅:从基础到前沿,掌握人工智能的核心技能!

img

二、640套AI大模型报告合集

这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。

img

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展,AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型,如GPT-3、BERT、XLNet等,以其强大的语言理解和生成能力,正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

img

四、AI大模型商业化落地方案

img

作为普通人,入局大模型时代需要持续学习和实践,不断提高自己的技能和认知水平,同时也需要有责任感和伦理意识,为人工智能的健康发展贡献力量。

BLIP-2 官方库学习 BLIP-2通过在冻结的预训练图像编码器和大型语言模型(LLM)之间训练一个轻量级的12层Transformer编码器,利用它们,在各种视觉语言任务中实现最先进的性能。最值得注意的是,BLIP-2在可训练参数减少54倍的零样本VQAv2上比Flamingo(800亿参数模型)提高了8.7%。本文提出了 BLIP-2,这是一种通用且高效的预训练策略,可从现成的冻结预训练图像编码器和冻结大型语言模型 引导视觉语言预训练【hidden_size(int,可选,默认为1408)——编码器层和池器层的维度。 阅读详情

相关推荐

LlamaFactory大模型微调实战:从LoRA原理到多模态应用部署

大语言模型微调是让预训练模型适应特定任务的关键技术,其核心原理是通过参数高效微调方法在有限计算资源下实现模型定制化。LoRA(Low-Rank Adaptation)作为当前最流行的微调技术,通过低秩矩阵分解显著降低训练成本,而QLoRA进一步结合量化技术将显存需求压缩至消费级GPU可承受范围。这些技术的工程价值在于让中小团队也能基于开源大模型构建专业领域解决方案,广泛应用于智能问答、代码生成、多模态理解等场景。LlamaFactory作为集成100+模型支持的统一微调框架,通过零代码Web UI和CLI工

weixin_29061425的博客 276

Dify AI智能体实战:MCP+RAG+DeepSeek+通义千问

一、课程优势本课程有陈敬雷老师的清华大学出版社配套新书教材《GPT多模态大模型与AI Agent智能体》(跟我一起学人工智能)。新书配合此实战课程结合学习,一静一动,互补高效学习!本课程由互联网一线知名大牛陈敬雷老师全程亲自授课,技术前沿热门,是真正的互联网工业级实战项目。二、课程简介        GPT-5多模态大模型、MCP、AI Agent智能体、DeepSeek、Dify、扣子Coze、RAG、Sora……这些不断刷屏的前沿技术正持续引爆AI领域,掀起一轮又一轮创新浪潮。你是否也渴望穿透技术表象,直抵核心本质?是否想系统梳理发展脉络,不再被碎片化信息裹挟?          在 Dify AI 智能体平台实操浪潮里,MCP、RAG 知识库集成、DeepSeek 模型调用、通义千问交互设计等 AI 应用操作,正重塑业务落地场景。想穿透平台技术表象,直抵 Dify 智能体开发、多模型融合核心?想摆脱碎片化摸索,系统掌握从 0 到 1 落地 AI 应用的实操路径?这门 Dify AI 智能体平台实战课专为你打造!从基础组件逻辑到多模型协同部署,从 RAG 与大模型结合到行业场景落地,深度拆解 Dify 平台实操体系,教你用 Dify 融合多技术把 AI 创意变成真实生产力,在智能应用浪潮里精准卡位、高效实操!课程核心亮点:从根源到前沿,锻造硬核 AI 技能课程模块详解:体系化学习,收获明确第一章:AI Agent智能体、Dify平台、工作流开发等操作实践1.Dify平台基础环境搭建-Docker和WSL安装操作实践本课程聚焦Dify/Coze平台基础环境搭建,深入讲解 Docker 与 WSL 安装实操。从 Windows 系统下以管理员身份运行命令行安装 WSL,开启 Hyper-V 功能,到官网下载安装 Docker Desktop,并巧妙配置镜像源提升下载速度,每一步都有详细演示与指导。同时,课程会给出下载 Dify 并启动的具体步骤,帮助你快速搭建起 Dify 运行所需的基础环境,为后续深入探索 Dify 平台强大功能筑牢根基,无论是编程新手还是 AI 爱好者,都能轻松上手 。2.最新Dify源码平台安装实操和核心架构全流程拆解 本课程围绕最新 Dify 源码平台展开,为你呈上全面的安装实操与核心架构拆解。从前期环境准备,像不同系统下 Docker、Docker Compose 及 Git 的安装配置,到一步步克隆 Dify 代码,启动中间件服务,再到细致地配置并运行后端 API 服务与前端 Web 服务,每一个安装环节都有详细步骤演示与深度讲解,助你顺利搭建 Dify 平台。在核心架构拆解部分,课程深入剖析 Dify 的六大功能层。从负责任务调度与逻辑处理的核心业务层,到提供交互界面的交互与展示层;从承担数据存储与缓存功能的数据存储与缓存层,到赋予平台 AI 能力的 AI 能力层;还有保障网络安全与请求转发的网络与安全层,以及用于隔离测试的隔离与测试层,帮你透彻理解各层容器的作用及协同工作机制。无论你是想基于 Dify 开发 AI 应用的开发者,还是对其架构原理感兴趣的技术爱好者,本课程都能让你收获满满,为后续深入应用 Dify 平台奠定坚实基础 。3.Dify集成DeepSeek和阿里通义千问等大模型底座插件安装想拓展 Dify 平台的大模型能力吗?本课程聚焦 Dify 集成 DeepSeek、阿里通义千问等大模型底座插件的安装实操。从前期准备,如获取对应模型 API Key、检查 Dify 市场插件可用性,到安装环节,细致演示在 Dify 市场中精准定位并下载 DeepSeek、通义千问插件(规避版本报错问题),再到关键的配置阶段,指导你在 Dify 系统内正确填入 API Key,开启所需模型开关。同时,深入剖析不同插件与 Dify 现有架构的融合逻辑,助你理解安装后如何让新模型在 Dify 平台上稳定运行、高效协作,轻松为 Dify 增添多元大模型支持,拓展应用开发边界 。4.Dify平台 - 配置Agent策略及MCP插件在Dify平台强大的生态体系中,合理配置Agent策略与安装MCP插件,能极大拓展其功能边界,为AI应用开发带来更多可能。本课程将深入聚焦这两大关键板块,助力开发者全面掌握相关实操技能。课程开篇,会为你详细阐释Agent策略的核心概念与在Dify平台中的关键作用。通过直观的演示,你将学习如何在Dify的Chatflow/Workflow编辑器内,精准拖拽Agent节点至画布,并深入理解Function Calling和ReAct等内置策略的差异,依据不同业务场景做出选择。例如,在处理明确的任务需求时,Function Calling可快速调用外部函数,实现高效响应;而ReAct策略则适用于需要多步推理、交替思考与行动的复杂场景。同时,课程会细致讲解如何在节点配置面板中,针对所选策略,合理设置驱动大语言模型、添加并配置可调用工具、填写API密钥授权、定义任务目标与上下文,以及设定执行步数等关键参数,确保Agent能精准执行任务。5.Dify平台整体功能操作实践  全面解锁Dify平台功能!从平台基础操作界面认知,到项目创建、智能体配置、工作流编排,再到功能联调与部署,完整演示Dify平台各模块实操流程。帮你快速上手这款工具,利用平台能力高效搭建AI应用,降低开发门槛。  6.Dify平台知识库管理模块操作实践  专注Dify平台知识库管理!详解知识库创建、文档上传、知识分类、检索优化等操作。教你如何构建高质量知识库,让AI智能体精准调用知识,解决业务问答、内容推荐等场景需求,掌握知识驱动AI应用的核心技能。  7.智能客服知识问答助手AI智能体开发操作实践  围绕智能客服场景,专攻知识问答助手AI智能体开发。从需求梳理、知识体系构建,到智能体对话逻辑设计、多轮问答优化,结合实际客服案例实操。教你打造能精准答疑、高效服务的智能客服助手,提升业务接待效率与用户体验。  8.大模型预测AI智能体应用落地工作流开发操作实践  聚焦大模型预测场景,拆解AI智能体应用落地工作流开发全流程。从需求分析到功能实现,手把手教你借助大模型能力,搭建高效预测工作流,掌握智能体在实际业务中落地的关键操作,让模型预测从理论走向可执行的应用方案。  9.从0到1实操:AI智能体工作流开发操作实践  专为0基础或想系统搭建AI智能体工作流的学习者设计。从基础概念破冰,逐步讲解工作流设计逻辑、开发步骤、调试优化,全程实操演示,带你走完“从无到有”开发AI智能体工作流的完整路径,快速具备独立开发简单工作流的能力。  10.预测类AI算法模型训练和预测API代码开发实践  深入预测类AI算法核心,涵盖模型训练全流程(数据预处理、算法选型、训练调优 ),并重点讲解预测API代码开发。通过真实案例实操,教你用代码实现算法模型落地,让训练好的模型能通过API对外提供预测服务,打通算法到应用的关键环节。  11.多模态大模型AI智能体工作流开发实践  拥抱多模态趋势,聚焦多模态大模型驱动的AI智能体工作流开发。涵盖图像、文本、语音等多模态数据处理,讲解工作流中多模态任务串联、交互逻辑设计,通过案例实操,让你掌握开发能处理复杂多模态场景的智能体工作流技能 。第二章: MCP(大模型上下文协议)代码开发实践12.MCP Server开发实践 - 服务器发送事件(SSE)代码开发实践服务器发送事件(SSE)是MCP(Model Context Protocol)协议实现实时数据交互的核心技术,也是打通Dify平台与外部数据源的关键桥梁。本课程聚焦MCP Server中SSE的开发实践,从基础原理到代码落地,带开发者掌握实时数据推送的核心技能。课程先解析SSE的工作机制:如何通过HTTP长连接实现服务器向客户端(如Dify的Agent)单向持续推送数据,对比WebSocket理解其轻量性与适用场景(如实时日志、增量数据返回)。随后,结合MCP协议规范,详解SSE在MCP Server中的角色——如何将外部数据源(数据库查询结果、API响应、实时监控数据)以事件流形式实时反馈给Dify,支撑Agent的动态决策。13.MCP Server开发实践 - 可流式传输的HTTP(StreamableHttp)代码开发实践可流式传输的HTTP(StreamableHttp)是MCP协议中实现高效数据交互的核心技术,为Dify平台与外部服务的动态通信提供了灵活支撑。本课程聚焦StreamableHttp在MCP Server中的开发实践,帮助开发者掌握流式数据传输的实现逻辑与落地技能。14.MCP Client代码开发实践和Cherry Studio、Dify平台集成MCP 课程简介MCP(Model Context Protocol)客户端是连接AI应用平台与MCP服务器的关键接口,本课程聚焦MCP Client的开发实践及其在Cherry Studio、Dify两大平台的集成落地,帮助开发者打通“客户端-服务器-应用平台”的全链路数据交互。第三章:DeepSeek大模型企业应用落地实践15. Ollama 框架详解:本地部署 DeepSeek 大模型实战指南核心内容:深度剖析 Ollama 框架,从安装到配置,一步步教你在本地部署 DeepSeek 大模型,涵盖模型下载、运行及管理等实操环节。学习受益:掌握 Ollama 框架运用,能独立在本地部署 DeepSeek 大模型,降低模型使用成本,保障数据隐私,提升自然语言处理效率。16. Ollama 安装与 DeepSeek 大模型部署全流程操作实践核心内容:全面覆盖 Ollama 在不同系统的安装方法,以及 DeepSeek 大模型从选型到部署的完整流程,包含硬件适配、版本选择及部署后测试。学习受益:通过实践掌握 Ollama 与 DeepSeek 大模型部署技能,可依自身需求灵活搭建模型环境,为 AI 相关工作、学习筑牢基础。17. Open WebUI 全方位解析:自托管 AI 平台功能与应用核心内容:详细解读 Open WebUI 自托管 AI 平台,介绍其安装方式、多模型兼容特性、权限管理及丰富的功能模块,如 RAG 集成等。学习受益:学会运用 Open WebUI 搭建个性化 AI 平台,利用其丰富功能提升大模型交互体验,满足企业级或个人多样化 AI 应用需求 。18. 基于Unsloth的DeepSeek训练微调核心工具核心内容:基于 Unsloth 对 DeepSeek 模型,优化训练效率与内存占用,适配多场景部署,支持灵活导出与定制。    学员收益:掌握高效微调 DeepSeek 的方法,降低硬件门槛,提升模型落地能力,助力科研与企业应用。19. DeepSeek-R1训练微调代码实践核心内容:DeepSeek-R1高效训练微调,结合医学 COT思维链 数据集,实操 LoRA、量化压缩,实现专业领域推理大模型问答全流程。学员收益:快速掌握数据处理到部署全流程,攻克大模型微调痛点,获得医学垂类模型训练实战能力。然后举一反三,相同代码可以应用到其他行业。20. 吃透 DeepSeek-R1:模型文件全解析与实战指南    核心内容:解析架构与训练机制,详解 163 个分片文件及配置、分词器,含多领域实战案例。    学员收益:掌握模型原理与优化,提升实战能力,拓宽职业路,培养逻辑与创新思维。21. 本地运行DeepSeek-R1满血版大模型    核心内容:涵盖硬件配置(多高端 GPU 等)、环境部署、模型下载与调优,及推理测试全流程。    学员收益:掌握本地部署技能,实现隐私数据处理,降低依赖,提升大模型实战与优化能力。! 为什么选择这门课程?四大核心优势权威性与实用性兼具:作者陈敬雷深耕 AI 领域多年,课程内容基于《GPT 多模态大模型与 AI Agent 智能体》一书,结合京东图书配套视频,理论与实践深度结合。理论与实战紧密融合:每个知识点都配套代码实践,从原理理解到动手操作无缝衔接,避免 “纸上谈兵”,学完就能上手应用。内容全面且聚焦核心:覆盖大模型技术全链条关键内容,不冗余、不零散,直击技术核心,让学习更高效。紧跟 AI 应用落地浪潮:聚焦 Dify 平台核心操作,深耕 MCP 框架搭建、RAG 知识库集成、DeepSeek 与通义千问模型调用、多模型协同部署等实操热点,拆解平台最新功能与技术融合逻辑,确保所学直接对接 Dify 实操场景,贴合用多技术落地 AI 应用的行业需求。 三、老师介绍陈敬雷  充电了么创始人,CEO兼CTO陈敬雷,北京充电了么科技有限公司创始人,CEO兼CTO,十几年互联网从业经验,曾就职于用友网络、中软集团、凡客诚品、唯品会、猎聘、人民日报(灵思云途)、北京万朝科技,曾任架构师、首席技术官、首席科学家等职务,对业务领域B端、C端、电商、职场社交招聘、内容文娱、营销行业都有着丰富的经验,在技术领域,尤其在大数据和人工智能方向有丰富的算法工程落地实战经验,其中在猎聘任职期间主导的推荐算法系统项目获得公司优秀项目奖,推荐效果得到5倍的提升。此外,陈敬雷著有清华大学出版社四本人工智能书籍,分别是《分布式机器学习实战》《自然语言处理原理与实战》《GPT多模态大模型与AI Agent智能体》《DeepSeek大模型与具身智能实践》,颇受好评。同时陈敬雷还是知名大数据人工智能讲师,研发了上百门课程,总计有30万学员。四、《GPT多模态大模型与AI Agent智能体》书籍配套视频课程介绍:陈敬雷老师的京东自营书名标题: GPT多模态大模型与AI Agent智能体(跟我一起学人工智能)《GPT多模态大模型与AI Agent智能体》(跟我一起学人工智能)是一本2025年清华大学出版社出版的图书,作者是陈敬雷,本书深入探讨了GPT多模态大模型与AI Agent智能体的技术原理及其在企业中的应用落地。全书共8章,从大模型技术原理切入,逐步深入大模型训练及微调,还介绍了众多国内外主流大模型。LangChain技术、RAG检索增强生成、多模态大模型等均有深入讲解。对AI Agent智能体,从定义、原理到主流框架也都进行了深入讲解。在企业应用落地方面,本书提供了丰富的案例分析,如基于大模型的对话式推荐系统、多模态搜索、NL2SQL数据即席查询、智能客服对话机器人、多模态数字人,以及多模态具身智能等。这些案例不仅展示了大模型技术的实际应用,也为读者提供了宝贵的实践经验。本书适合对大模型、多模态技术及AI Agent感兴趣的读者阅读,也特别适合作为高等院校本科生和研究生的教材或参考书。书中内容丰富、系统,既有理论知识的深入讲解,也有大量的实践案例和代码示例,能够帮助学生在掌握理论知识的同时,培养实际操作能力和解决问题的能力。通过阅读本书,读者将能够更好地理解大模型技术的前沿发展,并将其应用于实际工作中,推动人工智能技术的进步和创新。五、配套书籍目录:第1章 大模型技术原理1.1 大模型技术的起源、思想1.2 基于Transformer的预训练语言模型1.2.1 编码预训练语言模型1.2.2 解码预训练语言模型1.2.3 基于编解码架构的预训练语言模型1.3 提示学习与指令微调1.3.1 提示学习1.3.2 指令微调1.4 人类反馈强化学习1.4.1 强化学习1.4.2 PPO算法1.4.3 大模型人类反馈强化学习对齐1.5 GPT智能涌现原理与AGI通用人工智能1.5.1 什么是智能涌现1.5.2 思维链1.5.3 上下文学习能力1.5.4 指令理解1.5.5 通用人工智能第2章 大模型训练及微调2.1 大模型训练概述2.2 分布式训练的并行策略2.2.1 数据并行2.2.2 模型并行2.2.3 混合并行2.2.4 并行计算框架2.3 预训练模型的压缩2.3.1 模型压缩方案概述2.3.2 结构化模型压缩策略2.3.3 非结构化模型压缩策略2.3.4 8位/4位量化压缩实战2.4 大模型微调方法2.4.1 Prefix Tuning微调2.4.2 P-Tuning V1微调2.4.3 P-Tuning V2微调2.4.4 LoRA微调2.4.5 QLoRA微调2.5 基于旋转位置编码RoPE的长文本理解2.5.1 RoPE技术原理2.5.2 RoPE关键特性第3章 主流大模型3.1 国内大模型3.1.1 智谱清言ChatGLM3.1.2 百川智能3.1.3 百度文心一言3.1.4 阿里巴巴通义千问3.1.5 腾讯混元3.1.6 华为盘古3.1.7 360智脑3.1.8 科大讯飞星火3.1.9 智源悟道大模型3.1.10 月之暗面Kimi3.1.11 复旦大学MOSS3.1.12 零一万物3.1.13 字节跳动豆包大模型3.2 国外大模型3.2.1 OpenAI GPT-4o3.2.2 Meta LLaMA3.2.3 Anthropic Claude3.2.4 谷歌Gemini和开源Gemma3.2.5 Mistral Large3.2.6 xAI Grok3.3 垂直类大模型3.3.1 HuatuoGPT3.3.2 BianQue3.3.3 BenTsao3.3.4 XrayGLM3.3.5 DoctorGLM3.3.6 ChatMed3.3.7 度小满轩辕3.3.8 BloombergGPT3.3.9 LawGPT3.3.10 LexiLaw3.3.11 Lawyer LLaMA3.3.12 ChatLaw3.3.13 ChatGLM-Math第4章 LangChain技术原理与实践4.1 LangChain技术原理4.2 LangChain六大核心模块4.2.1 模型I/O4.2.2 数据增强模块4.2.3 链模块4.2.4 记忆模块4.2.5 Agent模块4.2.6 回调处理器第5章 RAG检索增强生成5.1 RAG技术原理5.1.1 RAG的概念与应用5.1.2 RAG技术架构5.1.3 分块和向量化5.1.4 搜索索引5.1.5 重新排序和过滤5.1.6 查询转换与路由5.1.7 RAG中的Agent智能体5.1.8 响应合成器5.1.9 大模型微调和RAG优劣势对比5.2 文本向量模型5.2.1 Embedding模型、Reranker模型及ColBERT模型5.2.2 阿里巴巴GTE向量模型5.2.3 中文acge_text_embedding模型5.2.4 智源中英文语义向量模型BGE5.2.5 Moka开源文本嵌入模型M3E5.2.6 OpenAI的text-embedding模型5.3 向量数据库5.3.1 Faiss5.3.2 Milvus5.3.3 Pinecone5.3.4 Chroma5.4 RAG应用实践5.4.1 基于大模型构建企业私有数据的知识问答5.4.2 应对大模型落地挑战的优化策略第6章 多模态大模型6.1 多模态基础模型6.1.1 多模态对齐、融合和表示6.1.2 CLIP6.1.3 BLIP6.1.4 BLIP-26.1.5 InstructBLIP和X-InstructBLIP6.1.6 SAM6.1.7 OpenFlamingo6.1.8 VideoChat6.1.9 PaLM-E6.2 OpenAI多模态大模型DALL·E 3、GPT-4V、GPT-4o、Sora6.2.1 文生图多模态大模型DALL·E 36.2.2 GPT-4V6.2.3 端到端训练多模态大模型GPT-4o技术原理6.2.4 文生视频多模态大模型Sora6.3 通义千问多模态大模型6.3.1 开源Qwen-VL和Qwen-VL-Chat6.3.2 Qwen-VL-Plus和Qwen-VL-Max6.4 开源端到端训练多模态大模型LLaVA6.4.1 LLaVA6.4.2 LLaVA-1.56.4.3 LLaVA-1.66.4.4 MoE-LLaVA6.4.5 LLaVA-Plus6.4.6 Video-LLaVA和LLaVA-NeXT-Video6.5 零一万物多模态大模型Yi-VL系列6.5.1 Yi-VL系列模型架构6.5.2 Yi-VL系列模型训练微调及推理6.6 清华系多模态大模型6.6.1 VisualGLM-6B6.6.2 CogVLM26.6.3 CogAgent6.6.4 CogView、CogVideo和CogVideoX6.6.5 CogCoM6.6.6 GLM-4V-9B第7章 AI Agent智能体7.1 AI Agent智能体介绍和原理7.1.1 AI Agent的定义与角色7.1.2 AI Agent技术原理7.2 主流大模型Agent框架7.2.1 AutoGPT7.2.2 MetaGPT7.2.3 ChatDev7.2.4 AutoGen7.2.5 FastGPT7.2.6 XAgent7.2.7 GPT-Engineer7.2.8 BabyAGI7.2.9 SuperAGI第8章 大模型在企业应用中落地8.1 基于大模型的对话式推荐系统8.1.1 基于大模型的对话式推荐系统技术架构设计8.1.2 推荐AI Agent智能体8.1.3 面向推荐的语言表达模型8.1.4 知识插件8.1.5 基于大模型的推荐解释8.1.6 对话式推荐系统的新型评测方法8.2 多模态搜索8.2.1 多模态搜索技术架构设计8.2.2 多模态搜索关键技术8.2.3 多模态实时搜索与个性化推荐8.3 基于自然语言交互的NL2SQL数据即席查询8.3.1 NL2SQL数据即席查询技术原理8.3.2 NL2SQL应用实践8.4 基于大模型的智能客服对话机器人8.4.1 大模型智能客服对话机器人技术原理8.4.2 AI大模型赋能提升智能客服解决率新策略8.4.3 基于大模型的智能客服对话机器人系统搭建8.5 多模态数字人8.5.1 多模态数字人技术原理8.5.2 三维建模与三维重建8.5.3 数字人形象设计8.5.4 唇形同步算法8.5.5 NeRF、ER-NeRF与RAD-NeRF模型8.5.6 数字人项目实践8.6 多模态具身智能8.6.1 多模态具身智能概念及技术路线8.6.2 多模态感知与场景理解8.6.3 视觉导航8.6.4 世界模型8.6.5 具身智能模拟器8.6.6 多模态多感官交互具身智能大模型8.6.7 端到端强化学习人形机器人8.6.8 多模态通才具身智能体   

多模态大模型LLaVA的介绍、部署、推理及Lora微调

本文主要详细介绍了LLaVA模型的架构,并做了不同版本的对比。同时针对LLaVA-v1.6-Mistral-7B,做了模型的部署、推理以及Lora微调工作。最后,总结了此过程中可能遇到的常见错误,分析并给出了解决办法。

LFM3320829529的博客 3346

【转】如何快速方便地下载huggingface的模型库

【个人使用记录】完全参考。

weixin_50862344的博客 922

多模态大模型微调实战:从LLaSA项目看LoRA与QLoRA技术应用

多模态大模型通过整合文本、语音、图像等多种信息,旨在实现更接近人类的理解与交互能力。其核心原理在于利用预训练的基础模型,通过跨模态对齐技术,将不同模态的信息映射到统一的语义空间进行融合与推理。这种技术能显著提升模型在复杂场景下的感知与生成能力,具有极高的技术价值。在工程实践中,为了高效地让大模型适配特定任务,参数高效微调技术成为关键。其中,LoRA通过引入低秩适配器,仅训练少量参数即可达到接近全量微调的效果,而QLoRA进一步结合4-bit量化技术,大幅降低了显存需求,使得在消费级GPU上微调数十亿参数模型

weixin_30500473的博客 647

Qwen-VL多模态大模型LoRA微调实战:从原理到部署

大语言模型(LLM)的微调是将其适配到特定领域任务的关键技术。其核心原理是通过调整模型参数,使其在保留通用知识的同时,学习特定数据的分布。LoRA(Low-Rank Adaptation)作为一种高效的参数高效微调技术,通过引入低秩矩阵来近似全参数更新,在显著降低计算和存储开销的同时,保持了强大的模型适应能力。这一技术价值在于,它使得在有限算力资源下微调百亿参数级别的大模型成为可能,极大地降低了AI应用落地的门槛。在应用场景上,LoRA特别适合需要快速迭代、多任务适配的领域,例如智能客服、专业领域图像分析等

weixin_33212799的博客 234

多模态大模型LoRA微调全攻略!一文吃透核心原理+实战

在大规模预训练语言模型(如GPT-3)的下游任务适应中,如何高效减少可训练参数和计算资源消耗,同时避免现有方法(如Adapter或Prefix-tuning)的局限性(如推理延迟或序列长度限制),是一个关键问题。全量微调需要为每个任务存储与原模型相同规模的参数,导致高昂的存储和硬件成本。现有方法如Adapter引入额外推理延迟,而Prefix-tuning占用输入序列长度,限制任务处理能力。LoRA(Low-Rank Adaptation)通过冻结预训练模型权重,在Transformer的每一层注入可训练的

2401_85390073的博客 3063

基于LoRA的Qwen-VL多模态大模型高效微调实战指南

参数高效微调技术是解决大模型训练资源瓶颈的关键。其核心原理是在不改变预训练模型庞大原始参数的前提下,通过注入少量可训练的低秩适配器模块,实现模型能力的定向优化。这项技术的核心价值在于,它能以极低的计算和显存成本,让大模型快速适应特定垂直领域的任务,极大地降低了AI应用的门槛。在计算机视觉与自然语言处理结合的多模态应用场景中,例如视觉问答、图像描述生成和文档理解,参数高效微调技术能有效赋予模型理解特定领域视觉概念并生成专业回应的能力。本文以Qwen-VL模型和LoRA方法为例,详细阐述了如何利用消费级显卡,通

weixin_29056865的博客 269

大模型微调实战(七)-基于LoRA微调多模态大模型

BLIP-2通过利用预训练的视觉模型和语言模型来提升多模态效果和降低训练成本,预训练的视觉模型能够提供高质量的视觉表征,预训练的语言模型则提供了强大的语言生成能力。如下图所示,由一个预训练的,一个预训练的和一个可学习的Q-Former组成。:负责从输入图片中提取视觉特征。:负责文本生成。Q-Former:负责弥合视觉和语言两种模态的差距,由和两个子模块构成,它们共享相同自注意力层,如下图所示。

2401_85343303的博客 1734

blip2模型压缩文件

blip2模型压缩包,包括数据集下载链接,代码与运行脚本

易灵思FPGA实战:T35F324的PLL硬核配置全流程(附避坑指南)

本文详细解析了易灵思T35F324 FPGA中硬核PLL的配置全流程与核心避坑点。内容涵盖从架构理解、Interface Designer参数设置、VCO范围校验,到时钟网络冲突分析与动态重配置等实战环节,重点解决了引脚分配、资源约束和常见报错问题,为工程师提供了一套清晰可靠的配置指南。

u9v0w的博客 216

大模型微调实战-基于LoRA微调多模态大模型

BLIP-2通过利用预训练的视觉模型和语言模型来提升多模态效果和降低训练成本,预训练的视觉模型能够提供高质量的视觉表征,预训练的语言模型则提供了强大的语言生成能力。如下图所示,由一个预训练的,一个预训练的和一个可学习的Q-Former组成。image.png:负责从输入图片中提取视觉特征。:负责文本生成。Q-Former:负责弥合视觉和语言两种模态的差距,由和两个子模块构成,它们共享相同自注意力层,如下图所示。

xxue345678的博客 1941

C语言版数字锁相放大器实现指南:从复数运算到嵌入式MCU移植的坑我都帮你踩了

本文详细介绍了C语言实现数字锁相放大器的关键技术,包括复数运算优化、嵌入式MCU移植的实战经验及内存管理策略。针对STM32等资源受限平台,提供了从浮点到定点数转换的优化方案,帮助工程师高效处理微弱信号提取问题。

weixin_30721077的博客 433

【实战精讲】大模型微调系列(七):基于LoRA微调多模态大模型的详细步骤

BLIP-2通过利用预训练的视觉模型和语言模型来提升多模态效果和降低训练成本,预训练的视觉模型能够提供高质量的视觉表征,预训练的语言模型则提供了强大的语言生成能力。如下图所示,由一个预训练的,一个预训练的和一个可学习的Q-Former组成。:负责从输入图片中提取视觉特征。:负责文本生成。Q-Former:负责弥合视觉和语言两种模态的差距,由和两个子模块构成,它们共享相同自注意力层,如下图所示。

2401_85390073的博客 1452

Python控制tek示波器(1)

如何使用Python来控制tek示波器

m0_47441496的博客 3379

SAP HANA 的一个王炸技能,Smart Data Access

SAP HANA Cloud近期推出Knowledge Graph Engine(KGE),支持RDF三元组存储和SPARQL查询,与向量引擎等组件协同实现混合检索。同时文章介绍了HANA的Smart Data Access(SDA)功能,它通过虚拟表技术实现跨系统联邦查询,支持30+种数据源(不包括PostgreSQL),适用于混合云场景。SDA通过谓词下推优化性能,典型应用包括冷热数据分层和跨系统报表分析。对于PostgreSQL连接需求,建议使用HANA的Smart Data Integration方

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 500

【多模态大模型视觉微调】LLama-Factory项目LORA微调训练全流程

LLaMA-Factory 是一个面向大语言模型(LLM)的高效训练与微调框架,专为简化 LLaMA 系列以及各类开源大模型的训练流程而设计。它以“开箱即用、灵活高效”为核心理念,提供从数据准备、参数高效微调(PEFT)、训练配置管理到模型部署的一站式解决方案。

sazass的博客 911

把 SNC 支持的通信链路一次讲透,SAP GUI、RFC、CPIC、SAProuter 到底谁在保护谁

摘要: SNC(Secure Network Communications)是SAP系统中用于保护特定通信链路的安全机制,主要应用于DIAG、RFC、CPIC等SAP协议,而非HTTP等互联网协议(后者由SSL/TLS处理)。其核心在于保护通信端点之间的逻辑链路,需在发起方和接收方同时配置SNC参数,包括SNC名称、保护等级(QoP)等。实际项目中,SNC的配置涉及多个层面,如SAP GUI到ABAP平台的登录链路、外部程序通过RFC/CPIC连接ABAP的认证、ABAP系统间的跨系统通信等。配置不当可能导

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 255

Qwen-VL图文多模态大模型LoRA微调指南

Qwen-VL 是阿里云研发的大规模视觉语言模型(Large Vision Language Model, LVLM)。Qwen-VL 可以以图像、文本、检测框作为输入,并以文本和检测框作为输出。Qwen-VL 系列模型的特点包括:多语言对话模型:天然支持英文、中文等多语言对话,端到端支持图片里中英双语的长文本识别;多图交错对话:支持多图输入和比较,指定图片问答,多图文学创作等;开放域目标定位:通过中文开放域语言表达进行检测框标注;本文基于此进行微调。

5630

SOME/IP协议详解「总目录」

SOME/IP系列文章总目录

雪云飞星的博客 2万+

cartographer运行错误集合

播放bag的时候错误 Check failed: sensor_to_tracking->translation().norm() < 1e-5 The IMU frame must be colocated with the tracking frame. Transforming linear acceleration into the tracking frame will otherwise be imprecise tracking frame不是imu的link 修改lua文件中的.

Studying…… 2036

LLama-Factory多模态大模型LoRA微调实战指南

LoRA(Low-Rank Adaptation)是一种高效的大模型微调技术,通过低秩矩阵分解显著降低训练资源消耗。其核心原理是在原始模型参数旁添加可训练的旁路矩阵,既能保留预训练知识,又能实现任务特定适配。这种技术在多模态场景尤为关键,比如视觉-语言联合任务需要处理图像和文本的复杂交互。LLama-Factory框架集成了LoRA等先进技术,提供从数据处理到模型部署的全流程解决方案,实测在金融OCR等场景可节省83%显存。针对电商商品识别、工业质检等视觉任务,合理配置lora_rank和target_mo

weixin_29038303的博客 333

【系统分析师】第6章-基础知识:企业信息化(核心总结)

企业信息化是数字化转型的核心,涵盖战略规划、技术应用和实施路径等方面。关键内容包括ERP、CRM、SCM等系统的定义与实施,以及数据仓库、商业智能等技术的应用。备考系统分析师需掌握信息化战略规划方法(如BSP、SDP)、系统建模工具,并能分析解决信息孤岛等问题。论文可围绕ERP实施、数据仓库应用等主题展开。企业信息化面临组织变革、技术选型等挑战,但能显著提升运营效率和竞争力。

数据知道的博客 6938

多模态大模型常用微调方法:LoRA 与 P-Tuning 原理解析

摘要: 多模态大模型(如LLaVA、Qwen2-VL)因全参数微调成本高,普遍采用参数高效微调(PEFT)方法。主流方案包括: LoRA:通过低秩矩阵分解(ΔW=BA)学习权重增量,冻结原参数,仅训练少量新增参数,在工业界广泛应用; P-Tuning:通过可训练Prompt向量编码任务知识(P-Tuning v2扩展为多层Deep Prompt),适用于轻量场景(如医疗影像)。 对比:LoRA修改权重矩阵,适合中大规模数据;P-Tuning仅调整输入Prompt,参数更少但表达能力较弱。当前多模态领域以Lo

m0_60827485的博客 253

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

多模态大模型LoRA微调实战:从零构建企业级图文检索系统

本文深入探讨了多模态大模型微调技术在企业级跨模态检索系统中的实践应用。通过LoRA适配方案,实现了CLIP模型的高效微调,构建了支持亿级图片毫秒级检索的系统。文章详细解析了双塔独立LoRA架构、TripletLoss梯度策略、难负样本动态挖掘等核心技术,在Product10M数据集上Recall@1达0.891,显存占用降低73%。同时提供了TensorRT+ONNX推理优化方案和FAISS向量检索引擎实现,在电商场景中搜索转化率提升至4.7%,服务器成本减少60%。

qq_74383080的博客 1213

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

上一篇: 大模型Prompt系列高效微调
下一篇: 马斯克怒斥苹果接入ChatGPT:真敢集成就在全公司禁用
爱喝白开水a
博客等级 码龄3年 6793粉丝 763原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值