推荐一个图片识别的llama3微调版本 清华面壁项目

原创 已于 2024-06-03 22:14:48 修改 · 1.3k 阅读 · 6 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#LLAMA

于 2024-06-03 22:13:52 首次发布

水一篇：

MiniCPM-V是面向图文理解的端侧多模态大模型系列。该系列模型接受图像和文本输入，并提供高质量的文本输出。自2024年2月以来，我们共发布了4个版本模型，旨在实现领先的性能和高效的部署，目前该系列最值得关注的模型包括：

  • MiniCPM-Llama3-V 2.5：🔥🔥🔥 MiniCPM-V系列的最新、性能最佳模型。总参数量8B，多模态综合性能超越 GPT-4V-1106、Gemini Pro、Claude 3、Qwen-VL-Max 等商用闭源模型，OCR 能力及指令跟随能力进一步提升，并支持超过30种语言的多模态交互。通过系统使用模型量化、CPU、NPU、编译优化等高效推理技术，MiniCPM-Llama3-V 2.5 可以实现高效的终端设备部署。

  • MiniCPM-V 2.0：MiniCPM-V系列的最轻量级模型。总参数量2B，多模态综合性能超越 Yi-VL 34B、CogVLM-Chat 17B、Qwen-VL-Chat 10B 等更大参数规模的模型，可接受 180 万像素的任意长宽比图像输入，实现了和 Gemini Pro 相近的场景文字识别能力以及和 GPT-4V 相匹的低幻觉率。

测试的DEMO： https://huggingface.co/spaces/openbmb/MiniCPM-Llama3-V-2_5

项目地址中文介绍：

最低0.47元/天 解锁文章

200万优质内容无限畅学
基于大模型的Text2SQL微调的实战教程(二)
herosunly的博客
04-23 21万+
本文主要介绍了基于大模型的Text2SQL微调的实战教程(二)，希望对学习大语言模型的同学们有所帮助。 文章目录 1. 前言 2. 配置环境 2.1 安装虚拟环境 2.2 安装依赖库 2.3 下载模型文件 3. 运行代码 3.1 数据预处理 3.2 修改配置文件 3.3 微调
Llama3-Tutorial之XTuner微调Llama3图片理解多模态
lldhsds的专栏
05-07 731
在训练好之后，我们将原始image projector和我们微调得到的image projector都转换为 HuggingFace 格式，为了下面的效果体验做准备。基于 Llama3-8B-Instruct 和 XTuner 团队预训练好的 Image Projector 微调自己的多模态图文理解模型 LLaVA。我们接下来准备 Llava 所需要的 openai/clip-vit-large-patch14-336，权重，即 Visual Encoder 权重。中的教程来准备微调数据。
一文实现Llama 3 图片理解能力微调（XTuner+LLaVA 版）
2301_80052071的博客
05-11 2875
—““DeepSpeed将当前时刻，训练模型用不到的参数，缓存到CPU中，等到要用到了，再从CPU挪到GPU。但随之的代价就是，更为频繁的CPU，GPU交互，极大增加了训练推理的时间开销”，这个说法不完全准确。这是因为相比GPU，CPU的内存通常更加充裕，而且CPU处理这些数据时虽然速度较慢，但在训练深度学习模型时，这部分计算通常不是性能瓶颈。相反，ZeRO技术通过分片（sharding）的方式，在多个GPU之间分散存储这些参数和状态，同时可能利用CPU内存来存储那些当前不需要直接参与计算的数据。
本地OCR+LLM智能解析：图片文字精准提取与排版还原
最新发布
Leon_Jinhai_Sun的博客
06-09 1203
你可以根据自己的需求选择组合方案。如果需要更详细的部署教程（如Donut+PaddleOCR+Ollama的Pipeline），可以告诉我，我可以提供完整代码示例！平台，支持本地运行并通过API调用。Ollama 主要支持。这些模型适合通用文本生成、问答和代码生成，可以在。等架构的模型，但也有一些。
Llama3小白自学路（三、llama3图片能力微调）
不负韶华不负己
05-12 1913
前部分依旧是技术流的教程copy及相关笔记。但说实话，在复现这一部分中，遇到了很多问题，后面的QA我会把遇到的进行记录。课程背景是XTuner 团队放出了基于 Llama3-8B 的 LLaVA 模型。然后机智流带领我们基于 Llama3-8B-Instruct 和 XTuner 团队预训练好的 Image Projector 微调多模态图文理解模型 LLaVA。LLaVA模型，即文本单模型LLM和训练出来的Image Projector的组合。LLaVA构建训练阶段。
Llama 3 | 三.Llama 3 图片理解能力微调（[XTuner](https://github.com/internLM/xtuner)+LLaVA 版）
m0_37634594的博客
05-18 489
问题2：What is the equipment in the image?问题1：Describe this image.30%的A100不够用，加上offload。训练报错，先安装deepspeed，重试。InternStudio软连接。
使用Llama3增强高质量图像生成
热门推荐
m0_59164304的博客
06-21 1万+
Llama 3是Meta推出的大型语言模型（LLM）。在特定条件下可以免费商用（每月最多7亿次请求）。Meta Llama 3的版本从8B到400B不等，超过了谷歌的Gemma/Gemini、Mistral和Claude 3 Sonnet等可比模型，能够在4GB GPU上高效运行。
大模型相关介绍，包括大模型概述，llama3结构，微调策略等
06-17
Llama3 是由Meta公司最新发布的一款强大的语言模型，标志着开源AI领域的一个重要里程碑。它在多个方面进行了创新，特别是其独特的网络结构和微调策略。 #### Llama3 的网络结构 - **词汇量大幅增加**：Llama3使用了...
Llama3-8中文微调完成更好地帮助中文写作、编程和数学
specssss的博客
04-23 1459
让C表示鸡的数量，R表示兔的数量。所以，我们可以写出以下方程:C+R=10..(1)2C+4R=28..(2)现在，我们可以解出C和R的方程。与原始的 Meta-Llama-3-8B-Instruct 模型相比，此模型显著减少了“中文问题英文回答"和混合中英文回答的问题。因此，二班和三班的剩余梨数量可以通过从总数中减去一个班的数量来计算: 40-20=20个梨 现在，这些剩余的20个梨需要被平均分给二班和三班。要找到二班的份额，可以将剩余数量除以2，因为有两个班:20/2=10个梨，因此，二班有10个梨。
一周SOTA：Meta 发布 Llama 3；Mistral AI 开源 Mixtral 8x22B；阿里开源代码模型CodeQwen1.5；面壁 MiniCPM 2.0 发布
u012744245的博客
04-25 1629
Meta 正式开源Llama 3，发布8B、70B参数大小的基础模型和指令微调模型版本，是同等规模中的最佳模型。此外，Llama 3 最大的模型规模超过400B，虽然该模型正在训练中，但 Meta 表示未来将发布多个具有新功能的模型，包括多模态、多语言对话能力、更长的上下文窗口和更强大的性能，并将推出新的模型尺寸版本和公开 Llama 3 的研究论文。相比前两代，Llama 3 在训练成本、训练时间、模型架构等多个方面有了很大的升级。上下文长度：Llama系列的上下文长度一直在增长。
使用llama3.2-vision进行图片信息识别
冀辉的博客
12-05 1366
使用llama3.2大模型进行图片内容的提取取分析
升级Ollama！MiniCPM-V2_6图像识别模型上线，适用于手机上单张图片、多张图片和视频的 GPT-4V 级 MLLM
m0_56255097的博客
09-12 7138
Ollama 发布了一个新版本，并且带来了三个很酷的新功能。首先，我们现在支持 MiniCPM 视觉模型，我会在不同的视频中介绍这三个功能，但对我来说，最吸引人的无疑是这个 MiniCPM 视觉模型。如果你还不了解 MiniCPM 视觉模型，可以告诉你，它是一个紧凑但非常强大的模型，如果你访问 Hugging Face，他们提供了很多关于这个模型的详细信息，你可以浏览并查看相关内容。比如，MiniCPM-V 2.6 是 MiniCPM-V 系列中最新、功能最强大的模型。
简单到爆！Llama - OCR 仅需 3 步，小白也能完成高质量 OCR 识别！
m0_59163425的博客
11-28 1245
在当今数字化信息爆炸的时代，光学字符识别（OCR）技术扮演着至关重要的角色。从处理海量的纸质文档到从图像中提取关键信息，OCR 技术不断革新。Llama-OCR 作为一款新兴的 OCR 工具，凭借其独特的技术和功能逐渐受到广泛关注。本文将深入探讨 Llama-OCR 的原理、特点、应用场景以及使用方法，为您揭开它的神秘面纱。
Llama 3.2-11B-vision多模态大模型结构详解（精确到各个算子）——图片预处理的详细步骤
不管风雨有多少丶的博客
01-07 1569
Llama 3.2-11B-vision多模态大模型结构和推理流程详解（精确到各个算子）——图片预处理的详细步骤，通俗易懂理解Llama 3.2-11B-vision多模态大模型
一文学会，利用LLaMA 3.2打造能“识图断字”的个人AI助理
了解关于云主机、GPU、AI、数据库托管、Kubernetes等相关技术知识，以及DigitalOcean云平台使用教程
11-13 1594
LLaMA 3.2的性能令人难以置信。在开源发布方面，它代表了向过去一年主导市场的流行封闭源代码模型的质量迈出了具体一步。它几乎能够做它们能做的任何事情，包括从代码生成到视觉理解再到长篇故事写作。我们鼓励所有读者在DigitalOcean GPU Droplet上尝试HuggingFace项目demo。Digitalocean 也上线了一键部署 HUGS 的功能，可以进一步简化你的AI项目开发工作。大语言模型应用仍然具有无穷的可能性。
TensorFlow相关组件的安装
AAI666666的博客
01-11 2931
TensorFlow相关组件的安装
被作者删库的Llama 3-V原文再现！效果匹敌GPT4-V，训练费用暴降，区区不到500 美元，尺寸小100 倍，如何做到的
IT界那些事儿
06-04 249
但是，为了将输出图像嵌入与 Llama3 中使用的文本嵌入对齐，我们使用了一个额外的投影模块。具体来说，由于 SigLIP 适合我们的 Macbook，我们在 MPS 优化的 SigLIP 模型上进行了推理，这使我们能够实现每秒 32 张图像的吞吐量 - 让我们的缓存步骤相对快速地完成。【后记】距离ChatGPT发布，一年多已过去，大模型研究者们，再次身处于LLM浪潮的风暴眼中，随着开源大模型的出现，我们开始看到前所未有的研究速度和成果涌现，也开始看到在这个新领域中伴生着始料未及的“魔幻”剧情。
【速成】LLM大模型学习路径指南
m0_63171455的博客
11-26 1131
大家好！整理了一些我的大模型学习路线和参考资料，供初学者入门了解和实践LLM大模型算法学习路径LLM发展历程入门系列进阶系列计算资源云服务器：t讯云/a里云/火s引擎 GPU云服务器资源，按量每小时约10元本地服务器：单卡/多卡训练，最低6G显存，4090可媲美A100显卡项目应用实践SFT微调：QA数据集构建、Chat基座微调RAG知识库问答：知识库解析、向量检索、LLM生成Agent智能体：workflow定义、tools构建、function call模型训练。
大模型应用之 读图能力llama3显著提升，可以打造本地私人日志分析工具
iCloudEnd的博客
04-23 1797
Llama3 (LLMA-3) 是 Meta AI 开发的人工智能 (AI) 模型，因其令人印象深刻的语言理解和生成能力而受到广泛关注。
llama3微调
03-26
### Llama3 模型微调方法教程 #### 准备工作 在开始对 Llama3 模型进行微调之前，需要确保环境已经配置完成。这通常包括安装必要的依赖库以及下载预训练模型权重文件。可以通过 `ollama list` 命令来确认当前已安装的模型版本[^1]。 #### 数据准备 数据集的质量直接影响到微调的效果。对于监督式微调 (Supervised Fine-Tuning)，建议收集高质量的人类标注对话数据或者特定领域内的文本数据。这些数据应经过清洗和格式化处理以便于后续输入给模型使用[^2]。 #### 微调流程概述 以下是基于开源工具链实现Llama3模型微调的一般步骤： 1. **克隆仓库**: 使用Git命令获取官方或社区维护的相关项目源码。 ```bash git clone https://www.modelscope.cn/LLM-Research/Meta-Llama-3-8B-Instruct.git ``` 2. **加载并部署基础模型**: 利用Ollama框架或其他支持的服务端解决方案加载初始的大规模参数集合，并将其作为服务暴露出来供进一步操作。 3. **定义目标任务架构**: 根据具体应用场景调整网络结构设计，比如增加额外分类头用于意图识别任务等扩展功能模块开发。 4. **执行实际Fine-tune过程**: 应用梯度下降算法更新选定层中的可训练变量直至满足收敛条件为止；期间需密切监控损失函数变化趋势以防止过拟合现象发生。 5. **评估性能表现**: 完成一轮迭代之后应当选取部分测试样本来验证改进后的效果是否达到了预期目标水平之上。 6. **保存最终成果物**: 将优化完毕的新版checkpoint妥善存档备份以防丢失同时方便日后重复利用价值最大化[^3]. ```python import torch from transformers import AutoTokenizer, AutoModelForCausalLM tokenizer = AutoTokenizer.from_pretrained("meta-llama/Llama-3b") model = AutoModelForCausalLM.from_pretrained("meta-llama/Llama-3b") def fine_tune_model(train_dataset, val_dataset): optimizer = torch.optim.AdamW(model.parameters(), lr=5e-5) train_loader = DataLoader(train_dataset, batch_size=8, shuffle=True) validation_loader = DataLoader(val_dataset, batch_size=8) device = 'cuda' if torch.cuda.is_available() else 'cpu' model.to(device) epochs = 3 for epoch in range(epochs): model.train() total_loss = 0 for step, batch in enumerate(train_loader): inputs = tokenizer(batch['text'], return_tensors="pt", truncation=True, padding=True).to(device) outputs = model(**inputs, labels=inputs["input_ids"]) loss = outputs.loss optimizer.zero_grad() loss.backward() optimizer.step() total_loss += loss.item() avg_train_loss = total_loss / len(train_loader) print(f"Epoch {epoch}, Average Training Loss: {avg_train_loss}") # Save the tuned model save_directory = "./tuned_llama" model.save_pretrained(save_directory) tokenizer.save_pretrained(save_directory) ``` 上述脚本展示了如何通过PyTorch框架来进行简单的因果语言建模(Causal Language Modeling)形式下的精修作业[^4]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值