XTuner 大模型单卡低成本微调实战

已于 2024-01-14 22:03:32 修改
阅读量645 收藏 9
点赞数 9
文章标签： 人工智能 语言模型
于 2024-01-14 10:59:16 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/zhjunqin/article/details/135572684
版权
本文介绍了如何使用XTuner在8GB显存环境下低成本地对大型语言模型进行微调，涉及FlashAttention技术以优化内存使用，以及DeepSpeedZeRO优化策略。文章详细说明了配置过程、训练方法、模型转换和部署测试步骤，还提及了AttentionisAllYouNeed论文的相关内容。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

XTuner 大模型单卡低成本微调实战

视频链接：https://www.bilibili.com/video/BV1yK4y1B75J/?vd_source=bebd279bbc043ae1c13d45838597180f
文档地址：https://github.com/InternLM/tutorial/tree/main/xtuner
XTuner Repo: https://github.com/InternLM/xtuner/tree/main

Finetune 简介在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

XTuner

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

最低0.47元/天 解锁文章
zhjunqin
关注
灵活运用Serper - Google Search API与LangChain打造智能搜索功能
stjklkjhgffxw的博客
11-09 554
通过结合Serper API和LangChain，您可以轻松构建具有强大搜索和问答能力的应用程序。要更深入地理解LangChain的更多功能，可以查阅其官方文档和社区资源。
什么是Google SERP?
0029的博客
08-19 1441
SERP（搜索结果页面）是谷歌对用户搜索查询的回应，是谷歌搜索引擎结果页面上的任何结果。本篇内容介绍了几种主要的SERP形式
探索Serper - 强大的谷歌搜索API集成指南
ppoojjj的博客
10-29 1405
这篇文章介绍了如何在LangChain中集成Serper API，以实现强大的搜索功能。通过掌握这些技巧，可以显著提升应用的数据获取能力。
如何在LangChain中使用Serper - Google搜索API
最新发布
scaFHIO的博客
02-27 359
Serper是一个低成本的Google搜索API，可以从Google搜索中添加答案框、知识图谱和有机结果数据。这个API特别适合于需要搜索功能的应用，例如问答系统。在本篇文章中，我们将介绍如何在LangChain中使用Serper - Google搜索API，以便在您的AI项目中添加强大的搜索能力。
轻松掌握 Google Serper：最新的网页搜索 API 应用指南
sgeahtgwh的博客
12-21 827
Google Serper 提供了一种快捷、强大的网络搜索方式，结合大语言模型，可以解决复杂的信息获取需求。对于更深入的学习，可以参考的使用文档，以及serper.dev官方资源。
OpenAI的Function calling 和 LangChain的Search Agent
choose_c的博客
07-20 3905
Agent可以使用多个工具，并将一个工具的输出用作下一个工具的输入。follow up是gpt的输出，表示需要search tool搜索的问题， Intermediate answer 则为search tool的答案，循环多次之后得到最终答案。"时，gpt做出了进行调用get_info_from_web函数的决定，并且调用的参数为"query": "杭州天气"。以下是search agent的例子。调用第2步中gpt输出的参数执行相应的函数，获得中间结果。3.执行gpt的决定，获得回答问题的中间结果。
google custom search api 申请注册 cx key
whatday的专栏
02-08 9949
目录 1.建立Custom Search Engine 2.到API key网站 获取 api key 3.测试 api key 搜索 4.搜索参数列表 1.建立Custom Search Engine 得到search engine ID,必须先建立 Custom Search Engine。 我们连到Custom Search Engine control panel 建立Search Engine。 https://cse.google.com/cse/all 取得Search
【InternLM 实战营第二期笔记】使用茴香豆搭建你的RAG智能助理
JeffDing
04-07 1078
茴香豆是一个基于 LLM 的群聊设计拒答、响应两阶段 pipeline 应对群聊场景，解答问题同时不会消息泛滥。精髓见技术报告成本低至 1.5G 显存，无需训练适用各行业提供一整套前后端 web、android、算法源码，工业级开源可商用。
打造智能搜索助手：利用Serper和LangChain构建高效的Google搜索解决方案
adfyvatbia的博客
12-04 335
通过本文的介绍和示例，您应该能够熟练使用Serper API与LangChain构建智能搜索助手。Serper API文档LangChain官方文档相关教程和示例代码库。
【论文阅读】ModelScope-Agent：基于开源大语言模型的可定制Agent系统
AI小白的学习记录，欢迎交流~
09-09 2213
大语言模型（LLMs）最近展示出了卓越的能力，能够理解人类意图、进行推理和设计类似规划的行为。为了进一步释放 LLM 在完成复杂任务方面的潜力，越来越多的趋势是构建 agent 框架，使LLM（如ChatGPT）具备使用工具的能力，以连接大量的外部 API。在这项工作中，作者介绍了 ModelScope-Agent，一个基于开源 LLM 作为控制器，面向实际应用的通用且可定制的 agent 框架。
第四课-XTuner 大模型单卡低成本微调实战
qq_46016871的博客
02-21 1170
一个大语言模型微调工具箱。由MMRazor和MMDeploy联合开发。以数据集为例场景需求基于 InternLM-chat-7B 模型，用 MedQA 数据集进行微调，将其往医学问答领域对齐。此时，我们重新建一个文件夹来玩“微调自定义数据集”把前面下载好的internlm-chat-7b模型文件夹拷贝过来。别忘了把自定义数据集，即几个.jsonL，也传到服务器上。
让搜索更智能！如何高效使用Serper API结合LangChain进行搜索
nseejrukjhad的博客
10-16 456
Serper是一个低成本的Google搜索API，可以提取答案框、知识图谱和有机搜索结果的数据。通过Serper，开发者可以轻松将Google搜索结果整合到自己的应用程序中。通过这篇文章，我们探讨了如何使用Serper API结合LangChain来进行智能搜索。LangChain 官方文档Serper API 文档。
使用Google Serper API进行强大的Web信息搜索
fadbahgd的博客
12-07 1237
Google Serper API是由serper.dev提供的一个API接口，允许开发者访问Google的搜索、图像、新闻和地方信息。通过该API，用户可以进行多类型的查询，实现自动化的数据抓取和分析。Google Serper API提供了多样的搜索功能，包括常规搜索、图像搜索、新闻搜索和地方搜索。下面我们将通过代码展示如何通过API进行搜索操作。Google Serper API提供了访问多种类型Google数据的功能，是一个非常有用的工具。通过使用本文中的方法，可以有效地集成该API到您的项目中。
【经验总结】Ubuntu 源代码方式安装 Microsoft DeepSpeed
weixin_40378209的博客
04-24 2409
Ubuntu 源代码方式安装 Microsoft DeepSpeed
自动化您的任务——crewAI 初学者教程
klam2020的博客
05-21 4443
在玩过crewAI之后，我只想让一切自动化。 您可能认为创建可以协同工作来完成任务的人工智能代理是一项复杂的工作。 新闻快讯：crewAI 让一切变得超级简单。今天，我写这篇文章是为了分享您开始使用一个非常流行的多智能体框架所需了解的所有信息：crewAI。 我将在这里或那里跳过一些内容，使本教程成为一个精炼的教程，概述帮助您入门的关键概念和要点
基于XTuner微调书生·浦语大模型
分享技术干货和灵感、推荐新书和好玩的项目、分享Java面试题
02-29 901
XTuner 是一个傻瓜式、轻量级的大语言模型微调工具箱，由MMRazor和MMDeploy联合开发。其以配置文件的形式封装了大部分微调场景，0基础的非专业人员也能一键开始微调；对于 7B 参数量的LLM，微调所需的最小显存仅为 8GB。XTuner 支持的开源大模型：InternLM、Llama/Llama2、ChatGLM2/ChatGLM3、Qwen、Baichuan/Baichuan2、Zephyr微调有全参、LoRA、QLoRA三种方式，QLoRA是LoRA微调的改进。以数据集为例场景需求。
【SearchGPT】复刻GPT实时网页搜索&浏览功能
Wilson_Lin_01的博客
11-26 7643
GPT4的知识库涉及领域丰富、涵盖范围广泛，但是一直有一定的实效滞后，例如最新的GPT4知识更新截止于2023年4月。为了跨越这个限制，今年OpenAI相继为GPT-Plus的用户开放了接入网页搜索的插件。自此，GPT可以根据具体问题的需要来联网获取最新信息，增强模型对实时数据检索的相关性和实效性。这篇文章就是对GPT内置的这个功能的一个实现，并且比网页端 GPT 自带的网络浏览功能更加迅速。你也可以把它视为一个对new Bing 和 Bard 的最小化的后端实现，一种搜索搜索引擎和AI问答的高度结合。
探索Serper - 如何在LangChain中使用Google搜索API
mmlihaio的博客
10-01 357
通过Serper API，你能够轻松地将搜索功能集成到应用中，从而提高用户体验。LangChain官方文档Serper API文档。
AgentBench排行榜25个主流LLM作为Agent的能力评估结果和重要结论
实战AI智能体
08-16 1720
上的表现，可以看出代码训练的价值。其中，codegeex2-6b经过代码训练，在操作系统和数据库两个编程相关环境上明显优于chatglm2。但在需要逻辑推理的横向思维难题上，codegeex2-6b的表现下降。上述结论都是基于表的数据分析得到，例如，通过对两个规模相近的模型chatglm2和codegeex2-6b在AgentBench(agentbench。最终，清华大学评估了25个主流的LLM在上述8个任务上的表现来评估各大模型作为Agent的最终得分。GPT-4几乎像全能战士一样，超越所有模型！
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值