biscuit279-优快云博客

本文介绍大模型部署的背景知识，并介绍LMDeploy工具，并实现一个部署demoLLM在英伟达设备上的部署方案，包含模型轻量化、推理和服务推理性能：静态（固定batch和输出输入的token数目）：小batch下性能是fp16的两倍，batch越大加速效果越不明显动态（输入输出不定长）：精度优于vLLM框架本文主要介绍了模型量化和LMDeploy的基本应用，并实现了几个部署的demo。

2024-01-15 19:28:15 1116

原创书生·浦语大模型实战营笔记-第四节作业

个人小助手认知微调：通过微调让模型了解自己身份。

2024-01-12 18:35:33 543 1

原创书生·浦语大模型实战营笔记-第四节 XTuner 大模型单卡低成本微调实战

介绍Finetune和XTunner的概念。并微调Xtuner两种微调模式：增量预训练、指令跟随增量预训练：用文章、数据、代码等让基座模型学到一些新知识指令跟随：用高质量的对话和问答数据让模型学会对话模板指令微调之前，模型不知道自己要回答一个问题支持热门数据集的映射支持多数据的样本拼接如果要用别的数据集进行微调，需要将数据转换成Xtuner的格式准备配置文件运行xtuner微调然后把pth转换成Huggingface格式。

2024-01-12 15:48:27 1191 1

原创书生·浦语大模型实战营笔记-第三节作业

书生·浦语大模型实战营笔记-第三节作业知识库助手搭建过程1.环境配置2.数据准备3.知识库搭建4.检索问答链构建5.WebDemo

2024-01-09 19:25:17 545

原创书生·浦语大模型实战营笔记-第三节基于 InternLM 和 LangChain 搭建你的知识库

介绍基于基于 InternLM 和 LangChain 搭建知识库的概念、思路和步骤LangChain是为LLM提供通用接口，用来简化开发流程核心组成模块是Chains：用于将组建组合实现端到端的应用下图展示了基于LangChain搭建RAG应用的步骤主要学习了大模型开发的RAG范式，并基于LangChain工具实现了一个检索问答的demo。

2024-01-09 19:19:26 1199

原创书生·浦语大模型实战营笔记-第二节作业

过程如下结果如下。

2024-01-06 21:33:25 517 1

原创书生·浦语大模型实战营笔记-第二节轻松玩转书生·浦语大模型趣味 Demo

例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。提示：以下是本篇文章正文内容，下面案例可供参考实现了三个demo，分别是对话模型，latant模型，以及多模态创作模型，并学习了huggingface的使用方法。

2024-01-06 21:28:38 1309 1

原创书生·浦语大模型实战营笔记-第一节书生·浦语大模型全链路开源体系

从数据、预训练、微调、部署、评测、应用等方面介绍了intern-LM的开源工具一套很全面的大模型开源体系，包含了数据、预训练、微调、部署、评测、智能体应用等方面。

2024-01-05 11:37:30 689 1

qq_46212981的博客

原创玩转书生「多模态对话」与「AI搜索」产品

原创书生大模型实战营第四期-linux基础

原创 RSSC-LLAVA：基于XTuner用遥感数据微调LLAVA模型

原创书生·浦语大模型训练营笔记作业合集

原创书生·浦语大模型实战营笔记-第六节作业

原创书生·浦语大模型实战营笔记-第六节 OpenCompass 大模型评测

原创书生·浦语大模型实战营笔记-第五节作业

原创书生·浦语大模型实战营笔记-第五节 LMDeploy大模型量化部署实践