weixin_42837310的博客

原创 LMDeploy 大模型量化部署实践 学习笔记

附录1：TritonServer 作为推理引擎。2.4.1 TurboMind 服务作为后端。2.4.2 TurboMind 推理作为后端。2.3 TurboMind推理+API服务。TritonServer推理+API服务。TritonServer 服务作为后端。2.6 这么多，头秃，有没有最佳实践。3.1 KV Cache 量化。2.4 网页 Demo 演示。3.2 W4A16 量化。2.1.1 在线转换。2.1.2 离线转换。3.1.1 量化步骤。3.1.2 量化效果。3.2.1 量化步骤。

原创 XTuner 大模型单卡低成本微调实战 学习笔记

一个大语言模型微调工具箱。由MMRazor和MMDeploy联合开发。

原创 轻松玩转书生·浦语大模型趣味 Demo 作业

原创 基于 InternLM 和 LangChain 搭建你的知识库 学习笔记

LangChain 通过提供检索问答链对象来实现对于 RAG 全流程的封装。对象，通过初始化时填入已构建的数据库和自定义 LLM 作为参数，来简便地完成检索增强问答的全流程，LangChain 会自动完成基于用户提问进行检索、获取相关文档、拼接为合适的 Prompt 并交给 LLM 问答的全部流程。在完成上述核心功能后，我们可以基于 Gradio 框架将其部署到 Web 网页，从而搭建一个小型 Demo，便于测试与使用。我们可以调用一个 LangChain 提供的。

原创 轻松玩转书生·浦语大模型趣味Demo 学习笔记

1.1 什么是大模型？大模型通常指的是机器学习或人工智能领域中参数数量巨大、拥有庞大计算能力和参数规模的模型。这些模型利用大量数据进行训练，并且拥有数十亿甚至数千亿个参数。大模型的出现和发展得益于增长的数据量、计算能力的提升以及算法优化等因素。这些模型在各种任务中展现出惊人的性能，比如自然语言处理、计算机视觉、语音识别等。这种模型通常采用深度神经网络结构，如BERTGPT（ Generative Pre-trained Transformer ）等。1.2 InternLM 模型全链条开源。

原创 书生·浦语大模型全链路开源体系 学习笔记

书生葡语大模型的全链路开源体系包括从数据到预训练、微调、部署、评测到应用的完整环节。他们开源了多模态语料库“书生问卷”，以及预训练框架“interim train”、微调框架“extera”、部署工具“m deploy”和评测工具“open Compass”。在微调方面，介绍了增量续讯和有间度微调两种常用方法。在评测方面，开源了全球领先的评测体系open Compass，提供六大维度和超过80个数据集以及40多万道评测题目。总体来看，这段文本详细介绍了大语言模型在微调、评测和部署等方面的技术和工具。

原创 MMagic 代码课

MMagic 代码课

原创 底层视觉与MMEditing

底层视觉与MMEditing

原创 语义分割与MMSegmentation

语义分割与MMSegmentation

原创 MMSegmentation代码课

MMSegmentation代码课

原创 mmdetection代码课

mmdetection代码课

原创 目标检测与mmdetection

目标检测与mmdetection

原创 MMPRETRAIN代码教学

MMPRETRAIN代码教学

原创 深度学习预训练与MMPRETRAIN

深度学习预训练与MMPRETRAIN

原创 MMPOSE代码教学

MMPOSE代码教学

原创 人体姿态与MMPose

人体姿态与MMPose

原创 计算机视觉与openmmlab概述

计算机视觉与openmmlab概述

原创 MMDetection代码教学

MMDetection代码教学

原创 计算机视觉之目标检测算法基础

计算机视觉之目标检测算法基础

原创 计算机视觉之图像分类代码教学

计算机视觉之图像分类代码教学

原创 计算机视觉之图像分类算法基础

计算机视觉之图像分类算法基础

原创 计算机视觉算法基础与 OpenMMLab

计算机视觉算法基础与 OpenMMLab