- 博客(10)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 书生浦语实训营第四期--进阶岛第三节 多模态大模型发展简述及其微调部署实践(InternVL2为例)
我们主要通过## 1.导入相关依赖包## 2.使用你的模型初始化推理管线## 3.读取图片（此处使用PIL读取也行）## 4.配置推理参数## 5.利用 pipeline.chat 接口 进行对话，需传入生成参数## 6.之后的对话轮次需要传入之前的session，以告知模型历史上下文lmdeploy推理的核心代码如上注释所述。
2024-12-24 00:05:39
750
原创 书生浦语实训营第四期---进阶岛第二节 LMDeploy 量化部署进阶实践
注释：实验室提供的环境为虚拟化的显存，nvidia-smi是NVIDIA GPU驱动程序的一部分，用于显示NVIDIA GPU的当前状态，故当前环境只能看80GB单卡 A100 显存使用情况，无法观测虚拟化后30%或50%A100等的显存情况。模型在运行时，占用的显存可大致分为三部分：模型参数本身占用的显存、kv cache占用的显存，以及中间运算结果占用的显存。LMDeploy的kv cache管理器可以通过设置。随着模型变得越来越大，需要一些大模型压缩技术来降低模型部署的成本，并提升模型的推理性能。
2024-12-23 22:58:12
979
原创 书生浦语实训营第四期---进阶岛 第一节 Lagent:从零搭建你的 Multi-Agent
Lagent 是一个轻量级开源智能体框架，旨在让用户可以高效地构建基于大语言模型的智能体。同时它也提供了一些典型工具以增强大语言模型的能力。Lagent支持多智能体协作与工具调用。Arxiv 搜索Bing 地图Google 学术搜索Google 搜索交互式 IPython 解释器IPython 解释器PPTPython 解释器中心模块 ：大语言模型， 负责推理规划和生成响应ActionExecutor：行动执行器，负责调用多种外部工具推理和执行器工具：如或或。
2024-12-22 23:39:25
1008
原创 书生浦语实训营第四期---第6节 OpenCompass评测书生大模型实践
如果想要评测本地部署的大语言模型，首先需要获取到完整的模型权重文件。前面我们介绍了如何评测 API 模型和本地模型, 现在我们介绍如何将本地模型部署成 API 服务, 然后通过评测 API 服务的方式来评测本地模型. OpenCompass 通过其设计，不会真正区分开源模型和 API 模型。OpenAI APIkey部分如果没有或者不想购买会员的，可以其他，诸如Claude、Llama、通义千问等的API来替代，我这里就用了qwen-turbo，但这个是用于评判的模型，尽可能选用性能好的大模型。
2024-12-22 00:19:13
1097
原创 书生浦语实训营第四期基础岛---第五节 XTuner 微调 InternLM 个人小助手认知实践
微调内容需要使用 30% A100 才能完成。SFT 数据的获取使用模型微调针对业务场景（如特殊自我认知的机器人）的微调能力一个属于自己的语言聊天机器人。
2024-12-17 22:51:04
1684
原创 书生·浦语实训营第四期基础岛---第四节 LlamaIndex+InternLM RAG 实践
技术栈很重要LlamaIndex 是一个开源的索引和搜索库，提供高效、可扩展的文本索引和检索功能。LlamaIndex框架是一个上下文增强的 LLM 框架，旨在通过将其与特定上下文数据集集成，增强大型语言模型（LLMs）的能力。它允许您构建应用程序，既利用 LLMs 的优势，又融入您的私有或领域特定信息。数据索引和检索对大规模数据进行索引，支持多种数据源(文件、数据库、网络等)提供高效的检索机制，快速找到相关信息支持多种生成模型。
2024-12-16 23:00:40
1090
原创 书生·浦语训练营第四期基础岛--第三节 提示工程(Prompt Engineering)
提示工程是一种通过设计和调整输入(Prompts)来改善模型性能或控制其输出结果的技术。在模型回复的过程中，首先获取用户输入的文本，然后处理文本特征并根据输入文本特征预测之后的文本，原理为，类似我们日常使用的输入法。
2024-12-10 17:38:59
1891
原创 书生大模型实战营第四期----书生·浦语大模型开源开放体系
综合推理能力领先社区开源模型,相对internLM2性能提升20%;当前模型通过数据过滤智能评估预训练数据和指令生成辅助标注对齐数据来训练出更好模型从而促使当前模型的不断迭代更新.(1) 基于规则的数据构造(2) 基于模型的数据扩充(3) 基于反馈的数据生成百万字长文的理解和精确处理性能处于开源模型前列demo演示 新唐书内容提炼通过信息搜索和整合,针对复杂问题撰写专业回答,效率提升60倍.用户需求—》问题分析–〉思维路径拆解—》内容整合。
2024-12-08 16:37:46
630
原创 《书生大模型实战营第4期》入门岛 学习笔记与作业
InternStudio 是大模型时代下的云端算力平台。基于 InternLM 组织下的诸多算法库支持，为开发者提供开箱即用的大语言模型微调环境、工具、数据集，并完美兼容 🤗 HugginFace 开源生态。首先打开上面的链接进入InternStudio，完成登录会自动跳转到控制台界面，如下图所示：每一个序号对应页面的功能：①. 在这里可以创建开发机，以及修改开发机配置和查看相关日志等。②. 这里可以可视化查看开发机中的文件及文件夹，而且如果你创建了两个开发机，那么他们使用的云盘是一个。
2024-12-04 14:21:50
988
原创 ubuntu18.04安装mysql-5.7
在进行mysql时，走了很多弯路，也遇到了很多问题，终于成功了，在此仅用于进行记录及备忘，当然如果能够帮助到大家，我还是很开心的！
2023-12-07 20:56:55
1771
Pr安装无法打开和闪退所需动态链接库
2023-12-04
nustart-torchvision-master.zip
2020-12-10
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人