- 博客(13)
- 收藏
- 关注
RSS订阅原创 InternVL 部署微调实践
我们选定的任务是让InternVL-2B生成文生图提示词，这个任务需要VLM对图片有格式化的描述并输出。让我们来一起完成一个用VLM模型进行冷笑话生成，让你的模型说出很逗的冷笑话吧。在这里，我们微调InterenVL使用xtuner。部署InternVL使用lmdeploy。
2024-08-20 17:43:16
998
原创 L2-LMDeploy 量化部署进阶实践
模型在运行时，占用的显存可大致分为三部分：模型参数本身占用的显存、kv cache占用的显存，以及中间运算结果占用的显存。本次实践选用InternVL2-26B进行演示，其实就根本来说作为一款VLM和上述的InternLM2.5在操作上并无本质区别，仅是多出了"图片输入"这一额外步骤，但作为量化部署进阶实践，选用InternVL2-26B目的是带领大家体验一下LMDeploy的量化部署可以做到何种程度。int4是4位的整数格式，占用0.5字节（4位）的存储空间。(本步骤耗时较长，预计6h，请耐心等待)
2024-08-19 16:36:33
1094
原创 L2-Lagent 自定义你的 Agent 智能体
Lagent 是一个轻量级开源智能体框架，旨在让用户可以高效地构建基于大语言模型的智能体。同时它也提供了一些典型工具以增强大语言模型的能力。Arxiv 搜索Bing 地图Google 学术搜索Google 搜索交互式 IPython 解释器IPython 解释器PPTPython 解释器使用 Lagent 自定义工具主要分为以下几步：1.继承BaseAction类2.实现简单工具的run方法；或者实现工具包内每个子工具的功能3.简单工具的run方法可选被。
2024-08-16 16:38:11
455
原创 L1-OpenCompass 评测 InternLM-1.8B 实践基础作业
上海人工智能实验室科学家团队正式发布了大模型开源开放评测体系 “司南” (OpenCompass2.0)，用于为大语言模型、多模态模型等提供一站式评测服务。其主要特点如下：开源可复现：提供公平、公开、可复现的大模型评测方案全面的能力维度：五大维度设计，提供 70+ 个数据集约 40 万题的的模型评测方案，全面评估模型能力丰富的模型支持：已支持 20+ HuggingFace 及 API 模型分布式高效评测：一行命令实现任务分割和分布式评测，数小时即可完成千亿模型全量评测。
2024-08-05 19:34:38
760
原创 L1-XTuner 微调个人小助手认知基础任务
在确定了自己的微调目标后，我们就可以在 XTuner 的配置库中找到合适的配置文件并进行对应的修改。为了让模型能够认清自己的身份弟位，在询问自己是谁的时候按照我们预期的结果进行回复，我们就需要通过在微调数据集中大量加入这样的数据。在准备好了模型和数据集后，我们就要根据我们选择的微调方法结合微调方案来找到与我们最匹配的配置文件了，从而减少我们对配置文件的修改量。脚本来观察微调后的对话效果，不过在运行之前，我们需要将脚本中的模型路径修改为微调后的模型的路径。在我们的输入的这个命令中，我们的。
2024-07-29 16:07:54
874
原创 L1-浦语提示词工程实践—基础任务
近期相关研究发现，LLM在对比浮点数字时表现不佳，经验证，internlm2-chat-1.8b (internlm2-chat-7b)也存在这一问题，例如认为。总结：利用LangGPT生成结构化提示词，能够优化LLM输出正确结果，但是如果提示词质量不高，生成的结果一般。：利用LangGPT优化提示词，使LLM输出正确结果。
2024-07-26 16:32:29
457
原创 L1-8G 显存玩转书生大模型 Demo
以InternLM2-Chat-1.8B模型为例，从官方仓库下载模型。因为我部署是在开发机上面，所以下面以InternStudio开发机上下载模型为例，如果是部署在本地的话，建议由OpenXLab平台下载模型。文件夹，即下载好的预训练模型。首先进入一个你想要存放模型的目录，本教程统一放置在Home目录。执行完如上指令后，可以运行“ls”命令。创建完成进入开发机，进入终端，键入命令创建环境(巨慢，预计1h)输入“exit”并按两下回车，可以退出对话。执行如下命令运行下载的1.8B模型。个人体验：非常丝滑~
2024-07-22 20:15:04
267
原创 L1-书生大模型全链路开源体系笔记
介绍了书生浦语大模型的全链路开源体系，并详细介绍了其发展历程和特点。大模型已成为通用人工智能的重要途径，能够解决多种任务和多种模态。书生葡语大模型具有超长上下文能力，综合性能得到全面提升，能够实现结构化创作和可靠的数据分析。同时，模型还强化了内生计算能力和代码解释器，在多个能力维度上都取得了不错的评测结果。20B模型在推理数学代码等方面的性能优于GP3.5和germini pro模型在综合性能方面达到同量级的开源模型领先水平模型内生的计算能力和数据分析功能能够处理复杂的任务和数据分析。
2024-07-22 11:31:00
361
原创 书生大模型实战营（暑假场）L0-Git
新建一个md文件，注意windows下把touch换成echo，但是我用了没报错也没找到这个文件，so~我手动新建了一个........在 github 页面将修改的内容 PR 到 Tutorial，经过审核后就能看到了。在github上新建一个仓库，贴上超链接，顺便在默认的分支里面写点小日记。克隆仓库，新建分支（已经在目标分支camp3）
2024-07-21 16:09:00
221
原创 书生大模型实战营（暑假场）L0-Python
step over：在单步执行时，在函数内遇到子函数时不会进入子函数内单步执行，而是将子函数整个执行完再停止，也就是把子函数整个作为一步。有一点,经过我们简单的调试,在不存在子函数的情况下是和step into效果一样的（简而言之，越过子函数，但子函数会执行）。step out：当单步执行到子函数内时，用step out就可以执行完子函数余下部分，并返回到上一层函数。step into：单步执行，遇到子函数就进入并且继续单步执行（简而言之，进入子函数）；首先需要安装Remote-SSH插件。
2024-07-21 13:48:41
224
原创 书生大模型实战营（暑假场）L0-Linux
创建hello_world.py文件，powershell进行ssh连接，运行文件。配置SSH密钥进行SSH远程连接,在两台常用设备上完成ssh密钥配置。Vscode创建test.sh文件。VScode远程连接开发机。运行test.sh还原环境。创建一个conda环境。
2024-07-20 18:07:46
176
空空如也
neo4j更改apoc设置，重启失败
2023-02-28
TA创建的收藏夹 TA关注的收藏夹
TA关注的人