晓狄-优快云博客

原创 OpenCompass 大模型评测实战（InternLM 实战营第7次作业）

上海人工智能实验室科学家团队正式发布了大模型开源开放评测体系 “司南” (OpenCompass2.0)，用于为大语言模型、多模态模型等提供一站式评测服务。本算法库的主要评测对象为语言大模型与多模态大模型。安装面向GPU的环境安装。

2024-04-25 22:02:46 344 1

原创 XTuner 微调 LLM：1.8B、多模态、Agent（InternLM 实战营第4次作业）

修改完成后运行 generate_data.py 文件即可。可以看到在data的路径下便生成了一个名为 personal_assistant.json 的文件，首先我们需要先安装一个 XTuner 的源码到本地来方便后续的使用。找到 internlm2-1.8b 模型里支持的配置文件。下载网页端 web demo 所需要的依赖。web Demo部署。

2024-04-25 15:41:40 281 1

原创 OpenCompass 大模型评测实战（InternLM 实战营第7次笔记）

1、全面性：大模型应用场景千变万化，模型能力演进迅速。2、评测成本：需要大量算力资源，但算力资源贵，人工打分高昂。3、数据污染：海量语料不可避免污染需要可靠的数据污染检测技术。4、鲁棒性：大模型对提示词十分敏感，多次采样下模型性能不稳定。

2024-04-24 22:40:59 503 1

原创 Lagent & AgentLego 智能体应用搭建（InternLM 实战营第6次作业）

输入“请帮我搜索 InternLM2 Technical Report” 以让模型搜索书生·浦语2的技术报告。1、完成 Lagent Web Demo 使用。2、完成 AgentLego 直接使用部分。

2024-04-24 21:48:32 254 1

原创 Lagent & AgentLego 智能体应用搭建（InternLM 实战营第6次笔记）

1、可以感知环境中的动态条件2、能采取动作影响环境3、能运用推理能力理解信息、解决问题、产生推断、决定动作。

2024-04-24 21:32:18 387 1

原创 XTuner 微调 LLM：1.8B、多模态、Agent（InternLM 实战营第4次笔记）

为什么要微调？因为将底座模型应用到某些特定任务下，需要微调。

2024-04-24 20:53:08 455 1

原创 LMDeploy 量化部署 LLM-VLM 实践(InternLM 实战营第五次作业)

在3中，我们已经下载好了InternLM2-Chat-1.8B的HF模型。下面我们先用Transformer来直接运行InternLM2-Chat-1.8B模型，后面对比一下LMDeploy的使用感受。InternStudio开发机创建conda环境，由于环境依赖项存在torch，下载过程可能比较缓慢。首先进入一个你想要存放模型的目录，本教程统一放置在Home目录。执行完如上指令后，可以运行“ls”命令。激活刚刚创建的虚拟环境，安装0.3.0版本的lmdeploy。文件夹，即下载好的预训练模型。

2024-04-14 20:52:10 578 1