m0_67222720-优快云博客

原创 InternLM Camp4 L1G6000 OpenCompass 评测书生大模型实践

一、使用 OpenCompass 评测浦语 API1.环境配置2.模型配置3.数据集配置这样我们使用了 CMMLU Benchmark 的每个子数据集的 1 个样本进行评测。注意，我们修改的代码的路径是/root/opencompass/opencompass/configs/datasets/demo/demo_cmmlu_chat_gen.py，但存在另外一个文件/root/opencompass/configs/datasets/demo/demo_cmmlu_chat_gen.py。

2024-12-02 16:03:47 426

原创 InternLM Camp4 L1G5000 XTuner 微调个人小助手认知

1. 使用 conda 激活一个已有的虚拟环境clone远程的仓库，创建本地工作目录，激活share文件夹中已有的conda环境。2. 安装 XTuner3. 验证安装为了验证 XTuner 是否安装正确，我们将使用命令打印配置文件。上图没有出现报错信息。成功安装xtuner。4. 修改提供的数据创建一个文件夹用于存储微调数据。文件路径如下图所示。写一个脚本生成修改我们需要的微调训练数据。

2024-12-02 14:53:42 820

原创 InternLM Camp4 L1G4000 InternLM + LlamaIndex RAG 实践

RAG的基本原理如上图所示，它能够让基础模型实现非参数知识更新，无需训练就可以掌握新领域的知识。LlamaIndex 是一个上下文增强的 LLM 框架，旨在通过将其与特定上下文数据集集成，增强大型语言模型（LLMs）的能力。正常情况下，其会自动从互联网上下载，但可能由于网络原因会导致下载中断（如1.2.3节），此处我们可以从国内仓库镜像地址下载相关资源，保存到服务器上。借助RAG，浦语API就能很详细的回答之前不会回答的"xtuner是什么"的问题了。借助 RAG 技术后，就能获得我们想要的答案了。

2024-12-01 14:46:18 656

原创 InternLM Camp4 L1G3000 浦语提示词工程实践

下面我们让大模型根据以下要求生成一篇通知：请你生成一篇主题是关于甲乙工程队分别从A、B两地协同修建A-B桥的通知，要求甲乙在2025年12月31号之前完成施工，且甲乙各自建设桥梁的里程不得少于总工程里程的1/3。LangGPT 是一个帮助你编写高质量提示词的工具，理论基础是我们提出的一套模块化、标准化的提示词编写方法论——结构化提示词。利用下面的提示词引导InternLM扮演提示词生成助手，自动化地生成符合最佳实践的结构化提示词。利用1中提到的自主化提示词生成助手，我们让他生成公文写作助手的提示词。

2024-11-29 14:32:58 415

原创 InternLM Camp4 L1G2000 玩转书生「多模态对话」与「AI搜索」产品

它会对你提出的问题进行分析并拆解为数个子问题，在互联网上搜索、总结得到各个子问题的答案，最后通过模型总结得到最终答案。书生·浦语上的智能体为 MindSearch 的官方实现 (基于 InternLM2.5-20B) 具有与 Perplexity.ai Pro 相当的性能。你可以与浦语进行以，”代码编程、文章创作、灵感创意、角色扮演、语言翻译、逻辑推理等等”任意主题的对话。书生·浦语是基于原生的 InternLM2.5 最新 Chat 模型 (InternLM2.5-20B) 搭建的聊天机器人应用。

2024-11-26 16:15:20 321

原创 InternLM Camp4 L1G1000 书生大模型全链路开源体系

从2023年开源以来，书生·浦语已推出多个模型（如7B、20B等），并实现全链路的开源工具体系，涵盖从数据采集、模型训练到实际应用场景的全流程解决方案，并实现了显著性能提升及创新功能突破。书生大模型通过人类反馈优化模型生成能力的方法，强调了基于反馈的强化训练对于提高模型满意度的重要性。书生大模型团队采用了基于规则的数据构造、基于模型的数据扩充和基于反馈的数据生成等多种数据合成方法，提升合成数据的质量。本博客是第四期书生大模型实战营基础岛的第一个大任务，目的是写一篇关于书生大模型全链路开源开放体系的笔记。

2024-11-25 16:58:12 389

原创 InternLM Camp4 L0G4000 玩转HF社区

Github CodeSpace是Github推出的线上代码平台，提供了一系列templates，我们这里选择Jupyter Notebook进行创建环境。创建好环境后，可以进入网页版VSCode的界面，这就是CodeSpace提供给我们的在线编程环境。Spaces 使得开发者可以快速将我们的模型部署为可交互的 web 应用，且无需担心后端基础设施或部署的复杂性。通过CLI上传 Hugging Face同样是跟Git相关联，通常大模型的模型文件都比较大，因此我们需要安装git lfs，对大文件系统支持。

2024-11-25 16:45:58 767

原创 InternLM Camp4 L0G3000 Git 基础知识

每位参与者提交一份自我介绍。提交地址：https://github.com/InternLM/Tutorial的class分支。1.命名格式为 .md，其中是您的报名问卷UID。2.文件路径应为 ./icamp4/。3.【大家可以叫我】内容可以是 GitHub 昵称、微信昵称或其他网名。4.在 GitHub 上创建一个 Pull Request，提供对应的 PR 链接。1.找到需要fork的仓库2.将本项目直接fork到自己的账号下3.克隆项目到InternStudio本地。

2024-11-24 18:12:06 328

原创 InternLM Camp4 L0G2000 Python 基础知识

为了节省大家的存储空间，本次实战营可以直接使用share目录下的conda环境，但share目录只有读权限，所以要安装额外的包时我们不能直接使用pip将包安装到对应环境中，需要安装到我们自己的目录下。我们观察到，content和prompt的值是正常的，唯独res值的格式是有问题的。这时我们在使用pip的时候可以使用--target或-t参数来指定安装目录，此时pip会将需要安装的包安装到指定的目录下。前往书生浦语的API文档。为了验证这一猜测，我们在报错的第32行设置断点，去看该行的输入res的格式。

2024-11-06 19:59:00 691 1

原创 InternLM Camp4 L0G1000 Linux基础知识

安装VScode扩展Remote-SSH。插件界面有相关操作教程视频。来到开发界面，点击“创建开发机”。选择开发机类型、开发机名称、镜像、资源配置等，点击立即创建。开发机创建好了后，点击SSH连接。可以看到登录命令等。复制命令到此处。成功添加远程主机。连接远程主机并输入密码，进入远程界面。打开文件夹。打开终端，注意到以下信息。可以看到文件系统里存有一些数据集。在开发机界面，点击自定义服务，复制第二条命令，点击进入开发机。进入终端。

2024-11-06 15:53:51 320

m0_67222720的博客