第五课[lmdeploy]作业 +第六课[OpenCompass评测]作业

最新推荐文章于 2025-12-02 15:55:42 发布
原创 最新推荐文章于 2025-12-02 15:55:42 发布 · 508 阅读 · 7 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #语言模型

本文介绍了如何通过API_server进行基础部署，并演示了如何利用curl工具转发端口提交内容，以完成第六课的基础作业任务。

第五课基础作业

如下图，采用api_server部署，并转发端口通过curl提交内容。
在这里插入图片描述

在这里插入图片描述

第六课基础作业

在这里插入图片描述
完了捏？

「浦语大模型笔记六」opencompass模型评测
ljn20001229的博客
01-23 2014
1.工具架构2.步骤配置->推理->评估->可视化。配置：这是整个工作流的起点。您需要配置整个评估过程，选择要评估的模型和数据集。此外，还可以选择评估策略、计算后端等，并定义显示结果的方式。推理与评估：在这个阶段，OpenCompass 将会开始对模型和数据集进行并行推理和评估。推理阶段主要是让模型从数据集产生输出，而评估阶段则是衡量这些输出与标准答案的匹配程度。这两个过程会被拆分为多个同时运行的“任务”以提高效率，但请注意，如果计算资源有限，这种策略可能会使评测变得更慢。可视化。
【InternLM 实战营第二期笔记07】OpenCompass 大模型评测实战
qq_74261455的博客
04-22 1459
OpenCompass是上海人工智能实验室开源的大模型评测平台，该平台具有一系列显著的特点和功能。首先，它提供了开源可复现的评测方案，保证了评测的公平、公开和可复现性。这为研究者提供了一个稳定可靠的基准，使得不同模型之间的比较更加准确和有意义。其次，OpenCompass在评测维度上非常全面，涵盖了学科、语言、知识、理解、推理等五大维度。
书生浦语大模型实战营第六次课作业-OpenCompass大模型评测
qq_40831032的博客
01-22 689
使用 OpenCompass 评测 InternLM2-Chat-7B 模型在 C-Eval 数据集上的性能。
书生·浦语大模型实战营第六节课作业
stone_tigerLI的博客
02-21 695
这次评估不知道为什么没有结果。
[第六课笔记]OpenCompass 大模型评测
weixin_38771145的博客
02-21 1509
本算法库的主要评测对象为语言大模型与多模态大模型。我们以语言大模型为例介绍评测的具体模型类型。基座模型：一般是经过海量的文本数据以自监督学习的方式进行训练获得的模型（如OpenAI的GPT-3，Meta的LLaMA），往往具有强大的文字续写能力。对话模型：一般是在的基座模型的基础上，经过指令微调或人类偏好对齐获得的模型（如OpenAI的ChatGPT、上海人工智能实验室的书生·浦语），能理解人类指令，具有较强的对话能力。
基础岛·第六关OpenCompass 评测
2301_80980324的博客
11-28 382
配置模型及数据集:运行python run.py --models puyu_api.py --datasets demo_cmmlu_chat_gen.py --debug运行结果：将数据集下载到本地，将会在 OpenCompass 下看到data文件夹。在 --debug 模式下，任务将按顺序执行，并实时打印输出。打开一个终端, 安装和部署模型，成功部署以后会看到如下输出:获取由 LMDeploy 注册的模型名称，以及创建脚本。
基础岛-第六关：OpenCompass 评测 InternLM-1.8B 实践
qq_35987776的博客
10-10 780
除了通过命令行配置实验外，OpenCompass 还允许用户在配置文件中编写实验的完整配置，并通过 run.py 直接运行它。确保按照上述步骤正确安装 OpenCompass 并准备好数据集后，可以通过以下命令评测 InternLM2-Chat-1.8B 模型在 C-Eval 数据集上的性能。由于 OpenCompass 默认并行启动评估过程，我们可以在第一次运行时以 --debug 模式启动评估，并检查是否存在问题。在 --debug 模式下，任务将按顺序执行，并实时打印输出。为10% A100。
书生大模型实训营第4期基础岛第六关：OpenCompass 评测书生大模型实践
weixin_54052852的博客
11-24 1429
书生大模型实训营第4期基础岛第六关任务笔记
OpenCompass - 大模型评测
AI工程化、开源分享、文档翻译、代码笔记
07-16 3187
一、关于 OpenCompass 概览 组成 评测对象 工具架构 能力维度 设计思路 通用能力 学科综合能力 知识能力 推理能力 理解能力 语言能力 安全能力 评测方法 客观评测 主观评测(即将发布) 特点 路线图 🔜 二、安装 🛠️ 1、环境配置💻 面向开源模型的GPU环境 面向API模型测试的CPU环境 2、数据准备📂 三、评测 🏗️ ️ 四、数据集 & 模型支持 📖 模型支持 五、快速开始 1、配置评估任务 对于对话模型 对于基座模型 2、启动评估 3、可视化评估结果 更多教程
书生实战营第四期-基础岛第六关-OpenCompass 评测书生大模型实践
m0_75009117的博客
11-14 1534
OpenCompass 提供API 模式评测和本地直接评测两种方式。 API 模式评测针对以 API 服务形式部署的模型，本地直接评测面向可以获取到模型权重文件的情况。
OpenCompass 评测【书生大模型实战营】
fulekkk的博客
12-22 861
主观评测旨在评估模型在符合人类偏好的能力上的表现。这种评估的黄金准则是人类喜好，但标注成本很高。为了探究模型的主观能力，我们采用了JudgeLLM作为人类评估者的替代品（Compare模式：将模型的回答进行两两比较，以计算对战其胜率。我们基于以上方法支持了JudgeLLM用于模型的主观能力评估（目前opencompass仓库里支持的所有模型都可以直接作为JudgeLLM进行调用，此外一些专用的JudgeLLM我们也在计划支持中）。
书生·浦语大模型实战营 第一节课 InternLM2 技术报告
weixin_45483762的博客
05-30 1249
InternLM2 技术报告报告链接读前感：其实很纠结是否要读这份报告， 首先会花费很多时间，其次是个人能力不足会不会有很多专业的内容无法读懂。但最后还是下决心了。虽然很慢也很痛苦，但学习高质量的论文应该是更高效的方式。下面笔记只是论文的结构和基本轮廓，详细内容请各位自行查询。读后感：花了2天时间，借助AI通篇看了一下这篇文章。感觉大部分内容看不懂，具体的技术特性就略过了。收货是对大模型的训练、评估过程有了一个初步的轮廓，建立一个宏观的认知。
书生大模型第四期笔记:Prompt/RAG/XTuner微调/Agent/LMDeploy量化部署...
m0_53632564的博客
11-07 1658
远程连接的好处就是，如果你使用的是远程办公，你可以通过SSH远程连接开发机，这样就可以在本地进行开发。是一种网络技术，它可以将外网中的任意端口映射到内网中的相应端口，实现内网与外网之间的通信。这条命令会通过开发机 SSH 通道将开发机内的 {开发机_PORT} 转发到您本地机器的 (本地机器_PORT}，这个过程可能会要求你输入 SSH 链接的密码。组成，为建立安全的 SSH 通道，双方需要先建立 TCP 连接，然后协商使用的版本号和各类算法，并生成相同的。，我们使用本地连接访问，解决这个代理问题。
TensorRT笔记（5）：研究timingCache
最新发布
ouliten的博客
12-02 633
在里出现了大量的timingCache，但是当时没有取研究这是干啥的，本文就来解析一下。样例都基于上面的文章。
【推荐系统】深度学习训练框架（五）：pyspark分布式TorchDistributor主从读取OSS文件认证机制
人工智能领域博客
11-28 1859
摘要： 本文详细解释了Spark Driver端与Worker端在OSS认证上的核心区别。Driver端通过Spark配置自动认证，而Worker端（独立Python进程）需显式提供认证信息。认证来源优先级为：1)Driver传递参数，2)环境变量，3)IAM角色。文章分析了架构差异导致的不同认证方式，并推荐从Driver传递认证信息的解决方案。当前实现已采用该方案，通过Spark配置或环境变量获取认证后传递给Worker进程，确保PyArrow能正确访问OSS数据。
向量嵌入：RAG系统背后的语义引擎
uncle_ll的博客
11-29 1426
向量嵌入技术将高维语义信息压缩为低维向量，使相似概念在向量空间中聚集。作为RAG系统的核心，嵌入质量直接影响语义检索效果。从静态词嵌入到动态上下文嵌入，技术不断演进，解决了多义词等难题。现代嵌入模型基于Transformer架构，通过对比学习优化检索性能。选型需考虑MTEB排名、语言支持等维度，并结合业务测试。未来趋势包括多模态融合、知识图谱增强和轻量化部署。嵌入技术已成为NLP领域的关键支柱，其优化对提升RAG系统性能至关重要。
07_Spring AI 干货笔记之提示词
在科技的浪潮中，我们寻找着创新的火种，在代码的海洋里，我们编织着智慧的网。腾飞开源，就是这样一个由技术精英汇聚而成的博客平台，我们致力于分享在Java、Python、IoT和人工智能等领域的最新研究成果和实战经验。 在腾飞开源的博客上，你会看到紧跟技术前
11-30 1632
本文详细介绍了Spring AI中的提示词核心概念与API设计。提示词作为引导AI模型生成特定输出的关键输入，其结构从简单字符串演进为包含多角色消息的复杂形式。Spring AI通过Prompt和Message接口提供结构化提示词管理，支持系统、用户、助手等角色分配。PromptTemplate类实现动态内容渲染，并支持自定义模板引擎。文章还涵盖提示词工程的最佳实践与令牌机制，为开发者提供完整的提示词设计解决方案。
【LLM】DeepSeekMath-V2模型
发现问题，并解决问题，批判性思维
11-29 1421
研究问题：这篇文章要解决的问题是如何在大型语言模型（LLMs）中进行自我验证的数学推理。具体来说，现有的基于最终答案奖励的强化学习方法在数学推理中存在根本局限性，因为正确答案并不能保证推理的正确性，特别是在定理证明任务中。 研究难点：该问题的研究难点包括：如何在不依赖最终答案的情况下验证推理的正确性；如何在生成和验证之间建立有效的迭代改进循环；如何在没有已知解决方案的开放问题上扩展测试时计算。 相关工作：该问题的研究相关工作有：OpenAI的推理模型在定量推理竞赛中取得了显著进展；DeepMind的Deep
【人工智能】【深度学习】 ② GAN核心算法介绍：生成器与判别器的博弈艺术
xiezhiyi007的专栏
11-27 1010
本文为【人工智能】【深度学习】系列第②篇，深入浅出讲解生成对抗网络（GAN）的核心原理。从“造假者 vs 警察”的大白话比喻出发，逐步推导极小极大博弈公式，详解生成器与判别器的对抗机制，并对比 CNN、RNN 的本质差异。附带完整 PyTorch 代码实现（逐行注释），涵盖 DCGAN 架构、训练流程与工程技巧，适合零基础读者入门生成式 AI。结尾预告下一期 Transformer 主题，延续系统化学习路线。
opencompass 评测自定义模型
05-26
### 使用 OpenCompass 评测自定义模型的性能 为了评估自定义模型在 OpenCompass 上的表现，可以通过以下方法实现完整的配置和测试流程： #### 环境搭建 首先需要创建并激活适合运行 OpenCompass 的 Python 虚拟环境。推荐使用 `conda` 工具来管理依赖项[^4]。 执行如下命令完成环境初始化： ```bash conda create -n opencompass python=3.10 conda activate opencompass git clone -b 0.3.3 https://github.com/open-compass/opencompass.git cd opencompass pip install -e . pip install -r requirements.txt ``` 如果计划集成特定后端（如 LMDeploy 或 VLLM），需额外安装对应的扩展包[^5]: ```bash pip install "opencompass[lmdeploy]" pip install "opencompass[vllm]" ``` 对于基于 API 接口的服务化模型，则应引入 `opencompass[api]` 扩展模块。 --- #### 配置自定义模型 OpenCompass 支持多种类型的模型接入方式，包括但不限于 Hugging Face Transformers 和其他框架下的预训练语言模型。 ##### 方法一：本地加载权重文件 当拥有目标模型的具体参数文件时，可将其路径指定给 OpenCompass 并设置相应的推理引擎。例如，在 YAML 文件中描述模型信息如下所示[^4]: ```yaml model: type: 'custom_model' # 替换为实际名称 path: '/path/to/your/model' peft_path: null # 如果适用 PEFT 技术，请填写对应适配器地址 tokenizer_name_or_path: '/path/to/tokenizer' max_seq_len: 2048 # 可调整最大序列长度以适应具体需求 ``` ##### 方法二：API 模式调用远程服务 若无法直接访问模型权重而仅能通过 RESTful API 获取预测结果，则按照官方文档说明启用 API 模式[^5]。此时需提供 URL 地址以及必要的认证令牌等附加选项。 --- #### 构建评测任务 根据待测能力范围选取合适的评测集合与度量标准。OpenCompass 内置丰富的公开基准库覆盖多个领域方向[^3]，同时也允许导入私有数据源作为补充材料。 ###### 常见评估指标及其应用场景 | **Evaluator 类型** | **核心功能** | **典型关联数据集** | |-------------------|----------------------------------|----------------------------| | ACCEvaluator | 计算分类准确性 | AGIEval, ARC | | EMEvaluator | 统计完全匹配比例 | DROP, CLUE_CMRC | 用户可根据业务特点灵活组合不同维度形成综合性报告。 --- #### 启动评测过程 最终一步便是触发整个流水线操作。假设已准备好所有前置条件之后，只需简单运行脚本即可自动化完成全部环节: ```bash python run.py config.yaml ``` 此处 `config.yaml` 应包含前述提到的所有必要字段定义。 --- ### 注意事项 在整个过程中务必注意版本兼容性和资源分配合理性等问题以免引发异常状况发生。另外考虑到某些特殊情况下可能存在数据泄露风险因此建议审慎对待敏感素材处理逻辑设计。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

早上真好

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值