使用opencompass在Humaneval+上对比Qwen2-7B和AlchemistCoder-DS-6.7B

最新推荐文章于 2025-04-11 15:57:14 发布
原创 最新推荐文章于 2025-04-11 15:57:14 发布 · 943 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#elasticsearch #大数据 #搜索引擎 #人工智能 #深度学习

AlchemistCoder

AlchemistCoder 是InternLM的代码生成模型
对比一下类似参数，近期评价很好的Qwen2-7B
在这里插入图片描述

下载模型

分别下载到本地（使用hf-mirror）

huggingface-cli download --resume-download internlm/AlchemistCoder-DS-6.7B --local-dir /root/models/AlchemistCoder-DS-6.7B/

huggingface-cli download --resume-download Qwen/Qwen2-7B-Instruct --local-dir /root/models/Qwen2-7B-Instruct/

运行评测

python run.py
--datasets humaneval_plus_gen \
--hf-path /root/models/AlchemistCoder-DS-6.7B \  # HuggingFace 模型路径
--tokenizer-path /root/models/AlchemistCoder-DS-6.7B \  # HuggingFace tokenizer 路径（如果与模型路径相同，可以省略）
--tokenizer-kwargs padding_side='left' truncation='lef
最低0.47元/天 解锁文章
mybbsss
关注
开源模型应用落地-qwen2-7b-instruct-LoRA微调-LLaMA-Factory-单机多卡-RTX 4090双卡（五）
以微薄之力，予他人些许温暖.
08-10 4万+
使用LLaMA-Factory高效微调qwen2-7b-instruct
【opencompass】使用记录
andeyeluguo的博客
12-11 222
先记录，后面用的时候再说。
LLM大语言模型训练推理- 推理精度测试
2404_89367113的博客
11-29 2186
本章节介绍两个精度测评工具。如何使用opencompass工具开展语言模型的推理精度测试，数据集是ceval_gen、mmlu_gen、math_gen、gsm8k_gen、humaneval_gen；以及使用lm-eval工具开展语言模型的推理精度测试，数据集包含mmlu、ARC_Challenge、GSM_8k、Hellaswag、Winogrande、TruthfulQA等，该工具为离线测评，不需要启动推理服务，目前支持大语言模型。
OpenCompass使用LawBench数据测评本地Qwen大模型
weixin_55010563的博客
11-20 643
7.3 同样修改 from .datasets.lawbench.lawbench_one_shot_gen_002588 import lawbench_datasets as one 中的 lawbench_one_shot_gen_002588 文件。7.4 创建 from opencompass.configs.models.qwen.local_qwen_1_8b_chat import models 中的 qwen.local_qwen_1_8b_chat 文件。
opencompass模型评测
weixin_58458535的博客
06-12 2828
对于 HuggingFace 模型，用户可以通过命令行直接设置模型参数，无需额外的配置文件。通过这种方式，OpenCompass 一次只评估一个模型，而其他方式可以一次评估多个模型。–hf-num-gpus 不代表实际用于评估的 GPU 数量，而是该模型所需的最少 GPU 数量。--hf-type base \ # HuggingFace 模型类型, base 或 chat--hf-path facebook/opt-125m \ # HuggingFace 模型路径。
AI大模型如何测评代码生成能力 human-eval详解
酌沧
05-22 3711
此内部函数用于计算单个问题的pass@k概率。如果尝试的次数 (n) 减去错误的次数 (c) 小于k，说明不可能有k次正确的结果，因此概率是 1（即100%失败）。否则，计算公式表示至少有k次正确的概率。这个计算使用了组合数公式，其中comb(n, k)是从n次尝试中选取k次的所有可能组合方式，是在所有尝试中去除所有正确答案后，剩余尝试中选取k次的组合方式。通过这种方法，函数能够有效地为每个问题计算至少达到k次正确答案的概率。
OpenCompass - 大模型评测
AI工程化、开源分享、文档翻译、代码笔记
07-16 3255
一、关于 OpenCompass 概览 组成 评测对象 工具架构 能力维度 设计思路 通用能力 学科综合能力 知识能力 推理能力 理解能力 语言能力 安全能力 评测方法 客观评测 主观评测(即将发布) 特点 路线图 🔜 二、安装 🛠️ 1、环境配置💻 面向开源模型的GPU环境 面向API模型测试的CPU环境 2、数据准备📂 三、评测 🏗️ ️ 四、数据集 & 模型支持 📖 模型支持 五、快速开始 1、配置评估任务 对于对话模型 对于基座模型 2、启动评估 3、可视化评估结果 更多教程
大模型评估框架-----OpenCompass模型评估简介
最新发布
风信子的博客
04-11 916
OpenCompass是一个开源项目，为机器学习和自然语言处理领域提供多功能、易于使用的工具和框架。它包含多个开源模型和开源数据集（BenchMarks），方便进行模型的效果评测。
精选资源
基于Qwen2.5-7B-Instruct的大模型微调实战指南
11-18
内容概要：本文档详细介绍了如何使用Qwen2.5-7B-Instruct大模型进行微调的具体步骤。主要内容包括环境搭建、预训练模型下载、微调准备工作、具体微调流程以及如何启用外部记录面板等。通过本文档，读者可以逐步掌握...
精选资源
qwen2.5-7b 部署
11-15
标题 "qwen2.5-7b 部署" 暗示本文将详细讨论关于名为 "qwen2.5-7b" 的软件或系统部署过程中的必要步骤和技术细节。从给定的文件信息来看，该部署过程涉及到一系列复杂的依赖关系和依赖文件的管理。部署所依赖的文件...
LangChain + llamaFactory + Qwen2-7b-VL 构建本地RAG问答系统
gwd777的专栏
01-22 905
langchain rag的基本使用
Qwen2-7B-Instruct 的 model-00001-of-00004.safetensors 的2/2
07-25
Qwen2-7B-Instruct 的 model-00001-of-00004.safetensors 的2/2
大模型能力测试
qq_19072921的博客
11-09 873
大模型评估策略
Qwen2 阿里最强开源大模型（Qwen2-7B）本地部署、API调用和WebUI对话机器人
热门推荐
老牛啊
06-12 1万+
阿里云正式开源通义千问Qwen2系列模型，其中Qwen2-72B成为全球性能最强的开源模型，在全球权威测评中，性能超过美国最强开源模型Llama3-70B，也超过文心4.0、豆包pro、混元pro等众多中国闭源大模型。今天老牛同学部署和体验Qwen2-7B中等尺寸模型，包括本地部署、API嗲用和WebUI对话客户端……
大模型Java编码能力评估
wenxueliu的博客
10-06 1008
从数据集来看，目前大模型支持更多还是函数级别。涉及不到类层面。因此，Java 语言的评估模型是不是需要优化？
阿里最新大模型Qwen2-72B-Instruct 开源体验
一个今天胜过两个明天
06-07 8626
Qwen2 是 Qwen 大型语言模型的新系列。对于 Qwen2，我们发布了许多基础语言模型和指令调优语言模型，范围从 0.5 到 720 亿个参数，包括专家混合模型。此存储库包含指令调整的 72B Qwen2 模型。与之前发布的 Qwen1.5 等最先进的开源语言模型相比，Qwen2 总体上超越了大多数开源模型，并在语言理解、语言生成、多语言能力、编码、数学、推理等一系列基准测试中表现出了与专有模型的竞争力。
[大模型]Qwen2-7B-Instruct Lora 微调
FL1623863129的博客
06-15 4382
LoraConfig这个类中可以设置很多参数，但主要的参数没多少，简单讲一讲，感兴趣的同学可以直接看源码。task_type：模型类型：需要训练的模型层的名字，主要就是attention部分的层，不同的模型对应的层的名字不同，可以传入数组，也可以字符串，也可以正则表达式。rlora的秩，具体可以看Lora原理lora_alphaLora alaph，具体作用参见Lora原理Lora的缩放是啥嘞？当然不是r（秩），这个缩放就是, 在这个LoraConfig中缩放就是4倍。
大模型【Qwen2-7B本地部署（WEB版）】（windows）
略知12的博客
07-11 7345
大模型是截止2024年上半年最强的AI，Qwen2是刚出来的号称国内最强开源大模型。这是大模型系列的第一篇文章，旨在快速部署看看最近出来的大模型效果怎么样，效果ok的话就微调自己的GPTs了。
OpenCompass 大模型评测平台C-Eval 基准任务评估实战
garyyu2200的博客
06-08 1638
OpenCompass，一个由上海人工智能实验室开发的大模型开源评测体系，提供了一套全面、公正、可复现的评测方案，帮助研究人员和开发者深入了解和优化他们的模型。
Qwen2-7b和Qwen2-2.5b哪个好
01-14
### 不同大小的Qwen2模型性能对比 对于 Qwen2-7B 和 Qwen2-2.5B 模型，在多个方面存在显著差异，这些差异影响了各自的表现和能力。 #### 性能表现 较大的 Qwen2-7B 模型通常具有更好的泛化能力和更高的准确性。这是因为更大的参数量允许网络学习到更复杂的模式并更好地捕捉数据中的细微差别[^1]。相比之下，较小的 Qwen2-2.5B 虽然在资源消耗上更为经济高效，但在处理复杂任务时可能不如较大版本那么出色。 #### 训练效率与推理速度 由于拥有较少的参数数量，Qwen2-2.5B 在训练过程中所需的计算资源相对较低，并且可以更快完成一轮迭代；同样地，在实际应用环境中执行预测操作也会更加迅速。然而，这种优势是以牺牲一定的精度为代价换取而来。 #### 应用场景适应性 如果应用场景对实时响应有较高要求，则可以选择轻量化版即 Qwen2-2.5B 来满足需求；而对于那些追求极致效果而不受限于硬件条件的任务来说，采用高容量配置如 Qwen2-7B 将会是一个明智的选择。 ```python import time def compare_model_performance(model_2_5b, model_7b): start_time = time.time() result_2_5b = model_2_5b.predict() # 假设 predict 方法用于获取模型输出 end_time_2_5b = time.time() result_7b = model_7b.predict() end_time_7b = time.time() inference_time_2_5b = end_time_2_5b - start_time inference_time_7b = end_time_7b - end_time_2_5b print(f"Inference Time (2.5B): {inference_time_2_5b:.4f} seconds") print(f"Inference Time (7B): {inference_time_7b:.4f} seconds") # 示例调用函数来展示两个模型之间的推断时间区别 compare_model_performance(Model2_5B(), Model7B()) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值