evalscope评测LLM

最新推荐文章于 2025-05-16 09:50:45 发布
最新推荐文章于 2025-05-16 09:50:45 发布
阅读量825 收藏
点赞数 3
文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_43814415/article/details/141647916
版权
AI智算-DeepSeek-r1:671b性能压测&H100
Kason_iWiki
02-23 1737
继上次结合K8s、SGLang、LWS 等技术栈，完成分布式 DeepSeek-r1 推理集群的部署后，经过几天的实际使用，发现当并发数达到一定阈值时，性能出现下降。为进一步评估和优化集群性能，现对已部署的 DeepSeek-r1 推理集群进行深入的性能压测。选型LLM 性能压测工具经过调研，选择 推理引擎 SGLang 自带的基准测试工具，以及Locust和EvalScope两款成熟的性能测试工具，进行全面的性能评估。官网地址：https://locust.io。
DeepSeek-R1模型推理性能测试（EvalScope）
weixin_59534602的博客
02-13 4078
使用EvalScope对DeepSeek-R1大语言模型的推理性能进行测试，并且结果可视化。
模型推理性能测试EvalScope
最新发布
sqlora的专栏
05-16 64
快速开始。
ollama修改配置使用多GPU，使用EvalScope进行模型压力测试，查看使用负载均衡前后的性能区别
百年孤独百年的博客
04-15 2868
由于ollama默认调用模型，模型实例会运行在一张卡上，如果有几张显卡，模型只会永远跑在第一张卡上，除非显存超出，然后才会将模型跑在第二张卡，这造成了资源很大的浪费。网上通过修改ollama.service的配置。修改之后可以负载均衡，显存平均分配在集群中的每张卡上，但是我不太了解这种方式是否会提升模型吞吐量？和默认的调用单卡实例有啥区别呢？
evalscope-多模态自定义数据集评测(api)
齐殿天下
01-20 641
evalscope支持选择题和问答题，两种预定义的数据集格式。
生产环境H200部署DeepSeek 671B 满血版全流程实战（四）：vLLM 与 SGLang 的性能大比拼
nulifancuoAI的博客
03-14 1539
EvalScope是魔搭社区官方推出的模型评测与性能基准测试框架，内置多个常用测试基准和评测指标，如MMLU、CMMLU、C-Eval、GSM8K、ARC、HellaSwag、TruthfulQA、MATH和HumanEval等；支持多种类型的模型评测，包括LLM、多模态LLM、embedding模型和reranker模型。EvalScope还适用于多种评测场景，如端到端RAG评测、竞技场模式和模型推理性能压测等。官网：https://evalscope.readthedocs.io。
大模型压力测试 evalscope
强化学习曾小健
08-15 4383
您可以使用 --query-template 自定义您的请求，您可以指定一个 json 字符串：'{"model": "%m", "messages": [{"role": "user","content": "%p"}], "stream": true,"skip_special_tokens": false,"stop": ["<|im_end|>"]}' 或使用 @to_query_template_path 指定本地文件。--debug 使用--debug选项，我们将输出请求和响应。
通过EvalScope对4090卡上的deepseek进行性能测试
软件架构师笔记
03-03 2029
EvalScope是魔搭社区官方推出的模型评测与性能基准测试框架，内置多个常用测试基准和评测指标，如MMLU、CMMLU、C-Eval、GSM8K、ARC、HellaSwag、TruthfulQA、MATH和HumanEval等；支持多种类型的模型评测，包括LLM、多模态LLM、embedding模型和reranker模型。EvalScope还适用于多种评测场景，如端到端RAG评测、竞技场模式和模型推理性能压测等。
【无标题】eval-scope 自定义数据集-翻译
齐殿天下
07-11 590
【代码】【无标题】eval-scope 自定义数据集-翻译。
SWIFT & EvalScope：魔搭社区大模型微调部署与评测的强大利器
MnivL的博客
02-07 1245
本文主要介绍了魔搭社区的两大重要框架 ——SWIFT 和 EvalScope。SWIFT（Scalable lightWeight Infrastructure for Fine-Tuning）是大模型与多模态大模型微调部署框架，ms-swift 3.0 已发布，支持 450 + 大模型及 150 + 多模态大模型的训练等环节，汇集多种训练技术，支持加速与量化，还提供 Web - UI 界面。EvalScope 是模型评测与性能基准测试框架，支持多种模型类型和评测场景，内置常用测试基准和指标，且与 ms -
大模型评测框架evalscope、openCompass
hang on it more longer
03-29 1271
【LLM之评测】opencompass使用自定义接口与自定义数据集进行评测_opencompass 自定义数据集-优快云博客（1）新建custom_api.pymodels = [dict(],retry=3。
大模型系列：LLM-Eval大模型评测理论简述
yXIAOyu_的博客
07-15 1034
随着越来越多的大语言模型被发布和使用，如何对大模型的能力进行评测（LLM Evaluation）成为一个新的课题，本篇对大模型评测的基础知识做简要综述介绍。
大模型自动评估理论和实战--LLM Automatic Evaluation
强化学习曾小健
06-28 1275
引言大语言模型（LLM）评测是LLM开发和应用中的关键环节。目前评测方法可以分为人工评测和自动评测，其中，自动评测技术相比人工评测来讲，具有效率高、一致性好、可复现、鲁棒性好等特点，逐渐成为业界研究的重点。模型的自动评测技术可以分为rule-based和model-based两大类：rule-based方法：benchmark以客观题为主，例如多选题，被测的LLM通过理解context/question，来指定最佳答案解析LLM的response，与标准答案做对比计算等）
大模型全链路开发最佳实践：从数据到模型评测
engchina的专栏
01-05 1147
大模型全链路开发最佳实践：从数据到模型评测
又发现FF的两处不同eval和scope释放问题...
和谐的望天
05-22 1487
注以下script块都需单独测试//eval的不同var c = 2;var a = function () {    var c = 1;    return eval.call(null, c);    //call的第一个参数为null的话，就是global即window，所以eval的this引用以及scope都为window(因为是window.eval所以scope是window)
10 分钟大揭秘！evalscope 如何测评大模型真实能力？
个人技术
03-15 1557
文章介绍使用魔搭社区开源工具 evalscope 在 IQuiz 数据集上评测模型。先阐述模型评测关键方面，接着说明评测步骤，含开启 notebook、安装工具、评测 Qwen2.5 - 7B - Instruct 和 internlm3 - 8b - instruct 模型、可视化结果，最后总结工具上手简单，适用多种场景。
MM-LLM：使用swift进行客观评测
qq_43814415的博客
08-07 621
司南是目前国内主流的（我觉得）评测框架，包含LLM的客观评测，VLM的客观评测（移动到vlmevalkit），长文本评测。这里以本地部署的VLM的OpenAI格式接口为例，只需要配置好evalscope环境，然后遵循下述代码。Swift（阿里的）集成了司南的，使得评测更为简单。
推荐一个可用于推理模型的评估框架-Evalscope
ld326的专栏
04-09 671
推荐一个可用于推理模型的评估框架-Evalscope
evalscope使用
03-14
<think>好的，我现在需要帮助用户解决关于如何使用evalscope工具的问题。首先，用户提到想了解使用教程或者如何正确使用它，但根据提供的引用内容，似乎没有直接提到evalscope的信息。我需要先检查提供的三个引用是否有相关内容。 引用[1]讲的是JMeter配置，涉及性能监控工具，可能与测试或评估有关，但不确定是否与evalscope直接相关。引用[2]讨论的是数据投毒和安全检测，属于安全领域，可能和评估系统的安全性有关，但同样没有提到evalscope。引用[3]涉及SWIFT框架，支持多种训练领域，如数学、Agent、多模态VQA等，但也没有提到evalscope。 因此，用户提到的evalscope可能在提供的引用之外，或者可能存在拼写错误。这时候应该考虑用户是否有其他意图，或者是否在引用中有其他名称的工具。例如，引用[3]中的SWIFT框架是否包含类似evalscope的模块？或者用户可能混淆了工具名称？ 由于信息不足，可能需要告知用户当前参考资料中未提及evalscope，并建议检查名称拼写或提供更多上下文。同时，可以基于现有引用中的工具（如JMeter、SWIFT）提供相关帮助，或询问用户是否指这些工具。此外，可能用户提到的evalscope是一个特定领域的工具，需要进一步的信息才能准确回答。因此，在回答时应礼貌地说明情况，并引导用户提供更多细节。</think>关于如何使用`evalscope`工具，目前提供的参考资料中未直接提及该工具的具体功能或操作步骤。建议先确认工具名称的拼写是否正确，或检查是否属于以下相关场景中的工具： ### 基于现有资料的关联建议 1. **性能监控工具（类似JMeter配置）** 若`evalscope`用于系统性能评估，可参考类似JMeter的配置方法： - 创建线程组，定义并发用户数 - 添加监听器（如`jp@gc - PerfMon Metrics Collector`）监控CPU、内存等指标[^1] ```python # 示例：JMeter性能测试脚本结构（伪代码） from jmeter_api import ThreadGroup, HTTPSampler, PerfMonCollector thread_group = ThreadGroup(users=100, ramp_up=60) http_request = HTTPSampler(url="https://api.example.com") perf_mon = PerfMonCollector(metrics=["CPU", "Memory"]) ``` 2. **安全检测或数据调试（类似数据投毒检测）** 若涉及安全评估，可参考以下步骤： - 注入调试标记（如特定字符串）验证系统断点 - 检查权限绕过、支付跳转等漏洞[^2] 3. **模型训练与评估（类似SWIFT框架）** 若用于AI模型评估（如RL训练、多模态VQA）： - 使用SWIFT框架配置训练任务（支持数学推理、Agent训练等） - 结合vLLM的MP模式扩展大模型训练规模[^3] ```python # 示例：SWIFT框架初始化训练任务 from swift import Trainer, TrainingConfig config = TrainingConfig(task="math_reasoning", use_vllm=True) trainer = Trainer(config) trainer.train() ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

灵海之森

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值