【书生浦语第二期实战营学习笔记&作业(七)】

已于 2024-04-24 12:36:50 修改
阅读量491 收藏 1
点赞数 6
CC 4.0 BY-SA版权
分类专栏： AI大模型 文章标签： 学习 笔记
于 2024-04-23 22:55:56 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/yqyn6/article/details/138137693
本文探讨了OpenCompass在大模型评测中的作用，包括其发展历程、评测方法的优点、以及如何促进模型发展。还介绍了基础和进阶作业，如使用C-Eval数据集评估internlm2-chat-1_8b模型及自定义数据集的提交流程。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

课程文档：https://github.com/InternLM/Tutorial/blob/camp2/opencompass/readme.md
课程作业：https://github.com/InternLM/Tutorial/blob/camp2/opencompass/homework.md

OpenCompass 大模型评测实战

1. 大模型的评测

1.1 大模型评测如何促进发展

在这里插入图片描述

1.2 大模型评测中的难点

在这里插入图片描述

2. OpenCompass介绍

2.1 OpenCompass发展历程

在这里插入图片描述

2.2 OpenCompass广泛应用助力

在这里插入图片描述

2.3 OpenCompass评测大模型方式和优点特性

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

2.4 OpenCompass模型排行

在这里插入图片描述

作业

基础作业

  • 使用 OpenCompass 评测 internlm2-chat-1_8b 模型在 C-Eval 数据集上的性能

查看支持的数据集和模型
在这里插入图片描述
评测结果：
在这里插入图片描述

进阶作业

  • 将自定义数据集提交至OpenCompass官网
【 书生·浦语大模型实战营】学习笔记（一）：全链路开源体系介绍
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
03-31 2119
本文为实战营第一次课程笔记，主要分为两个部分，第一部分从书生·浦语大模型发展、分类、组成进行详细介绍，方便大家理解。第二部分为对 InternLM2技术报告解读，后续系列会继续更新，欢迎大家交流！
大模型部署与推理-基于LMDeploy-书生·浦语大模型第二期实战营第五课笔记&作业
2301_76739570的博客
04-10 891
前向推理需要的计算量公式Cforward​2∗N2∗nlayer​∗nctx​∗dattn​– N是参数量，nlayer​nctx​dattn​分别代表层数，上下文长度，注意力维度kv cache显存占用公式Mkvcache​4∗b∗nlayer​∗dattn​∗sn–bnlayer​dattn​。
【书生浦语第二期实战营学习笔记&作业(六)】
yqyn6的博客
04-23 522
Lagent & AgentLego 智能体应用搭建
【书生浦语第二期实战营学习笔记&作业(四)】
yqyn6的博客
04-22 376
两种Finetune范式： 增量预训练和指令跟随增量预训练和指令跟随 区别：多模态LLM原理简介LLaVA方案简介。
【书生浦语第二期实战营学习笔记&作业(五)】
yqyn6的博客
04-23 399
LMDeploy 量化部署 LLM&VLM实战
书生浦语第二期实战营学习笔记（作业）（第七节课）
Ray_Tang_的博客
04-24 1100
1.如何全面的评测LLM2.LLM的评测成本非常高3.评测的数据污染问题4.LLM评测结果的鲁棒性在run.sh同级目录data下，执行一下命令设置–datasets petEval_gen/bin/bash---language:- language- languagewebsite:github:paper:tag:- textcn: # optional, for chinese version website name: 宠物百科知识验证集。
【书生浦语第二期实战营学习作业&笔记(二)】
yqyn6的博客
04-19 416
一般来说，prompt 越长，描述得越清楚，模型生成的输出质量就越好，置信度越高，这时可以适当调高 temperature 的值；反过来，如果 prompt 很短，很含糊，这时再设置一个比较高的 temperature 值，模型的输出就很不稳定了。比如下面这个图片，输入 The name of that country is the 这句话，模型生成了一堆 token，然后根据不同的 decoding strategy 从 tokens 中选择输出。用于控制模型输出的结果的随机性，这个值越大随机性越大。
书生浦语第二期实战营学习笔记（第一节课）
Ray_Tang_的博客
03-28 601
数据质量决定模型的上限，IternLM2在这一块也做了很多工作总分总，经典格式啊！
书生浦语第二期实战营学习笔记（作业）（第六节课）
Ray_Tang_的博客
04-22 807
智能体实现工具LagentLagent 是一个轻量级开源智能体框架，旨在让用户可以高效地构建基于大语言模型的智能体。同时它也提供了一些典型工具以增强大语言模型的能力。2. 多智能体实现工具AgentLegoAgentLego 是一个提供了多种开源工具 API 的多模态工具包，旨在像是乐高积木一样，让用户可以快速简便地拓展自定义工具，从而组装出自己的智能体。
书生浦语第二期实战营学习笔记（作业）（第三节课）
Ray_Tang_的博客
04-10 1273
如下图，RAG是检索用户提供的外部知识库，让LLM理解然后生成的一种技术可以看到茴香豆不仅是一个应用，也是一套非常完善的Pipline，它包含了：1.知识库构建2.和前端交互3.和后端交互。
书生浦语第二期实战营学习笔记（作业）（第四节课）
Ray_Tang_的博客
04-19 1397
根据微调的目的，主要分为两种1.增量预训练微调2.指令跟随微调1.多数据拼接2.使用Flash Attention和DeepSpeed。
书生浦语大模型实战营第三期 L2 MindSearch 快速部署学习笔记
yizhiboshanshan的博客
08-28 421
最后，将 /root/mindsearch/mindsearch_deploy 目录下的文件（使用 git）提交到 HuggingFace Space 即可完成部署。硅基流动提供了免费的 InternLM2.5-7B-Chat 服务，MindSearch 的部署与使用进一步降低了部署门槛。来准备 API Key。首先创建新 API 密钥，然后点击密钥进行复制，以备后续使用。来注册硅基流动的账号，在完成注册后，打开。
书生浦语大模型实战营第三期 L1 浦语提示词工程实践学习笔记
yizhiboshanshan的博客
07-29 488
近期相关研究发现，LLM在对比浮点数字时表现不佳，经验证，internlm2-chat-1.8b (internlm2-chat-7b)也存在这一问题，例如认为。的提示词专家助手，国内有KIMI与LangGPT合作的提示词专家网页服务，更方便一些，模型返回结果是13.8大于13.11，是对的，可能在这方面做了优化。利用LangGPT生成数学专家提示词，github上是。：利用LangGPT优化提示词，使LLM输出正确结果。还是不行，没有明显改进，留待后续继续优化。
书生浦语大模型实战营第三期 L2 LMDeploy量化部署实践学习笔记
yizhiboshanshan的博客
08-08 1004
启动后就可以与InternLM2-Chat-1.8B大模型对话了，输入问题，然后需要按两下回车键（这里得注意，之前没注意还以为卡住了这么慢），速度确实比之前使用Transformer库来运行模型的速度快。Function call，即函数调用功能，它允许开发者在调用模型时，详细说明函数的作用，并使模型能够智能地根据用户的提问来输入参数并执行函数。InternVL2-26B需要约70+GB显存，但是为了能够在50%A100上运行，需要先进行量化操作，这也是量化本身的意义所在——即降低模型部署成本。
尚硅谷尚庭公寓学习笔记
2301_80165178的博客
07-31 1051
本文摘要了Java开发中的几个实用技巧：1）使用@Builder注解实现链式调用创建对象；2）saveOrUpdate方法根据主键自动判断插入或更新数据；3) Minio文件上传的完整实现流程，包括配置、权限设置和服务层逻辑；4）集合判空的最佳实践；5）UpdateWrapper实现条件更新；6）IPage分页查询的使用方法。这些内容涵盖了日常开发中的常见场景，对提高开发效率很有帮助。
学习日志23 python
AYheyheyhey的博客
07-31 1125
允许重复：列表、元组、字符串、字典（值允许重复）不允许重复：集合、冻结集合、字典（键不允许重复）round()vsrint()：功能完全一致，均为四舍五入到最近整数（银行家舍入法）。floor()vsceil()：前者向下取整，后者向上取整（方向相反）。trunc()vsfloor()：对正数效果相同（如2.9都→2），对负数不同（-2.9trunc→-2，floor→-3）。通过这些函数，可以高效处理 NumPy 数组的数值计算和结构调整，是数据分析和科学计算的基础工具。
AI Agent开发学习系列 - LangGraph(7): 带有条件判断的Conditional Graph
最新发布
alex100的博客
08-02 473
该示例展示了如何使用LangGraph的条件边机制构建动态工作流。通过定义决策函数decide_next_node，系统能根据输入状态（如操作符）自动选择执行加法或减法节点。核心方法add_conditional_edges实现了动态路由，相比固定连接的add_edge更具灵活性。这种设计使得工作流能智能响应不同输入条件，适用于需要分支处理的复杂场景，如示例中根据"+"或"-"运算符选择对应计算节点，最终输出正确结果3。
学习日志24 python
AYheyheyhey的博客
08-01 704
只针对不可变类型：因为不可变类型的值不会被修改，共享对象不会有风险。目的是优化性能：避免频繁创建和销毁相同的小对象（如常用整数、短字符串）。不要依赖此机制：常量池是 Python 内部优化，不同版本可能有差异，比较值应始终用==，而非is。不可变类型可能有常量池，可变类型一定没有，这是 Python 对内存和性能的平衡设计。Python 中确实没有 Java 里那种严格定义的「常量池」（Constant Pool）概念。
学习笔记090——Ubuntu 中 UFW 防火墙的使用
code__bee的博客
08-01 333
【代码】学习笔记090——Ubuntu 中 UFW 防火墙的使用。
书生浦语大模型实战课：解决配置与端口问题
"书生浦语大模型实战课的第二课作业中，学员们通过视频教程进行学习，但在实际操作中遇到了一系列问题，包括端口配置、权限不足、端口被占用以及URL无法打开等。这些问题主要围绕SSH免密登录和端口占用问题展开。在...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

yqyn

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值