书生·浦语大模型训练营第六次课笔记

原创 已于 2024-02-17 11:52:12 修改 · 534 阅读 · 10 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#笔记 #语言模型

于 2024-02-17 11:50:46 首次发布
本文探讨了大模型评测的重要性、评测内容，包括客观和主观评测方法，介绍了OpenCompass的评测能力框架、平台架构以及面临的挑战。

OpenCompass大模型评测

在这里插入图片描述

一、关于大模型评测的三个问题

在这里插入图片描述

1.1、为什么需要测评？

在这里插入图片描述
在这里插入图片描述

1.2、需要测评什么？

在这里插入图片描述
在这里插入图片描述

1.3、如何评测大语言模型？

在这里插入图片描述

1.3.1、客观评测

在这里插入图片描述

1.3.2、主观评测

在这里插入图片描述

二、提示词工程

在这里插入图片描述

三、主流大模型评测框架

在这里插入图片描述

四、OpenCompass

4.1、OpenCompass能力框架

在这里插入图片描述

4.2、OpenCompass评测平台

在这里插入图片描述

4.3、OpenCompass开源评测平台架构

在这里插入图片描述
在这里插入图片描述

4.4、OpenCompass评测流水线设计

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

五、大模型评测领域的挑战

在这里插入图片描述

Adela0546
关注
【 书生·浦语大模型实战营】学习笔记（一）：全链路开源体系介绍
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
03-31 2274
本文为实战营第一次课程笔记，主要分为两个部分，第一部分从书生·浦语大模型发展、分类、组成进行详细介绍，方便大家理解。第二部分为对 InternLM2技术报告解读，后续系列会继续更新，欢迎大家交流！
书生·浦语大模型训练营第二期读书笔记：(二)轻松玩转书生·浦语大模型趣味 Demo
xiaocaibao123的博客
05-23 743
八戒-Chat-1.8B是利用《西游记》剧本中所有关于猪八戒的台词和语句以及 LLM API 生成的相关数据结果，进行全量微调得到的猪八戒聊天模型。作为子项目之一，八戒-Chat-1.8B能够以较低的训练成本达到不错的角色模仿能力，同时低部署条件能够为后续工作降低算力门槛。本地内网穿透ssh远程服务器服务端配置：本地机配置：此处表述有误，根据参考资料《海内十洲记》，还魂香文献记载是张骞出使西域时由月氏国带来的一种香料，主要用于治疗伤势，应该不具备清洗的功能。
书生·浦语大模型训练营第三次课笔记
Adela0546的博客
01-13 1215
首先，对于以本地文档形式存在的个人知识库，会使用Unstructed Loader组件来加载本地文档，这个组件会将不同格式的本地文档统一转换为纯文本格式。然后通过Text Splitter组件对提取出来的纯文本进行分割成chunk，再通过开源词向量模型Sentence Transformer将文本段转化为向量格式存储到基于Chroma的相对数据库中。
书生·浦语大模型训练营第一次课笔记
Adela0546的博客
01-07 602
书生·浦语大模型介绍
书生·浦语大模型训练营第四次课笔记
Adela0546的博客
01-25 1066
本节课主要包括理论和实战两大部分，理论部分会给大家简单介绍一下微调框架XTuner以及整个微调的工作流程，实战部分会手把手的教大家如何使用XTuner来自己微调一个属于自己的开源模型，我们会以intenLM为底座模型来进行微调。
书生浦语大模型训练营 第一次学习笔记
2301_79793601的博客
06-25 335
其包含学科、语言、知识、理解、推理、安全六个维度的评测集。InternLM2大模型按规格分为7B和20B两种模型，7B用于处理轻量级研究与应用，且性能不俗，20B模型更为强大的性能可以支持更为复杂的应用场景。在模型应用方面，该模型使用LMDeploy部署框架，提供大模型在GPU上部署的全流程解决方案，可实现模型的实时推理和应用。该框架支持多种任务类型，多种硬件，支持全量参数与多种大语言模型的微调，且适配多种数据格式。书生浦语的全链条开源开放体系包括数据，预训练，微调，部署，评测与应用部分。
书生·浦语大模型训练营 第一课 笔记
01-05 915
实验室提出的开源评测体系OpenCompass，是全球领先的评测体系，提供了六大维度和超过80个数据集，以及四十多万道评测题目。5. XTuner支持微调不同任务和兼容不同数据格式，同时支持主流数据集和训练引擎，并支持Llama，Qwen，ChatGLM等模型。3. 中量级模型以20B为代表，参数量为200亿，能够在模型能力和推理代价之间取得平衡，并提供定制高精度模型的规模。4. 重量级模型以123B为代表，参数量达到千亿级，具备强大的性能，包括推理能力、知识能力、理解和对话能力。
书生·浦语大模型训练营学习汇总
qq_52410386的博客
01-29 384
【书生·浦语大模型实战营第五课笔记 - 优快云 App】http://t.csdnimg.cn/EBXlT。【书生·浦语大模型实战营第四课作业 - 优快云 App】http://t.csdnimg.cn/yCsaP。【书生·浦语大模型实战营第五课作业 - 优快云 App】http://t.csdnimg.cn/fmTwn。【第六节课作业 - 优快云 App】http://t.csdnimg.cn/2Zh3K。
书生浦语大模型实战营第二期 第七次课笔记
SunInCrack的博客
04-30 351
上海人工智能实验室发布的大模型开源开放评测体系。特点开源可复现全面的能力维度丰富的模型支持分布式高效评测多样化评测范式灵活化拓展客观评测：自建客观数据集的步骤。主观评测：自建主观数据集的步骤。本节课详细介绍了OpenCompass评测体系，包括其重要性、特点、评测对象、工具架构、设计思路、评测方法、快速开始流程、环境配置、数据准备、启动评测、自定义数据集、数据污染评估以及大海捞针测试。
《书生·浦语大模型实战营》第1次学习笔记
胡争辉
03-31 1809
2022年12月1日，`ChatGPT`发布，迅速发展，成为互联网历史上最快达到一亿用户的产品。我在互联网行业有二十多年的经验，看到`ChatGPT`的时候就仿佛小时候第一次接触计算机、1996年上大学后第一次接触互联网、2008年第一次购买`iPhone`一代手机。 2023年，随着以`ChatGPT`为代表的AIGC（生成式AI，GenAI）的快速发展，就开始找资料，渐渐理解了这不同于以往的搜索引擎的大规模集群方案，而是把海量知识压缩到一个很小的模型中。 最开始体验各种网上应用，然后看介绍资料，随着
【书生·浦语大模型实战营】书生浦语大模型全链条开放体系介绍
weixin_42553583的博客
05-23 1016
在国内众多开源大模型中，上海人工智能实验室开源的书生浦语系列绝对占有一席之地。可能有很多同学还记得年初央视播出的首部人工智能生成动画片《千秋诗颂》，就是上海人工智能实验室的“书生筑梦”大模型制作的。具体可以查看以下新闻报道国产文生视频大模型“筑梦”亮相 助央视制作AI动画片《千秋诗颂》筑梦大模型是文生图大模型，我们今天介绍的重点是大语言模型，所以重点在书生浦语上。正好我最近报名的书生·浦语大模型实战营需要写学习笔记。这篇文章既可以当做学习笔记，也可以给大家详细的介绍一下书生浦语系列产品。
学习笔记097——Ubuntu系统中如何通过service服务的方式启动 jar 包？
code__bee的博客
01-06 220
【代码】学习笔记097——Ubuntu系统中如何通过service服务的方式启动 jar 包？
QXlsx开发笔记（三）：单元格边框合并，设置宽度、高度、边框样式等综合操作Demo
长沙红胖子Qt的技术博客
01-05 1089
QXlsx的单元格边框的操作，涉及宽度、高度、合并，结合边框样式，就能做出需要的表格框架了。
数据库学习笔记(十九)--C/C++调用MYSQL接口
羊小猪~~的博客
01-05 882
本文介绍了MySQL 8.0 C API开发的基本流程和关键接口。主要内容包括： 核心数据结构：MYSQL（连接句柄）、MYSQL_RES（结果集）、MYSQL_ROW（行数据）、MYSQL_FIELD（字段信息）等基本结构。 基本开发流程： 初始化连接（mysql_init） 设置连接选项（mysql_options） 建立连接（mysql_real_connect） 执行查询（mysql_query/mysql_real_query） 处理结果集（mysql_store_result/mysql_use
联考——言语理解与表达笔记（一）
2301_78114356的博客
01-03 345
解题思路：找重点（中心）1.直接确定重点-逻辑层面之关联词---内容层面之主题词2.间接确定重点-排除非重点学习重点内容：1.转折关联词及重点位置2.因果关联词及终点位置3.错误选项的特征。
Flume笔记：Flume的基本介绍和使用
Justicer_Young的博客
01-06 1211
Apache Flume是一种分布式服务，旨在有效地收集、聚合和移动大量日志数据到集中式存储系统，如HDFS。它具有具有源、通道和接收器的灵活架构，支持来自各种来源的可靠数据流。Flume具有高度可扩展性和可定制性，支持日志聚合和实时数据分析等多种用例。它与Hadoop生态系统的集成使其成为大数据管道的关键工具，确保可靠高效的数据摄取和传输。Apache Flume是一种分布式、高可靠性、高可用性的工具，用于收集、聚合大量日志数据，并将其从不同来源传输到中央数据仓库。
【笔记】从WeakEventManager派生的类都有什么，以及他们的作用
最新发布
HeBianGu的博客
01-07 561
从 WeakEventManager 派生的常见公开类及其作用，并给出使用要点。常用与数据绑定相关集合视图与导航命令系统Dispatcher 与应用生命周期说明使用要点。
PMP学习笔记--人员
u014755700的博客
01-04 136
确保团队成员和干系人接受适当的培训。团队绩效评价和团队成长评估。项目管理团队与项目团队。干系人影响力强度和太对。创建协作的项目团队环境。敏捷场景下的团队管理。干系人权力/利益矩阵。运用情商提升团队绩效。
硬件电路设计学习笔记4.MOS管
Ra的博客
01-04 305
若未考虑寄生二极管，会因它的导通增加整流损耗，降低电路效率。桥式电路（如 H 桥）中易引发 “直通短路”在 H 桥等双向驱动电路中，上下桥臂的 MOS 管寄生二极管方向若未匹配，可能出现“上下管寄生二极管同时导通” 的情况，直接将电源正负极短路（即 “直通”），导致电源烧毁。高频电路中产生开关损耗寄生二极管存在“反向恢复时间”（从导通转为截止的延迟），高频开关场景下，反向恢复时间过长会导致 MOS 管在开关过程中出现大电流尖峰，增加开关损耗、引发MOS 管过热，影响电路可靠性。mos管寄生电容存在的问题。
书生浦语大模型实战课：解决配置与端口问题
"书生浦语大模型实战课的第二课作业中，学员们通过视频教程进行学习，但在实际操作中遇到了一系列问题，包括端口配置、权限不足、端口被占用以及URL无法打开等。这些问题主要围绕SSH免密登录和端口占用问题展开。在...
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值