- 博客(17)
- 收藏
- 关注
RSS订阅原创 第2节笔记
实战部署InternLM2-Chat-1.8B实战部署 优秀作品 八戒-Chat-1.8B实战进阶 运行Lagent智能体Demo实战进阶 灵笔InternLM-XComposer2其中，第一个内容是基础作业，需要使用 InternLM2-Chat-1.8B 模型生成 300 字的小故事（据我所知，不是所有模型版本都有1.8B的，这个1.8B的模型应该是专门开源出来便于大家实践的，相较于7B和20B，这个1.8B的模型就小很多，在本地也可以比较方便地实现）；
2024-04-25 23:27:48
364
1
原创 第4节笔记
很多大语言模型基本是为了普遍性的任务去做预训练的，叫做底座模型或者foundation模型；如果想利用它来完成特定的下游任务的话，就需要进行领域内的微调。除了添加System、User等，还需要对数据添加起始符和结束符，大部分模型都是使用。，数据中会有input和output，所以只需要对output部分计算loss。QLoRA 加载4bit量化后的模型和adapter的优化器。可以看下图所做的操作算是旁路分支，增加了两层。LoRA 加载模型和adapter的优化器。全参数微调 加载模型和参数优化器。
2024-04-25 23:15:51
281
1
原创 第7节笔记
面向未来拓展能力维度评测体系需增加新能力维度，如数学、复杂推理、逻辑推理、代码和智能体等，以全面评估模型性能。扎根通用能力 聚焦垂直行业在医疗、金融、法律等专业领域，评测需结合行业知识和规范，以评估模型的行业适用性。高质量中文基准针对中文场景，需要开发能准确评估其能力的中文评测基准，促进中文社区的大模型发展。性能评测反哺能力迭代通过深入分析评测性能，探索模型能力形成机制，发现模型不足，研究针对性提升策略。
2024-04-25 20:52:57
1577
1
原创 第7节作业
OpenCompass大模型评测实战作业文章目录OpenCompass大模型评测实战作业基础作业进阶作业基础作业使用 OpenCompass 评测 internlm2-chat-1_8b 模型在 C-Eval 数据集上的性能进阶作业将自定义数据集提交至OpenCompass官网
2024-04-25 20:52:28
266
1
原创 第6节作业
使用 Lagent 或 AgentLego 实现自定义工具并完成调用。完成 Lagent Web Demo 使用。完成 AgentLego WebUI 使用。完成 AgentLego 直接使用部分。用 AgentLego 自定义工具。用 Lagent 自定义工具。
2024-04-25 16:19:03
262
1
原创 第6节笔记
大语言模型的局限性幻觉模型可能会生成虚假信息，与现实严重不符或脱节。时效性模型训练数据过时，无法反应最新趋势和信息。可靠性面对复杂任务时，可能频发错误输出现象，影响信任度。可以感知环境中的动态条件。能采取动作影响环境。能运用推理能力理解信息、解决问题、产生推断、决定动作。
2024-04-25 16:16:01
869
1
原创 第5节作业
以命令行方式与 InternLM2-Chat-1.8B 模型对话。使用Transformer库运行模型。配置 LMDeploy 运行环境。使用LMDeploy与模型对话。
2024-04-23 00:33:35
175
原创 第4节作业
XTuner微调LLM：1.8B、多模态、Agent作业文章目录XTuner微调LLM：1.8B、多模态、Agent作业基础作业基础作业训练自己的小助手认知训练过程训练结束微调后的对话测试微调前的对话测试Web demo 部署
2024-04-22 23:38:44
238
原创 第1节笔记
团队使用了一个高效、轻量级的预训练框架InternEvo进行模型训练，该框架使团队能够在数千个GPU上扩展模型训练。为了进一步提高GPU内存效率，InternEvo集成了各种零冗余优化器策略，显著减少训练所需的内存占用。此外，为了提高硬件利用率，团队采用了FlashAttention技术和混合精度训练与BF16。InternEvo在数千个GPU上训练InternLM时表现出强大的扩展性能，如下图所示。InternEvo还表现出强大的序列长度缩放。大模型成为发展通用人工智能的重要途径。
2024-03-30 21:00:48
999
原创 MATLAB学习笔记
预定义常量含义ans分配最新计算表达式的值，这个表达式并没有给定一个名字eps返回机器精度(2.2204*10e-16)realmax返回计算机能处理的最大浮点数realmin返回计算机能处理的最小的非零浮点数piπ\piπinf定义为1/0。当出现被零除时，Matlab就返回inf，并不中断执行而继续计算NaN定义为“Not a Number”，这个非数值要么是％类型，要么是inf/inf尽量避免对这些量重新赋值。
2024-03-01 00:18:40
1845
1
原创 Git常用命令
Git是一个流行的分布式版本控制系统，用于跟踪和管理软件开发项目的代码变更。git initgit branchgit statusgit diffgit loggit log -p这只是一些常用的Git命令示例，Git具有众多功能和选项，可以根据需要使用更多的命令来满足特定的开发需求。你可以通过运行git --help命令或查阅Git文档，了解更多命令和选项的详细说明。
2023-12-07 19:46:19
371
1
原创 学习笔记汇总
用户新增预测挑战赛背景赛题介绍赛事任务基于提供的讯飞开放平台海量的应用数据的训练样本构建模型，预测用户的新增情况。赛题数据集赛题数据由约62万条训练集、20万条测试集数据组成，共包含13个字段。数据记录释义uuid样本唯一标识eid访问行为IDudmap行为属性common_ts应用访问记录发生时间（毫秒时间戳）x1 to x8用户相关属性（匿名处理字段）target预测目标（是否为新增用户）注：udmap中的key1到key
2023-08-27 20:32:48
304
原创 CV学习笔记
根据提供的海量脑PET数据集作为脑PET图像检测数据库的训练样本构建模型，对轻度认知障碍进行分析和预测。脑PET图像检测数据库，记录了老年人受试志愿者的脑PET影像资料，其中包括确诊为轻度认知障碍（MCI）患者的脑部影像数据和健康人（NC）的脑部影像数据。
2023-08-18 21:36:29
124
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人