Datawhale LLM-universe Task5

最新推荐文章于 2025-05-25 15:51:24 发布
原创 最新推荐文章于 2025-05-25 15:51:24 发布 · 196 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#语言模型

这节课是对LLM应用进行系统评估和优化
系统评估的主要流程如图
在这里插入图片描述
现在我们从头分析一下如何对LLM应用进行系统评估和优化
在这里插入图片描述
这里我用的是Zhipu的模型
量化评估 说白了就是对LLM的输出进行打分, 这里使用两个提示词得到不同的输出, 观察输出结果哪个更靠谱
在这里插入图片描述
下面这里自定义了一个评分公式, 可以对输出结果进行打分，后面的多维评估也是这个的延申
另外一种方法, 就是根据输出指定客观题, 再打分
在这里插入图片描述
另外一种比较靠谱的是计算答案的相似度，这里用NLTK的bleu
在这里插入图片描述
还有就是用靠谱的大模型做评估
第二部分就是针对badcase优化prompt，以提升模型的输出能力，我们可以自己定义badcase
为了避免大模型的幻觉, 我们可以让大模型附上信息来源
在这里插入图片描述
最后附上一个langchain的思维导图
在这里插入图片描述

programer_cao
关注
【Datawhale之Happy-LLM】Github最火大模型原理与实践教程task01精华~
Z__Danny的博客
08-18 351
本文介绍了NLP（自然语言处理）的研究内容，对比了PLM（预训练语言模型）和LLM（大语言模型）的区别，指出LLM在数据规模、参数量和训练策略上的改进使其具备涌现能力。同时推荐了Datawhale三个开源LLM学习项目：Self-LLM（部署教程）、LLM-Universe（应用开发）和Happy-LLM（原理实践）。作者感叹LLM让计算机通过参数学习人类语言的奇妙性。
【打卡】2406Datawhale-llm-universe-task3
张不懂的博客
06-24 2244
LLM零基础，在这篇博客完成打卡记录。本项目是一个面向小白开发者的大模型应用开发教程，旨在基于阿里云服务器，结合个人知识库助手项目，通过一个课程完成大模型开发的重点入门。【教程地址】https://datawhalechina.github.io/llm-universe/【开源项目仓库】https://github.com/datawhalechina/llm-universe。
Datawhale llm-universe Task1
programer_cao的博客
05-12 1825
虽然图像也是对真实世界的采样, 但是不同的人、动物, 对于图像中提取的信息是不同的, 我们从图像中获取的信息都是根据一种强"先验"知识学习到的, 其他动物的理解也是基于它们的"先验"学习到的问题 2. 语言是一种人类或物种创造出来描述世界的, 本身会有一种强结构性, 更容易通过概率模型经过大量的学习根据前因后果进行预测(扯远了…, 随着模型参数量的提升, 模型的性能显著增强, 远远超出人们的预料. 随着GPT o1的提出, llm的后训练和在线推理过程中, 也出现了Scaling Law的现象.
Datawhale LLM-universe Task6
programer_cao的博客
05-25 482
一般 embedding model 的 max token 即最大可 embedding 句子长度通常为512至1024 token，过长的分块或分块中有多个语义的句子在 embedding 时很难从中提取完整的语义信息。3. 使用不同的embedding模型, 在hugging face上, 有许多sota的embedding模型, 如果当前的RAG系统遇到瓶颈了, 可以试一下新的embedding模型看是否能有提升。学习终于接近尾声了, 这一章节的学习任务主要是介绍一些开源的RAG应用是怎样搭建的。
Datawhale LLM-universe Task4
programer_cao的博客
05-21 404
这里面的RunnableLambda是LCEL中要求的类型, 这里的chain用到了管道符号链接retriever和定义的combiner, 即输入会先输给retriever检索器, 再由combine_doc对检索器的输出做整理。构建好以后, 再定义prompt模板, 就可以构造一个由langchain支持的LCEL数据到prompt然后喂给大模型最后再输出的标准的检索问答链, 这里原作者用的openai的模型, 我用的是智谱。最后面是使用streamlit做一个llm的网页端app, 还是很有意思的。
Datawhale llm-universe task3
programer_cao的博客
05-18 385
接着, 每个LLM都会限制输入的最大token数, 因此我们在数据处理的时候也需要将其纳入考虑, 在构建向量数据库的过程中, 往往是需要将一个大文本划分为不同的chunk, 然后对不同的chunk再使用embedding转化成词向量, 这里langchain同样有一个包方便我们分割上下文.最后课程的补充里还给我们提供了一个构建embedding的API框架，用已经封装好的智谱embedding模型为例, 我们可以看到每一部分的api在框架中的结构是怎样的。本节的内容是向量知识库的搭建(周末拖拉了点)
Datawhale LLM-universe task2
programer_cao的博客
05-14 328
在Task1中对LLM有了一些背景和理论上的了解以后, Task2就是让我们可以实操试一下如何以调用API的方式调用各家的LLM base大模型, 在课程中提供的一部分模型, 比如openai、千帆、星火、智谱的大模型等, 各个大模型的API调用稍有不同但是基本上都是需要相应的API key, 设置到.env中后, 再利用dotenv加载. 之后再根据各个大模型的接口, 对模型进行初始化, 在下面贴个图方便记忆.以下是我改了一模型和prompt参数的输出。模型的大小对于生成的响应还是有些联系的。
【打卡】2406Datawhale-llm-universe-task5
张不懂的博客
06-28 315
本项目是一个面向小白开发者的大模型应用开发教程，旨在基于阿里云服务器，结合个人知识库助手项目，通过一个课程完成大模型开发的重点入门。【开源项目仓库】https://github.com/datawhalechina/llm-universe。【教程地址】https://datawhalechina.github.io/llm-universe/LLM零基础，在这篇博客完成打卡记录。
【打卡】2406Datawhale-llm-universe-task1
张不懂的博客
06-19 2205
LLM：Large Language Model，大语言模型PLM：Pre-trained Language Model，大规模预训练语言模型ICL：In-Context Learning，上下文学习Emergent Abilities，涌现能力GPT：Generative Pre-Training，生成式与训练语言模型，decoder-onlyRoPE，Rotary Position Embedding，旋转位置编码，LLaMA。
【打卡】2406Datawhale-llm-universe-task2
张不懂的博客
06-21 460
本项目是一个面向小白开发者的大模型应用开发教程，旨在基于阿里云服务器，结合个人知识库助手项目，通过一个课程完成大模型开发的重点入门。【开源项目仓库】https://github.com/datawhalechina/llm-universe。【教程地址】https://datawhalechina.github.io/llm-universe/LLM零基础，在这篇博客完成打卡记录。
Datawhale AI 夏令营第四期 大模型技术-微调 task3 数据增强与评分
spring5的博客
08-15 1070
如果你对baseline1的解读仍然充满困惑，那么推荐你从学习python开始，打好基础再来尝试也不迟~你可以学习《聪明办法学python第二版》打扎实深度学习相关的python基础知识~
DataWhale Task04：手搓一个LLM Eval 241001
L念安dd的博客
10-01 1192
简单的LLM评测框架，该框架是一个双阶段的评测体系，我们称之为TinyEval，包含了LLM通用评测的核心功能，支持生成式、判别式、选则式评测问题，框架主要包含inference与eval部分，目的是为了帮助大家更好的力即LLM评测的原理与实现。
DataWhale Task02：从零预训练一个tiny-llama 20923
L念安dd的博客
09-23 1137
从 JSON 数据集中提取文本，使用 SentencePiece 进行 BPE 分词器的训练，并生成词汇表，Tokenizer 类为文本的编码和解码提供了简洁的接口。它基于 SentencePiece 进行操作，并且支持处理 BOS、EOS 和 PAD 这样的特殊标记。通过这个类，可以方便地将字符串转换为适合模型处理的 token ID 列表，或者将模型的输出结果解码为可读的文本。构建了一个完整的数据预处理和加载管道，特别适合于大规模语言模型的训练
Datawhale AI夏令营NLP自然语言处理-Task3学习笔记
Pluses的博客
07-18 1039
Datawhale AI夏令营NLP自然语言处理-Task3学习笔记
STM32+MAX7219数码管模块显示程序 SPI接口
12-02
提供了基于STM32F4xx系列的MAX7219数码管模块显示程序，通过SPI串行总线进行通信，使用库函数进行编程。经过实际测试，该程序能够正常驱动数码管进行显示。 特点 基于STM32F4xx系列MCU 使用SPI串行总线通信 采用库函数编程 实测能正常驱动MAX7219数码管模块显示
基于大疆M100无人机平台的自主导航与智能决策系统开发项目_该项目专注于在复杂动态环境中实现无人机的实时障碍物感知与规避以及高效全局与局部路径规划算法的集成与优化核心内容包括利.zip
12-02
基于大疆M100无人机平台的自主导航与智能决策系统开发项目_该项目专注于在复杂动态环境中实现无人机的实时障碍物感知与规避以及高效全局与局部路径规划算法的集成与优化核心内容包括利.zip
Turbo 码编码及解码仿真程序(Matlab)
12-02
Turbo 码编码及解码仿真程序(Matlab)
【改进灰狼算法】基于记忆、进化算子和局部搜索的改进灰狼优化算法及线性种群规模缩减算法（Matlab代码实现）
最新发布
12-02
内容概要：本文提出了一种基于记忆机制、进化算子和局部搜索策略的改进灰狼优化算法，并结合线性种群规模缩减策略以提升算法收敛速度与全局搜索能力。该算法通过引入记忆模块保存优质个体信息，利用进化算子增强种群多样性，同时采用局部搜索机制提高寻优精度，有效克服了传统灰狼算法易陷入局部最优、收敛速度慢等问题。文中详细阐述了算法的设计思路、实现步骤及关键参数设置，并提供了完整的Matlab代码实现，便于读者复现与应用。实验部分验证了改进算法在多个标准测试函数上的优越性能，展示了其在优化问题中的潜力。; 适合人群：具备一定智能优化算法基础，熟悉Matlab编程，从事科研或工【改进灰狼算法】基于记忆、进化算子和局部搜索的改进灰狼优化算法及线性种群规模缩减算法（Matlab代码实现）程优化相关工作的研究生、科研人员及技术人员； 使用场景及目标：①解决复杂优化问题如函数优化、参数调优、工程设计优化等；②学习灰狼算法的改进思路与实现方法，掌握智能算法的性能提升策略； 阅读建议：建议结合Matlab代码逐行理解算法实现过程，重点关注记忆机制、进化操作与局部搜索的融合方式，并通过实验对比分析改进策略的有效性。
基于ROS的机器人运动规划与路径搜索算法实现工作空间_包含A星Dijkstra等经典与优化算法在二维三维栅格地图中的高效路径规划与避障实现结合RVIZ可视化插件进行实时路径动态障碍.zip
12-02
基于ROS的机器人运动规划与路径搜索算法实现工作空间_包含A星Dijkstra等经典与优化算法在二维三维栅格地图中的高效路径规划与避障实现结合RVIZ可视化插件进行实时路径动态障碍.zip
llm-universe
02-25
### 大型语言模型生态系统 #### 构成要素 大型语言模型生态系统的构成要素主要包括数据源、预训练框架、微调工具集以及下游应用接口。这些组件共同作用，使得LLM能够处理各种自然语言任务并提供广泛的服务。 - **数据源**：高质量的数据对于构建有效的LLM至关重要。这不仅限于文本本身还包括元数据和其他辅助信息。通过多样化的数据输入，可以增强模型的理解能力和表达能力[^1]。 - **预训练框架**：这是指用于开发和优化神经网络架构的技术栈，如TensorFlow或PyTorch等平台支持下的Transformer结构。它们允许研究人员快速迭代实验设计，并利用分布式计算资源加速训练过程[^2]。 - **微调工具集**：为了使通用的语言理解技能适应特定领域的需求，通常需要针对目标场景调整权重参数。为此目的而创建的各种API和服务简化了这一流程，降低了进入门槛的同时提高了效率[^3]。 - **下游应用场景**：最终用户交互界面构成了整个链条的最后一环；无论是聊天机器人还是自动摘要生成器，在实际部署之前都需要经过严格的测试来验证性能指标是否满足预期标准。 ```python import transformers as trfms from datasets import load_dataset model_name = "bert-base-uncased" tokenizer = trfms.BertTokenizer.from_pretrained(model_name) dataset = load_dataset('imdb') ``` #### 半参数化方法的优势 相比于完全依赖内部参数存储世界知识的传统做法，引入外部记忆机制后的混合模式能够在保持灵活性的基础上显著提升检索精度与响应速度。具体来说就是把静态的记忆单元替换成了动态查询接口，从而更好地应对长尾分布特征带来的挑战。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值