动手学大模型应用开发-第五章 系统评估与优化

最新推荐文章于 2026-01-02 14:36:37 发布
原创 最新推荐文章于 2026-01-02 14:36:37 发布 · 452 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python #科技

【动手学大模型应用开发-第五章 系统评估与优化-哔哩哔哩】 https://b23.tv/f8ljvfk

datawhale动手学大模型应用开发-第二章-使用 LLM API 开发应用
fan_fan_feng的专栏
04-20 1318
要求模型对长篇文章或文本进行摘要。
Datawhale 动手学大模型应用开发 第六章第七章笔记 迭代优化prompt / 大模型评估 / 项目结构 / Gradio&FastAPI
qq_46231296的博客
11-23 1562
Datawhale 动手学大模型应用开发 第六章第七章笔记 迭代优化prompt / 大模型评估 / 项目结构 / Gradio&FastAPI
datawhale动手学大模型应用开发-第五章-系统评估与优化
fan_fan_feng的专栏
04-25 1052
我们可以通过构造思维链，将 Prompt 构造成一系列步骤来尽量减少其能力限制，例如，我们可以构造一个两步的思维链，要求模型在第二步做出反思，以尽可能消除大模型的幻觉问题。由于大模型存在幻觉问题，有时我们会怀疑模型回答并非源于已有知识库内容，这对一些需要保证真实性的场景来说尤为重要，我们可以要求模型在生成回答时注明知识来源，这样可以避免模型杜撰并不存在于给定资料的知识，同时，也可以提高我们对模型生成答案的可信度。：评估系统回答中出现的幻觉内容的比例，即回答与检索到的知识片段之间的一致性。
动手学大模型应用开发第一章：大模型简介
raulyy7777的博客
04-17 1797
本文内容来自 https://datawhalechina.github.io/llm-universeLarge Language Model ， 简称 LLM，也称大语言模型，是一种旨在理解和生成人类语言的人工智能模型。LLM 通常指包含数百亿（或更多）参数的语言模型，它们在海量的文本数据上进行训练，从而获得对语言深层次的理解。目前，国外的知名 LLM 有 GPT-3.5、GPT-4、PaLM、Claude 和 LLaMA 等，国内的有文心一言、讯飞星火、通义千问、ChatGLM、百川等。
Datawhale-动手学大模型应用开发-第五章心得
DeButAlacatraz的博客
04-27 502
在构建基于大型语言模型（LLM）的应用时，重要的步骤之一是验证和优化。你可以快速创建一个基于LLM的应用，并通过少量的样本进行初步验证。随后，通过添加更多的例子（Bad Case）到测试集中，逐步扩大开发集的规模，以不断优化系统性能。例如，通过改进Prompt模板，可以使得系统生成更具体、详细的回答，以提高回答的质量。通过这些方法，可以系统性地评估和优化LLM应用的各个部分，从而提高整体应用的效果和用户满意度。在具体的大模型应用开发中，一种常见的做法是通过寻找Bad Case并针对性优化。
动手学大模型应用开发-第三章 大模型开发流程及架构
wjher
11-19 3904
大语言模型应用开发：以大语言模型为功能核心、通过大语言模型的强大理解能力和生成能力、结合特殊的数据或业务逻辑来提供独特功能的应用。我们一般不会去大幅度改动模型，而是将大模型作为一个调用工具，通过 Prompt Engineering、数据工程、业务逻辑分解等手段来充分发挥大模型能力，适配应用任务，而不会将精力聚焦在优化模型本身上。因此大模型开发更多的是解决工程问题，如何更好的将大模型的能力、具体领域的数据以及具体业务结合起来。
动手学大模型应用开发-Task01
lanhaile的博客
11-13 558
1、大语言模型旨在理解和生成人类语言2、为什么叫大语言模型？3、LLM的应用4、LLM的出现让人们重新思考了通用人工智能（AGI）的可能性。AGI 是一种像人类一样思考和学习的人工智能。5、大模型的能力（1）涌现能力（2）作为基座模型支持多元应用的能力（3）支持对话作为统一入口的能力6、大模型的特点7、常见大模型（1）GPT系列（不开源）（2）Claude系列（不开源）（3）PaLM 系列（不开源）（4）文心一言（不开源）（5）星火大模型（不开源）（6）LLaMA 系列（开源）（7）GLM 系列（开源）
动手学大模型应用开发--Chapter 05如何评估大模型应用
dream__me的博客
04-25 403
本学习笔记为datawhale动手学大模型应用开发ToDo。
动手学大模型应用开发第五章：系统评估与优化
raulyy7777的博客
06-28 1076
本文内容来自 https://datawhalechina.github.io/llm-universe本章节学习到了大模型的评估方法：人工评估、自动评估、大模型评估以及将以上组合起来的混合评估。评估之后就是优化，RAG可以被优化的就是两个部分：检索和生成。
“动手学大模型应用开发”（学习记录）-- Datawhale LLM Universe April 2024 开源学习
qq_41572132的博客
04-16 1529
DataWhale 的 LLM 实战项目学习笔记
动手学大语言模型LLM-01
sinat_41341777的博客
06-14 2147
LangChain 框架的核心库、核心组件，提供了基础抽象和 LangChain 表达式语言（LCEL），提供基础架构和工具，用于构建、运行和与 LLM 交互的应用程序，为 LangChain 应用程序的开发提供了坚实的基础。统计学习的方法，分析前面的词汇预测下一个词汇-------------> 假如神经网络模型，把模型更好的捕捉和理解语言的复杂关系---------------->Transformer架构的神经网络模型，通过学习大量文本理解语言规则和模式—>大语言模型的实现。
学习《动手学大模型开发》笔记--第五章
aiyan429的博客
03-18 1286
例如，要语言模型判断一个数学问题的解答是否正确时，可以先让语言模型通过自主思考的方式得出自己的解法，再与提供的答案进行对比。·概念："Few-shot" prompting（少样本提示），即在要求模型执行实际任务之前，给模型一两个已完成的样例，让模型了解我们的要求和期望的输出样式。，如果不加分隔，这些输入就可能“注入”并操纵语言模型，轻则导致模型产生毫无关联的乱七八糟的输出，严重的话可能造成应用的安全风险。LangChain 中的储存模块可以将先前的对话嵌入到语言模型中，使其具有连续对话的能力。
小白学大模型：L-Eval 长文本评测
2401_85324918的博客
08-19 835
Coursera：这个数据集来源于Coursera网站上的公共课程，特别是与大数据和机器学习相关的课程。输入的长文档是视频的字幕，问题和正确答案由作者标注。Coursera数据集的特点是采用多项选择的指令格式，并设置了多个正确选项，这增加了任务的难度。SFcition：这个子任务是为了测试LCLM对输入上下文的忠实度。作者认为，在LCLM中，上下文知识（存储在长输入中）比参数知识（在预训练期间获得）更为重要。
GitHub 热榜项目 - 日榜(2026-1-1)
CoderJia的学习之路
01-01 781
本期GitHub热榜显示AI应用开发正全面渗透各技术领域，前沿项目聚焦于解决实际工程问题。Gemini的电脑使用预览和Timescale的pg-aiguide展示了AI与开发工具深度整合，通过MCP服务器提升代码生成质量。Pathway框架和docetl系统凸显流式ETL与LLM管道技术成熟，推动实时数据分析与RAG应用落地。同时，来自ResembleAI的Chatterbox和TrendRadar分别代表语音合成与智能信息聚合的技术突破，Deep-Live-Cam则体现单图视频生成技术的平民化趋势。这些项
Python 抽象属性 (@property + @abstractmethod) 详解
nvd11的专栏
12-28 310
本文介绍了在Python中使用@property和@abstractmethod组合定义抽象属性的方法。这种模式能够强制子类提供一个只读的数据接口，同时保持实现的灵活性。子类既可以用简单的类属性赋值实现，也可以通过@property方法动态计算属性值。这种设计使接口语义更清晰（表示特征而非动作），调用方式统一（都通过obj.field访问），并兼顾了简单静态配置和复杂动态逻辑两种实现需求。示例展示了静态配置和动态计算两种实现方式，体现了Python在抽象属性设计上的优势。
自编算法题：pack的最大容量（Hard）
HP_C2H2的博客
12-29 331
每块电池有两个参数，额定电压v和标称容量c。 使用多个电池串联可以形成module，提高整体的电压；使用多个电池并联也可以形成module，提高整体的容量。多个串联形式的module可以组成pack，多个并联形式的module也可以组成pack，但是串联形式和并联形式的module不能组成pack。 module（pack）的电压和容量计算方式是： 1. 串联n个电池（module）电压为vi，容量为ci，总容量等于最小的一个ci，总电压等于所有vi之和。……
Vins-Fusion之 ROS2 Humble（二）
qq_33263769的博客
01-01 155
此命令会强制 pip 仅从预编译的 .whl 文件安装所有依赖，‌完全绕过 ruamel.yaml.clibz 的源码编译‌，安装速度极快且稳定。环境配置：Ubuntu 22.04 (运行内存 4G、硬盘内存 500G) 、ROS2 humble 、ceres-solver 2.1。主要是参考这篇博客，但是在安装配置的过程中出现的问题进行修改，最终完美的运行Vins-Fusion。问题一 安装rosbags，出现下面问题。
常见实用的 NumPy 函数及其用法与注意点
Tipriest的博客
12-29 720
NumPy是Python科学计算的核心库，提供高效的多维数组对象ndarray及丰富的运算函数。本文介绍了NumPy常用操作，包括数组创建（np.array、np.zeros等）、形状变换（reshape、transpose等）、拼接拆分（stack、concatenate系列）、索引筛选（切片、布尔索引等）以及统计运算。重点讲解了stack与concatenate的区别：stack会新增维度，而concatenate在现有维度上扩展。NumPy通过C/Fortran底层实现，运算速度远超纯Python，是
第03章-控制流程
最新发布
qq_31762031的博客
01-02 707
本章讲解Python程序控制流程，包括if条件语句、if-elif-else多分支、while循环、for循环、range函数、break和continue控制语句、循环嵌套、enumerate和zip等优化技巧，以及常见循环模式和实战案例。
上海交大《动手学大模型》实战教程全栈开发指南
《动手学大模型》是上海交通大学推出的一套系统性、实战导向的大模型技术学习教程，其核心目标是帮助学习者从零开始掌握大规模语言模型（LLM）的全栈开发能力。该教程源于2024年春季课程《人工智能安全技术》的教学...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

doublewei1

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值