李宏毅《生成式人工智能导论》 | 第11讲-第14讲：大型语言模型的可解释性、能力评估、安全性

原创 已于 2025-07-15 21:13:35 修改 · 534 阅读 · 10 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #语言模型 #自然语言处理

于 2025-07-15 21:12:56 首次发布

文章目录

人工智能的可解释性

引入

人工智能是一个黑盒，搞不清楚他们在想什么？

想法1：没有Transparency，没有开源

想法2：不是Interpretable，思维不透明

一眼就能看穿，思维透明的模型是Interpretable，但其实这里有个争议是如何去衡量什么是一眼就能看穿的。有人说决策树就是Interpretable，但当决策树非常非常复杂时，复杂到无法一眼看穿在干什么。

想法3：没有办法解释为什么有这个输出，无法Explainable

语言模型是Not Interpretable但也有可能是Explainable，因为可以直接询问模型决策的过程

下面的课程集中在讨论可解释性Explainable，一个复杂的人工智能肯定不是Interpretable的，聪明的人工智能做出的决策肯定不是简单到一眼就让你看穿的。

可解性

  1. 可以找出影响输出的关键输入

方法1：观察每一个输入的改变对输出的影响

下面图片展示了盖住输入对输出的影响，还可以采用计算Gradient梯度等方法知道输入和输出的关系

方法2：分析Attention Weight观察每一个token对输出的影响力

  1. 可以直接问，为什么得到这个答案

举例1：输入的每一个词汇和输出之间的关系，可以直接要求语言模型输出每个词对于判断的重要性

举例2：语言模型对自己答案的信心，原来通过输出的概率来判断信心，但现在可以直接问语言模型对答案的信心分数是多少？

问题：语言模型提供的解释一定可信吗？

语言模型提供的解释不一定可信

最低0.47元/天 解锁文章
AI Agent的多模态内容生成与编辑
架构师的AI之路，分享AI应用开发架构的学习与实践。
10-22 747
随着人工智能技术的飞速发展，单一模态的内容已经难以满足人们日益多样化的需求。AI Agent的多模态内容生成与编辑旨在融合多种模态信息，如文本、图像、音频等，实现更加丰富、生动和智能的内容创作与修改。本文章的范围涵盖了AI Agent多模态内容生成与编辑的基本概念、核心算法、数学模型、实际应用以及相关的工具和资源，旨在为读者提供一个全面而深入的技术视角。本文共分为十个部分。第一部分为背景介绍，提供了文章的基本信息。第二部分阐述核心概念与联系，展示相关架构。
李宏毅 《生成式人工智能导论》| 第6讲-第8讲：大语言模型修炼史
好好学习天天向上
06-20 1008
摘要： 大语言模型的训练分为三个阶段，核心都是学习文字接龙（token生成），但训练数据不同。**第一阶段（Pre-train）**通过自监督学习从海量网络数据中学习通用规律，但缺乏任务导向能力；**第二阶段（Instruction Fine-tuning）**引入人类标注的指令数据微调模型，使其遵循指令并提升泛化能力，依赖预训练参数作为初始值以避免过拟合；**第三阶段（Adapter/RLAIF）**通过参数高效微调技术（如LoRA）或强化学习进一步优化。成功关键在于预训练与微调的结合：预训练提供广泛知识
李宏毅《生成式人工智能导论》| 第1讲：什么是生成式人工智能
好好学习天天向上
06-19 1029
问题：深度学习怎么解生成式人工智能的问题？可以将。
《生成式 AI》课程 第4講：訓練不了人工智慧？你可以訓練你自己 (中)
chenchihwen的专栏
11-17 1060
这一系列的作业是为 2024 年春季的《生成式 AI》课程设计的，共包含十个作业。每个作业都对应一个具体的主题，例如真假难辨的世界、AI 应用开发、AI催眠大师、LLM 微调等。承接上一讲：《生成式 AI》课程 第3講：訓練不了人工智慧嗎？你可以訓練你自己-优快云博客作业代码 ( 后续增加)强化语言模型的方法 - 拆解任务复杂任务可拆解为多个步骤，如先写大纲再生成摘要，以提升模型处理任务的能力。
强化学习极简入门：通俗理解MDP、DP MC TD和Q学习、策略梯度、PPO
热门推荐
结构之法 算法之道
02-10 12万+
强化学习里面的概念、公式，相比ML/DL特别多，初学者刚学RL时，很容易被接连不断的概念、公式给绕晕，而且经常忘记概念与公式符号表达的一一对应(包括我自己在1.10日之前对好多满是概念/公式的RL书完全看不下去，如今都看得懂了，故如果读文本之前，你正在被RL各种公式困扰，相信看完这篇RL极简入门后就完全不一样了)。
强化学习与自动驾驶研究内容
hooksten的博客
08-29 4035
https://www.nuscenes.org/2021.7，《华为数据中心自动驾驶网络白皮书》，27页，华为，https://www.chenxiaofang.site/wp-content/uploads/2021/07/%E5%8D%8E%E4%B8%BA%E6%95%B0%E6%8D%AE%E4%B8%AD%E5%BF%83%E8%87%AA%E5%8A%A8%E9%A9%BE%E9%A9%B6%E7%BD%91%E7%BB%9C%E7%99%BD%E7%9A%AE%E4%B9%A6.pdf。
51c大模型~合集21
whaosoft~aiotの开发板商城
11-10 1521
我自己的原文哦~ 全球首篇！调研近400篇文献，鹏城实验室&中大深度解析具身智能具身智能是实现通用人工智能的必经之路，其核心是通过智能体与数字空间和物理世界的交互来完成复杂任务。近年来，多模态大模型和机器人技术得到了长足发展，具身智能成为全球科技和产业竞争的新焦点。然而，目前缺少一篇能够全面解析具身智能发展现状的综述。因此，鹏城实验室多智能体与具身智能研究所联合中山大学 HCP 实验室的研究人员，对具身智能的最新进展进行了全面解析，推出了多模态大模型时代的全球首篇具身智能综述。该综述调研了近 400 篇文
AI学习路线和书籍分享
weixin_30505043的博客
03-12 1218
阶段一、人工智能基础 －　高等数学必知必会 本阶段主要从数据分析、概率论和线性代数及矩阵和凸优化这四大块讲解基础，旨在训练大家逻辑能力，分析能力。拥有良好的数学基础，有利于大家在后续课程的学习中更好的理解机器学习和深度学习的相关算法内容。同时对于AI研究尤为重要，例如人工智能中的智能很大一部分依托“概率论”实现的。 PDF下载地址https://pan.baidu.com/s/1s...
51c深度学习~合集8
whaosoft~aiotの开发板商城
11-22 2354
方法的完整数学描述略显复杂，如果只是想了解主要思想，可以只看上面 PatchMix的流程图即可（其实只是公式多，每个公式也不复杂，后续有机会做个演示动画，帮助大家理解。这个方法也可以用简单的 Mask 方法实现，但是本方法在大规模图像处理上效率是最高的），对该工作感兴趣的同行可以看一下，我尽量写得清楚一些。结合 PatMix 的流程图，主要过程如下：由于混合图像和混合图像之间，重叠比例的不同，mix-to-mix label 中每一项的权重分数是不同的，根据上图，可以得到权重系数可以表示为。
协同推理和行动 ReAct --LLM高级提示词方法工程
m0_59235245的博客
08-03 1572
大语言模型（Large Language Models, LLMs），如 GPT-3.5 Turbo/GPT-4，已在语言理解和交互式决策任务上表现出强大的能力。然而，在 ReAct 出现之前，LLMs 在推理（如思维链提示）和行动（如行动计划生成）方面的能力是被孤立地研究和应用的。（但现在，LLMs 和基于 LLM 的 Agent 的研究正在迅速发展。ReAct 当时首次对这个问题给出了答案：当这两种基本能力结合在一起时，会产生什么效果？
李宏毅【生成式AI导论 2024】第7讲：大型语言模型修练史 — 第二阶段: 名师指点，发挥潜力 (兼谈对 ChatGPT 做逆向工程与 LLaMA 时代的开始)
拥抱变化，探索AI，了解AI，使用AI～
03-30 1364
如果只有指令微调… 人类老师需要给语言模型准备的教材是长这个样子的。要先想出人类可能会去问语言模型的问题，为每一个问题想一个正确的答案。有问题有答案之后，就可以把这些资料转成语言模型，可以拿来做训练文字接龙的格式。这种使用人类老师准备的资料来学习的过程，叫做instruction的fine tune。 这个instruction的意思是，人类老师提供了一些指令，机器会学习如何按照这些指令做出正确的回应。这些训练资料需要耗费大量人力才能获取，这种耗费大量人力产生资料的方式叫做资料标注。通过这种资料标注的方式
李宏毅《生成式人工智能导论》 | 第3讲-第5讲：训练不了模型可以训练自己 含作业3
好好学习天天向上
06-19 707
通过input函数获取用户的输入],# 解析JSON响应# 提取并返回内容# 如果内容为空但存在推理内容return "未获取到有效响应内容"prompt = "请你帮我写一下文章的摘要"article = input("请输入需要摘要的文章内容：") # 用户输入文章内容# 拼接成一个prompt。
TensorRT笔记（5）：研究timingCache
ouliten的博客
12-02 643
在里出现了大量的timingCache，但是当时没有取研究这是干啥的，本文就来解析一下。样例都基于上面的文章。
大模型应用：大模型 MapReduce 全解析：核心概念、中文语料示例实现.12
minhuan的专栏
12-03 718
本文介绍了MapReduce编程模型及其在大模型训练中的应用。MapReduce通过"分治-并行-聚合"思想处理大规模数据，传统Hadoop MapReduce侧重结构化数据计算，而大模型MapReduce则针对自然语言处理任务。文章详细对比了两者在架构、处理对象和核心算力等方面的差异，并提供了中文词频统计的Python实现示例，包括单机版和分布式版本。分布式实现利用多进程模拟集群计算，展示了数据分片、Map、Shuffle和Reduce的完整流程。
向量嵌入：RAG系统背后的语义引擎
uncle_ll的博客
11-29 1437
向量嵌入技术将高维语义信息压缩为低维向量，使相似概念在向量空间中聚集。作为RAG系统的核心，嵌入质量直接影响语义检索效果。从静态词嵌入到动态上下文嵌入，技术不断演进，解决了多义词等难题。现代嵌入模型基于Transformer架构，通过对比学习优化检索性能。选型需考虑MTEB排名、语言支持等维度，并结合业务测试。未来趋势包括多模态融合、知识图谱增强和轻量化部署。嵌入技术已成为NLP领域的关键支柱，其优化对提升RAG系统性能至关重要。
07_Spring AI 干货笔记之提示词
在科技的浪潮中，我们寻找着创新的火种，在代码的海洋里，我们编织着智慧的网。腾飞开源，就是这样一个由技术精英汇聚而成的博客平台，我们致力于分享在Java、Python、IoT和人工智能等领域的最新研究成果和实战经验。 在腾飞开源的博客上，你会看到紧跟技术前
11-30 1643
本文详细介绍了Spring AI中的提示词核心概念与API设计。提示词作为引导AI模型生成特定输出的关键输入，其结构从简单字符串演进为包含多角色消息的复杂形式。Spring AI通过Prompt和Message接口提供结构化提示词管理，支持系统、用户、助手等角色分配。PromptTemplate类实现动态内容渲染，并支持自定义模板引擎。文章还涵盖提示词工程的最佳实践与令牌机制，为开发者提供完整的提示词设计解决方案。
【LLM】DeepSeekMath-V2模型
发现问题，并解决问题，批判性思维
11-29 1431
研究问题：这篇文章要解决的问题是如何在大型语言模型（LLMs）中进行自我验证的数学推理。具体来说，现有的基于最终答案奖励的强化学习方法在数学推理中存在根本局限性，因为正确答案并不能保证推理的正确性，特别是在定理证明任务中。 研究难点：该问题的研究难点包括：如何在不依赖最终答案的情况下验证推理的正确性；如何在生成和验证之间建立有效的迭代改进循环；如何在没有已知解决方案的开放问题上扩展测试时计算。 相关工作：该问题的研究相关工作有：OpenAI的推理模型在定量推理竞赛中取得了显著进展；DeepMind的Deep
【AI是否能替代IT从业者？】
最新发布
博文致力于人工智能算法的探索研究；前后端分离项目的技术分享交流；专升本计算机基础课程内容讲解；各种中间件技术分享
12-03 547
2025年IT行业面临AI深度重构：基础开发、测试、运维岗位替代率超60%，但AI相关新兴岗位激增380%。人类在复杂系统设计、伦理决策和跨界融合领域仍具不可替代性。微软等企业实践显示，人机协作可使效率提升40%。从业者需转型高价值领域（如Agent开发、大模型工程），掌握"技术+领域"双轨能力。AI本质是职业生态重构器，持续学习者的薪资溢价可达150%。建议立即评估岗位AI暴露指数，优先学习分布式架构优化、多智能体开发等技能。
AI驱动的网联自动驾驶汽车网络安全测试方法
NewCarRen的博客
12-03 647
本文综述了网联自动驾驶汽车(CAV)网络安全测试面临的挑战与解决方案。随着CAV普及，网络攻击风险加剧，现有渗透测试方法面临测试环境成本高、专业人才匮乏等挑战。研究表明，人工智能(AI)在传统行业渗透测试中展现出缩短时间、提高效率的优势，但在CAV领域应用仍存在明显缺口。文章重点分析了强化学习等AI算法在渗透测试中的应用潜力，指出创建仿真环境是测试AI模型有效性的可行方案。开源工具VEINS被推荐为合适的仿真平台，其Python/C++接口便于AI模型集成。研究认为，若证实AI方法有效，可扩展应用于完整CA
李宏毅 生成式AI导论
01-24
### 李宏毅生成式AI导论课程资料概述 #### 课程简介 李宏毅教授的《生成式AI导论》是一门深入浅出介绍生成式人工智能理论和技术的课程。该课程不仅涵盖了生成式AI的基础概念和发展历程，还探讨了当前最前沿的研究成果及其实际应用场景[^1]。 #### 主要内容概览 - **第0讲：课程说明** - 对整个系列讲座的内容框架进行了详细介绍。 - **第1讲：生成式AI是什么？** - 解释了生成式AI的核心定义以及其与其他类型的人工智能的区别所在。 - **第二讲：今日的生成式人工智慧厲害在哪裡？從「工具」變為「工具人」** - 探讨现代生成式AI的强大之处，并分析这些进步如何使机器不仅仅作为辅助工具存在，而是能够承担更多自主任务的角色转变过程。 - **第三讲：训练不了人工智能？你可以训练你自己（上）** - 讨论个人技能提升的重要性，特别是在面对复杂多变的技术环境时自我调整和适应的方法论建议。 #### 结构化学习与生成式学习的关系 在过去，“结构化学习”指的是让计算机学会处理具有特定格式的数据；而如今所说的“生成式学习”，则是指通过大量无标注数据来构建可以创造新样本或模拟真实世界现象的概率分布模型。尽管两者名称不同，但在某些方面确实存在着一定的联系——它们都涉及到模式识别、特征提取等关键技术环节。然而值得注意的是，在具体实现方式和技术细节层面二者之间差异巨大，尤其是在近十年间随着深度学习算法的发展，后者取得了前所未有的突破性进展[^2]。 #### 获取资源途径 为了方便国内学生获取最新版本的教学材料，《李宏毅2024生成式人工智能导论》提供了中文镜像版指导文档及配套练习题库，所有相关内容均已托管至GitHub平台供免费下载使用。这一举措得到了原作者正式授权许可，体现了教育工作者对于知识传播开放共享精神的支持态度[^3]。 ```bash git clone https://github.com/user/repo.git cd repo ``` 上述命令可以帮助用户轻松克隆仓库并浏览其中包含的各种教学素材。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值