a131529的博客

本文为李宏毅学习笔记——2024春《GENERATIVE AI》篇——作业笔记HW10。

HW9：使用大模型 API 对视频进行快速摘要（音频处理）

HW8-补充1：在大模型中快速应用 LoRA

HW8：了解人工智能可能存在的偏见

HW7：Inseq 特征归因——可视化解释 LLM 的输出

之前我们在“机器学习模型的可解释性——GENERATIVE AI——拓展内容（第11讲）”已经详细介绍了关于机器学习模型的可解释性方法，今天我们来讲一下是如何做的。

Transformer——GENERATIVE AI——拓展内容（第10讲）

本章节主要浅谈“GPT-4o背后可能的语音技术猜测”。

本章节主要浅谈“有关影像的生成式AI”。

本章节主要浅谈“Speculative Decoding”，可以作为一个外挂工具，直接提升现有语言模型的生成速度。

本章节主要浅谈“生成式人工智能的生成策略”。

本章节主要浅谈“大型语言模型相关的安全性议题”。

本文为李宏毅学习笔记——2024春《GENERATIVE AI》篇——“第12讲”章节的课堂笔记，完整内容参见：李宏毅学习笔记——2024春《GENERATIVE AI》篇

本章主要探究“大型语言模型在“想”什么?

本文为李宏毅学习笔记——2024春《GENERATIVE AI》篇——“第10讲”章节的课堂笔记，完整内容参见：李宏毅学习笔记——2024春《GENERATIVE AI》篇

本文为李宏毅学习笔记——2024春《GENERATIVE AI》篇——作业笔记HW6。

HW5-补充2：||Top-K vs Top-P||——生成式模型中的采样策略与 Temperature 的影响

HW5-补充1：深入理解 Beam Search——原理, 示例与代码实现

HW5：尝试微调 LLM：让它会写唐诗

本章节主要介绍“以大型语言模型打造的AI Agent”。

HW4-补充4：模型参数与显存的关系，以及不同精度的影响

HW4-补充3：部署你的第一个语言模型——本地或云端

HW4-补充1：认识 LoRA：从线性层到注意力机制

HW4-补充2：理解 Hugging Face 的 AutoModel 系列——不同任务的自动模型加载类

本文为李宏毅学习笔记——2024春《GENERATIVE AI》篇——作业笔记HW4。

本文为李宏毅学习笔记——2024春《GENERATIVE AI》篇——“拓展内容（第6讲）”章节的拓展部分笔记，完整内容参见：李宏毅学习笔记——2024春《GENERATIVE AI》篇

让 AI 村民组成虚拟村庄会发生什么事？——GENERATIVE AI——拓展内容（第5讲）

本文为李宏毅学习笔记——2024春《GENERATIVE AI》篇——“第6~8讲”章节的课堂笔记，完整内容参见：李宏毅学习笔记——2024春《GENERATIVE AI》篇

语言模型如何学习使用工具——GENERATIVE AI——拓展内容（第4讲）

使用 API 快速搭建你的第一个 AI 应用

LLM API获取步骤及LLM API使用演示：环境配置与多轮对话演示

李老师的回复是“直接用ChatGPT就好”，诚然，在这样一个大语言模型时代，得益于充足的数据和强劲的算力，大语言模型在几乎所有任务上的表现都足够亮眼，我们已经没必要再想往常那样从头开始手写一个机器学习项目去实现上述功能。有了大预言模型的加持，我们可以以调大模型API这样一个简洁的方式去将该功能部署到我们的应用中去，于是便有了这门课。但是，这并不意味着我们需要完全舍弃独立开发能力，因为在某些场景下，大语言模型也有其受限的一面。这门课不是教我们怎么用 ChatGPT。生成式AI的应用日新月异，这门课会。

在本章节中，李老师通过实际的考试题目测试ChatGPT的回答，发现其在某些陷阱题上表现不佳，尽管整体正确率较高。他还展示了如何利用ChatGPT生成线性代数考题和使用五条体描述内容。此外，课程强调了预训练、监督学习和增强学习在模型训练中的重要性；以及如何通过提供明确指示和示例来提高模型的表现。

李宏毅学习笔记——2024春《GENERATIVE AI》篇

我们的目标是简化构建问题的基本概念，适用于不同规模的语言模型，评估它们的能力，并增强用户对不同规模语言模型在处理各种提示时行为的理解。这种方法利用了语言模型的“Few-shot Learning”能力，通过在提示中嵌入范例，帮助模型快速理解任务的模式和语境，从而优化回答质量。生成式人工智慧的发展趋势是从单一功能向通用功能的转变，如ChatGPT等多才多艺的AI代表，展示了AI工具人的新概念。例如，GPT模型不擅长进行复杂的计算或处理某些数学问题，但通过调用程序或利用搜索引擎，可以增强其处理复杂任务的能力。

提示工程是一个较新的学科，应用于开发和优化提示词（Prompt），帮助用户有效地将语言模型用于各种应用场景和研究领域。掌握了提示工程相关技能将有助于用户更好地了解大型语言模型的能力和局限性。研究人员可利用提示工程来提高大语言模型处理复杂任务场景的能力，如问答和算术推理能力。开发人员可通过提示工程设计和研发出强大的技术，实现和大语言模型或其他生态工具的高效接轨。本指南介绍了提示词相关的基础知识，帮助用户了解如何通过提示词和大语言模型进行交互并提供指导建议。