28. 深度学习进阶 - LSTM

最新推荐文章于 2025-12-05 16:19:27 发布
最新推荐文章于 2025-12-05 16:19:27 发布
阅读量291 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 茶桁的AI秘籍 - 核心基础 茶桁的 AI 会员专栏 文章标签： 深度学习 lstm 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/ivandoo/article/details/134906944
本文探讨了RNN模型的优势，包括其简单的结构与信息保留能力，介绍了StackedRNN和双向RNN的概念。重点讲解了LSTM如何通过门控机制解决梯度消失问题，以及GRU作为LSTM的简化版本，减少了参数和过拟合风险。

文章目录


在这里插入图片描述

Hi, 你好。我是茶桁。

我们上一节课，用了一个示例来展示了一下我们为什么要用RNN神经网络，它和全连接的神经网络具体有什么区别。

这节课，我们就着上一节课的内容继续往后讲，没看过上节课的，建议回头去好好看看，特别是对代码的进程顺序好好的弄清楚。

全连接的模型得很仔细的去改变它的结构，然后再给它加很多东西，效果才能变好：

self.linear_with_tanh = nn.Sequential(
    nn.Linear(10, self.hidden_size),
    nn.Tanh
了解本专栏 订阅专栏 解锁全文 超级会员免费看
14.深度学习之RNN进阶-2
大勇若怯任卷舒
04-01 196
14.2 长短期记忆（LSTM） 14.2.1 LSTM的产生原因 RNN在处理长期依赖（时间序列上距离较远的节点）时会遇到巨大的困难，因为计算距离较远的节点之间的联系时会涉及雅可比矩阵的多次相乘，会造成梯度消失或者梯度膨胀的现象 14.2.2 LSTM LSTM中引入了3个门，即： 输入门（input gate） 遗忘门（forget gate） 输出门（output gate） 以及记忆细胞 14.2.3 LSTM核心思想 遗忘门 作用对象：细胞状态 输入门 作用对象：细胞
自然语言处理之命名实体识别：Bi-LSTM技术教程
zhubeibei168的博客
04-17 1065
自然语言处理（NLP）是理解和处理自然语言的关键技术，命名实体识别（NER）是NLP中的一个重要任务。通过使用标记和数据集，我们可以训练模型来识别文本中的实体。Bi-LSTM模型是一种有效的NER模型，它能够同时考虑序列的前后文信息。通过计算F1分数，我们可以评估NER模型的性能。在命名实体识别任务中，面对实体边界模糊、实体类型多样、实体稀疏性以及长尾实体问题，我们可以通过数据不平衡处理策略、防止过拟合与欠拟合的方法，以及模型调参技巧来提升模型性能。
读书笔记：深度学习进阶-自然语言处理（俗称鱼书二）
博客而已
01-13 2451
还记得半年前开始看并给鱼书一做笔记的热情，现在想进一步了，作者和翻译作者都非常高效给力了，那么快就出了第二本鱼书-《深度学习进阶-自然语言处理》，本书一共八章，希望每周可以看完并完成一个章节的笔记，深度学习冲冲冲~在啃第一本鱼书的时候，是采用了先看在总结的方式，这次看第二本决定边看边总结，看完一遍可能还得回去再看第二遍，希望这次边学边思的效率高些，加油加油！自然语言处理是让计算机处理自然语言的技术。
深度学习篇---LSTM+Attention模型
道阻且长，行则将至。
04-07 3194
本文简答介绍了LSTM和Attention模型的使用以及一系列相关知识。遗忘门：决定从细胞状态中丢弃哪些信息输入门：确定哪些新信息将被存储到细胞状态输出门：基于细胞状态确定输出什么。
深度学习进阶-自然语言处理（斋藤康毅）读书笔记
weixin_44555637的博客
06-03 1323
本文是AI项目相关的读书笔记，主要涵盖神经网络基础、自然语言处理及RNN等内容。重点包括： 神经网络核心：链式法则与反向传播机制，强调多路径导数叠加原理； Word2Vec技术：通过上下文预测目标词训练词向量，改进方法如负采样大幅提升效率； 关键创新点：CBOW模型成功验证词向量线性语义特征，RNN时序建模解决上下文问题； 实现细节：Embedding层高效处理词向量，矩阵运算中广播与梯度计算的编程实践。全文以数学推导结合代码实例，系统性地梳理了深度学习在NLP领域的核心方法。
《深度学习进阶 自然语言处理》第六章：LSTM介绍
sherwinzhang的博客
11-18 2134
本章的主题是Gated RNN，我们先指出上一章的简单RNN中存在的梯度消失/爆炸问题，说明了作为替代层的Grated RNN（LSTM、GRU等）的有效性。介绍了使用LSTM层创建的语言模型，以及模型的优化。
论文复现 | 登神长阶：时序预测模型系列推送9——CNN-LSTM-Attention
Aifuyao的博客
05-09 1359
CNN-LSTM-Attention模型通过整合卷积神经网络（CNN）、长短期记忆网络（LSTM）和注意力机制，实现了对复杂数据任务的高效处理。CNN负责提取空间特征，LSTM捕捉时间序列的长期依赖关系，而注意力机制则动态聚焦关键信息，提升模型处理精度。该模型在多维特征挖掘、泛化能力和多变量数据处理方面表现出色，广泛应用于经济预测、气象预报、金融市场分析和能源需求预测等领域。通过代码实现，模型能够对时间序列数据进行训练和预测，并通过误差分析和结果可视化展示其性能。未来工作将致力于进一步降低预测误差，提升模型
《深度学习进阶 自然语言处理》第三章：word2vec
sherwinzhang的博客
11-09 1953
本章我们详细解释了 word2vec 的 CBOW 模型，（具体实现可以参考书中代码）。CBOW模型基本上是一个2层的神经网络，结构非常简单。
《深度学习进阶：自然语言处理(第7章)》-读书笔记
weixin_52128497的博客
04-15 1796
语言模型根据已经出现的单词输出下一个出现的单词的概率分布。一种可能的方法是选择概率最高的单词。在这种情况下，因为选择的是概率最高的单词，所以结果能唯一确定。也就是说，这是一种“确定性的”方法。另一种方法是“概率性地”进行选择。根据概率分布进行选择，这样概率高的单词容易被选到，概率低的单词难以被选到。在这种情况下，被选到的单词（被采样到的单词）每次都不一样。
NLP 进阶：BERT + LSTM 用于情感分类的迁移学习
qq_42014575的博客
01-15 2217
是一种基于 Transformer 的双向编码器预训练语言模型。其优势在于：捕捉文本中双向的上下文信息。能够在大规模数据上进行预训练，拥有强大的语言理解能力。
《深度学习进阶-自然语言处理》-【日】斋藤康毅著。个人学习整理简单笔记，欢迎一起学习探讨, 小白一枚，希望寻找小伙伴.zip
02-04
《深度学习进阶-自然语言处理》是日本学者斋藤康毅所著的一本深入探讨自然语言处理（NLP）的书籍，对于那些希望通过深度学习技术理解和解决自然语言问题的人来说，是一本非常有价值的资源。自然语言处理是人工智能...
深度学习进阶：自然语言处理.docx
09-13
深度学习进阶：自然语言处理 深度学习在自然语言处理领域的应用是当前最受欢迎的技术之一。自然语言处理是一种人机交互的关键技术，使得机器能够理解人类的语言，从而为人类提供更好的服务和支持。本文将探讨深度...
毕设项目-LSTM沪深300指数趋势预测系统（深度学习）-含项目报告.zip
02-09
毕设项目-LSTM沪深300指数趋势预测系统（深度学习）-含项目报告.zip 【项目资源说明】 【1】该项目由团队近期开发，代码完整，资料齐全，含设计文档等 【2】上传的项目源码经过严格测试，功能完善且稳定运行，易复现...
基于VGG16-LSTM进行基于关键帧的视频场景识别python源码.zip
09-08
2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载使用，也适合小白学习进阶，当然也可作为毕设项目、课程设计、作业、项目初期立项演示等。...
基于Bi-LSTM+FastText网络舆情情感分析python源码+详细代码注释.zip
09-08
2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载使用，也适合小白学习进阶，当然也可作为毕设项目、课程设计、作业、项目初期立项演示等。...
【人工智能】【深度学习】④ Stable Diffusion核心算法解析：从DDPM到文本生成图像的飞跃
xiezhiyi007的专栏
12-02 1383
Stable Diffusion是AI绘画领域的革命性技术，其核心基于扩散模型：通过"拆快递"式的噪声添加（前向扩散）和"拼乐高"式的逐步去噪（逆向过程），实现从噪声到图像的构建。本文用快递分拣、乐高拼装等生活化类比，解析CLIP文本编码器（翻译文字指令）、VAE（图像压缩）和U-Net（智能拼图）三大核心组件。相比传统GAN模型，它避免模式崩溃，提升语义理解能力，成为文本生成图像的黄金标准。通过代码与架构图解析，帮助开发者快速掌握这项技术的核心逻辑。
深度学习1.4-pytorch安装
最新发布
诚朴勇毅
12-05 78
PyTorch 官方提供了几种安装方法，可以通过 pip 或 conda 进行安装。
深入浅出卷积神经网络（CNN）：从LeNet到Vision Transformer的演进及其实战应用
云雾J视界的博客
12-04 904
本文系统梳理卷积神经网络从LeNet到Vision Transformer的演进脉络，聚焦“为何选用ResNet而非VGG”这一典型面试问题，揭示其背后的技术选型逻辑。文章基于CVPR、ICLR等顶会论文及MLPerf等公开基准，深入剖析四代架构——奠基（LeNet/AlexNet）、深度爆发（VGG/ResNet）、效率觉醒（MobileNet）与注意力时代（ViT/ConvNeXt）的核心创新与工程权衡。
RNN、LSTM 区别
Bojun Jiang的博客
12-02 739
对比维度传统 RNNLSTM（长短期记忆网络）核心结构单一隐藏状态（h），无门控机制细胞状态（长期记忆）+ 隐藏状态（短期记忆）+ 3 个门控长距离依赖能力弱（梯度消失 / 爆炸，记不住长远信息）强（门控 + 细胞状态稳定传递长距离信息）参数复杂度低（结构简单，参数少）高（多了门控参数，计算量更大）训练难度易训练（参数少）但效果差（长序列）难训练（参数多、计算量大）但效果好（长序列）适用场景短序列数据（如 10 个词以内的短句、短时序）
NN 100天学习进阶 - Python编程实践
6. 深度学习框架：深入学习至少一个深度学习框架，如TensorFlow或PyTorch，这些框架提供了构建、训练和部署深度神经网络的工具和抽象。 7. 实际项目：通过实际案例，如手写数字识别、图片分类、自然语言处理等，将...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

茶桁

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值