LSTM登顶20世纪AI论文高引No.1，NLP技术崛起！！！

最新推荐文章于 2025-03-25 11:51:30 发布
原创 最新推荐文章于 2025-03-25 11:51:30 发布 · 3.9k 阅读 · 5 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

1997年Hochreiter和Schmidhuber发表的LSTM论文已成为20世纪深度学习领域被引最多的论文，超越了Hinton的反向传播论文。LSTM因其在处理时间序列问题上的优势，如手写识别和语音识别，得到了广泛应用。在21世纪，AlexNet、VGG和ResNet等深度卷积神经网络的论文在计算机视觉领域获得了极高引用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

经典也会被经典超越。

20世纪深度学习研究中，引用最多的论文不再是反向传播。
新的宠儿，是1997年Hochreiter和Schmidhuber发表的Long short-term memory。
大名鼎鼎的LSTM。
在这里插入图片描述
作为「LSTM 之父」的 Jürgen Schmidhuber 虽然没有获得图灵奖（也因乖张的行为不受待见），但他在深度学习领域的贡献仍然获得了整个社区的「被动认可」。

最近几天，有人通过 Google Scholar 的统计发现：Hochreiter 和 Schmidhuber 1997 年发表的 LSTM 论文成为了 20 世纪被引最高的深度学习研究论文。

在这里插入图片描述
在这里插入图片描述

截至今日，这篇论文的被引用量已经达到 26166，超过了 Hinton 1985 年发表的反向传播相关论文（《Learning internal representations by error propagation》）。

出人预料的排名变化是在最近发生的，LSTM 论文在 2019 年的年度引用量高达 9752 次，高于此前 Bengio、LeCun 等人年度被引最高的 CNN 相关论文（《Gradient-based learning applied to d

最低0.47元/天 解锁文章

200万优质内容无限畅学
【人工智能时代】- 从选择到训练，深度解析显卡选型、模型训练技、模型选择巧及AI未来展望---打造AI应用新篇章
xiaoli8748的专栏
09-25 958
早期阶段（1950s~1980s）在1950年代初期，人们开始尝试使用计算机处理自然语言文本。然而，由于当时的计算机处理能力非常有限，很难处理自然语言中的复杂语法和语义。随着技术的发展，自然语言处理领域在20世纪60年代和70年代取得了一些重要的进展。例如，1970年，美国宾夕法尼亚大学的Adele Goldberg和David Robson创建了一个名为Lunenfeld Project的系统，它可以进行自动翻译。
LSTM为什么晦涩难懂？Long Short-term Memory 万字解析 论文精读 LSTM的提出
qq_45523675的博客
11-04 4071
说明：本文是自己阅读期间，发现论文中的公式复杂，于是写了这篇文章进行梳理，同时给出自己的总结方法。文中的非手绘图片均来自论文。注意：此篇文章提出的LSTM并不是现在所熟知的LSTM（现在是指2022年），现在的LSTM拥有Forget Gate，但是这篇文章并没有遗忘门，而带遗忘门的LSTM是出自，这篇文章发表自1999年，是对的改进。
经典lstm和crf机器学习论文
07-06
经典lstm和crf机器学习论文经典lstm和crf机器学习论文经典lstm和crf机器学习论文经典lstm和crf机器学习论文经典lstm和crf机器学习论文经典lstm和crf机器学习论文经典lstm和crf机器学习论文
与LSTM有关的论文总览
weixin_45459911的博客
06-06 7502
在学习LSTM的时候，查阅了很多论文，将其分类整理于此，便于一些新学习LSTM的人据此寻找自己需要的论文。 （都是一些经典论文，不包含前沿论文） 1、序列预测问题 Sequence on Wikipedia. On Prediction Using Variable Order Markov Models, 2004. Sequence Learning: From Recognition and Prediction to Sequential Decision Making, 2001. Chapte
LSTM原文章
11-10
清晰版LSTM原文章
NLP科研训练的小仓鼠的碎碎念1——《Attention-based LSTM for Aspect-level Sentiment Classification》的论文阅读
糕糕的博客
08-19 444
我记得本科科研训练的组会都是研究生学长学姐汇报工作，然后我们在那边听得懵懵懂懂哈哈哈，尽管如此还是想试着去写一些东西来记录这段有意义的经历 我的导师在一次组会上反复强调汇报的要点是：Problem、Motivation与Solution,所以本文作为本小白的第一篇论文阅读感悟，就姑且仿照这个格式去写叭 特别提醒：因为我也是刚刚起步的科研小白，所以讲得不对的地方请大家指出，感谢批评指正???? 1论文前期知识储备 1.1 target与aspect的区别 eg: Staffs are not that
lstm原文_NLP中应用最广泛的特征抽取模型-LSTM，虽老生常谈，却不乏新意
weixin_39951396的博客
11-20 587
RNN梯度消失原因详解：https://t.zsxq.com/7qzRBeE那好，既然RNN有这样的问题，该怎么解决呢？我们今天的主角LSTM(Long Short-Term Memory)就该登场了。1 LSTM的提出在LSTM提出之前，RNN的训练基于BPTT(Back-Propagation Through Time)或者RTRL(Real Time Recurrent Learning)。...
FLAT：中文NER屠榜之作！复旦大学邱锡鹏团队出品-20
m0_47891641的博客
09-11 485
道翰天琼认知智能机器人平台API接口大脑为您揭秘。近年来，引入词汇信息逐渐成为提升中文NER指标的重要手段。ACL2020中一篇来自复旦大学邱锡鹏老师团队的 FLAT: Chinese NER Using Flat-Lattice Transformer 刷新了中文NER任务的新SOTA。 如上图所示，在MSRA-NER任务中，FLAT+BERT登顶榜首；而单独的FLAT（1层TransFormer）也超越了预训练模型ERNIE。相比于之前引入词汇信息的中文NER工作，FLAT主要创新点在于： ...
使用Python进行情感分析的机器学习方法！
**My Coding Family**
03-04 655
🏆本文收录于「编程与技术实战」专栏，此专栏涵盖了C/C++编程、人工智能、数据结构、机器学习等技术领域的内容，助你早日登顶实现财富自由🚀；同时，欢迎大家关注&&收藏&&订阅！持续更新中，up！up！up！！
【论文原文 | 中文版 】BERT：语言理解的深度双向变换器预训练
weixin_45731793的博客
08-27 2388
本文介绍一种称之为BERT的新语言表征模型，意为来自变换器的双向编码器表征量(BidirectionalEncoder Representations from Transformers)。不同于最近的语言表征模型(Peters等，2018; Radford等，2018)，BERT旨在基于所有层的左、右语境来预训练深度双向表征。
LSTM（Long Short-Term Memory）是长短期记忆网络 一篇不错的文章
11-11
一篇不错的关于LSTM（是长短期记忆网络)的文章， 对于LSTM有一种不一样的理解
LSTM思想解析—论文精读（Learning to Forget: Continual Prediction with LSTM）
wangxiaobin1314的博客
03-25 1357
遗忘门的提出是为了解决：输入数据是连续的数据流，造成激活函数h(x)饱和，从而出现梯度消失或记忆细胞退化为普通BPTT的问题。遗忘门的作用就是让记忆单元可以在适当的时间将状态进行重置，从而丢弃那些内容过时且无用的信息。图2上图为添加遗忘门后的LSTM结构。在图中，表示遗忘门。与其他门的计算方式一样，遗忘门的计算公式为：（10）激活函数为sigmoid函数，因此的取值范围为0~1。根据上图红框中的公式，公式（6）变为了：（11）
lstm原文_ICLR 2019最佳论文 | ON-LSTM：用有序神经元表达层次结构
weixin_39593340的博客
11-03 791
作者丨苏剑林研究方向丨NLP，神经网络个人主页丨kexue.fm今天介绍一个有意思的 LSTM 变种：ON-LSTM，其中“ON”的全称是“Ordered Neurons”，即有序神经元，换句话说这种 LSTM 内部的神经元是经过特定排序的，从而能够表达更丰富的信息。ON-LSTM 来自文章 Ordered Neurons: Integrating Tree Structures into Rec...
LSTM-AD（LSTM入门经典文章） 论文综述
qq_40364351的博客
10-23 4600
文献综述格式一般包括： 引言： 包括撰写文献综述的原因、意义、文献的范围、正文的标题及基本内容提要； 正文： 是文献综述的主要内容，包括某一课题研究的历史 (寻求研究问题的发展历程)、现状、基本内容 (寻求认识的进步)，研究方法的分析(寻求研究方法的借鉴)，已解决的问题和尚存的问题，重点、详尽地阐述对当前的影响及发展趋势，这样不但可以使研究者确定研究方向，而且便于他人了解该课题研究的起点和切入点，...
LSTM 为何如此有效？这五个秘密是你要知道的
zandaoguang的博客
04-14 1684
长短期记忆网络（LSTM），作为一种改进之后的循环神经网络，不仅能够解决 RNN无法处理长距离的依赖的问题，还能够解决神经网络中常见的梯度爆炸或梯度消失等问题，在处理序列数据方面非常有...
Long-Short-Term-Memories（LSTM）
热门推荐
雪伦的专栏
12-06 1万+
1.传统RNN存在的问题在循环神经网络一文中，对前向传播、后向传播进行了仔细的推导，回顾一下，可以发现传统RNN很容易产生梯度消失、爆炸的问题。可能公式会显得有点抽象，这里举一个例子：那么，LSTM是如何解决这个问题的呢？2.RNN && LSTM如图1所示，这就是一个传统的RNN模型，激活函数用的是tanh 图1图2与图1拥有类似的网络结构，只不过内部会更加复杂，即包括输入、忘记、输出门。
【论文阅读笔记】LSTM: A Search Space Odyssey
寸先生的AI道路
01-04 1471
         本文是2017年发表在 IEEE TRANSACTIONS ON NEURAL NETWORKS AND LEARNING SYSTEMS上的一篇文章，文章通过大量的对比实验，揭示LSTM及其变种中各种结构单元对LSTM网络性能的影响，此处避免照原文翻译。文章通过改变LSTM输入门、输出门、遗忘门等网络单元，改变学习率、网络大小、高斯噪声、动量等超参数，以及组合改变来进行了多组实...
lstm原始论文_ICLR 2019最佳论文出炉：微软、MILA、MIT获奖
weixin_39927288的博客
12-04 253
机器之心报道参与：路、淑婷深度学习顶会 ICLR 2019 的两篇最佳论文现已放出，来自蒙特利尔大学、微软研究院和 MIT CSAIL 的研究者获得了最佳论文奖。其中一篇最佳论文探讨自然语言处理问题，提出利用神经元排序将对自然语言层级结构的考虑纳入网络。另一篇最佳论文探讨了模型压缩问题，提出了一个新的概念：彩票假设。一年一度的深度学习盛会 ICLR 将于当地时间 5 月 6 日-9 日在...
Error: LSTM requested, but not present!! Loading tesseract.翻译
最新发布
07-18
<think>问题：用户要求翻译错误信息 "Error: LSTM requested, but not present!! Loading tesseract."，同时需要按照规则在最后提出3-5个相关问题。 翻译内容：这个错误发生在Tesseract OCR引擎初始化时，表明用户请求使用LSTM（长短期记忆神经网络）模式，但当前安装的Tesseract版本不支持LSTM。系统将回退加载传统引擎（tesseract）。 完整翻译： "错误：请求使用LSTM模式，但当前不存在LSTM支持！！正在加载传统tesseract引擎。" 注意事项： 1. 翻译需准确传达技术含义 2. "!!" 保留为中文感叹号"！！" 3. "Loading tesseract" 译为"正在加载传统tesseract引擎"以明确回退行为 §§相关问题§§ 1. 如何检查已安装的Tesseract版本是否支持LSTM？ 2. 在哪些操作系统上需要重新编译Tesseract以启用LSTM？ 3. 如何通过代码配置强制使用传统Tesseract引擎？ 4. LSTM模式与传统OCR引擎在识别准确率上有何差异？ 5. 升级Tesseract到支持LSTM版本的具体步骤是什么？</think>### 错误翻译及原因分析 **错误信息原文**： ``` Error: LSTM requested, but not present!! Loading tesseract. ``` **中文翻译**： ``` 错误：请求使用LSTM识别引擎，但当前环境未安装LSTM组件！！正在回退加载基础版tesseract引擎。 ``` ### 根本原因解析 1. **LSTM组件缺失**： - 您使用的Tesseract版本未包含LSTM（长短期记忆神经网络）模块 - LSTM是Tesseract 4.0+的核心识别引擎，显著提升OCR准确率 2. **版本兼容性问题**： ```java // 检查安装的Tesseract版本 System.out.println(Tesseract.getInstance().getVersion()); ``` - 若输出版本号低于`4.0.0`，则不支持LSTM - 常见于使用`tess4j`的legacy版本依赖 ### 解决方案 **步骤1：更新依赖** ```xml <!-- pom.xml 更新tess4j版本 --> <dependency> <groupId>net.sourceforge.tess4j</groupId> <artifactId>tess4j</artifactId> <version>5.8.0</version> <!-- 最低需4.0+ --> </dependency> ``` **步骤2：安装完整引擎** ```bash # Windows安装命令 choco install tesseract --version=5.3.0 choco install tesseract-lang # Linux安装命令 sudo apt install tesseract-ocr sudo apt install libtesseract-dev ``` **步骤3：代码强制启用LSTM** ```java // 初始化时明确指定引擎模式 tesseract.setOcrEngineMode(TessOcrEngineMode.OEM_LSTM_ONLY); ``` **步骤4：验证安装** ```java // 检查LSTM支持状态 if (tesseract.getOcrEngineMode() != TessOcrEngineMode.OEM_LSTM_ONLY) { throw new IllegalStateException("LSTM引擎未正确加载"); } ``` ### 补充说明 当出现此错误时，系统会自动回退到传统OCR引擎（基础版tesseract），但会导致： - 识别准确率下降30%-50% - 无法处理复杂版式文档 - 中文识别几乎不可用
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值