西湖大学自然语言处理（二）——自然语言处理及发展历程

最新推荐文章于 2025-10-10 10:04:04 发布
原创 最新推荐文章于 2025-10-10 10:04:04 发布 · 858 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#自然语言处理 #人工智能 #深度学习

本文概述了自然语言处理的发展历程，从符号规则（1950-1980年代）到统计机器学习（1980-2000年代），再到现代的深度连接主义（神经网络，2000年至今）。重点介绍了各阶段的特点与突破，如规则方法的局限与统计方法的进步，以及深度学习如何超越并推动领域的革新。

自然语言处理及发展历程

什么是自然语言处理

  • In the broadest sense,NLP refers to any program that automatically processes human languages（从最广泛的意义上说，NLP指的是任何自动处理人类语言的程序 ）
    在这里插入图片描述

自然语言处理发展历程

Rule-based(symbolic) approach(1950s-1980s)

  • NLP最古老的方法
  • 基于人类开发的规则和词汇在解决歧义方面的挑战
  • 但是对于一词多义解释性并不好

Statistical approach (traditional machine learning)(1980s-2000s)

  • 逐渐被学术界和业界采用
  • 使用概率模型
    • 训练数据（标记好的语料库）
    • 特征工程
    • 训练参数模型
    • 将模型应用于测试数据

Connectionist approach(Neural networks)(2000s-now)

  • 深度学习优于统计方法
    • 该领域不需要语言特征
    • 非常大的神经网络模型
    • 在庞大的原始文本上可以预训练
自然语言处理发展的四大阶段
herosunly的博客
05-10 5万+
1. 基于规则的方法 2. 统计机器学习方法 3. 浅层神经网络 4. 深层神经网络(预训练模型)
自然语言处理的三个里程碑
sddamoke的专栏
11-29 5151
 自然语言处理的三个里程碑文章讲述了自然语言处理历史中发现的两个事实和三个里程碑式的进展。两个事实分别为：一、短语结构语法不能有效地描写自然语言。为了识别句子的语法结构，将句子中的词一个一个切分出来，然后查词典，给每个词指派一个合适的词性；在这个基础上，用句法规则把句子里包含的句法成分逐个识别出来，进而判断每个短语的句法功能及语义角色。最终得到的句子的意义表示。短语结构语法在自然语
NLP自然语言处理的发展回顾与浅析
小北的博客
01-26 3129
自然语言处理 (NLP, Natural Language Processing) 又称为计算语言学，是一门借助计算机技术研究人类语言的科学。虽然 NLP 只有六七十年的历史，但是这门学科发展迅速且取得了令人印象深刻的成果。
自然语言处理的发展历程
qq_43391414的博客
10-24 8698
NLP的发展趋势：规则—>统计—>深度学习。 自然语言处理的发展大致经历了4个阶段：1956年以前的萌芽期；1957-1970年的快速发展期；1971 -1993年的低谷的发展期和1994年至今的复苏融合期。 57年快速发展的一个原因是：1956被称之为人工智能的元年，那一年召开了达特茅斯会议，首次正式提出了“人工智能”。 1956年8月，在美国汉诺斯小镇（其实就是美国的东北部沿海的一个州下面的一个镇）宁静的达特茅斯学院中，约翰·麦卡锡（John McCarthy）、马文·闵斯基（Marvin
二、自然语言处理发展历程
GUANGZHAN的专栏
08-19 4449
1.自然语言处理发展历程 自然语言处理的发展历程经历了兴起阶段、符号主义、连接主义和深度学习阶段。 兴起阶段：自然语言处理的萌芽期，代表人物包括图灵和香农。 符号主义：自然语言处理的发展器，代表任务是乔姆斯基和他的生成文法。 连接主义：自然语言处理的发展器，代表方法为统计机器学习。 深度学习：自然语言处理的鼎盛期，代表人物为深度学习三巨头：Yoshua Bengio、Yann LeCun、Geoffrey Hinton。 2 兴起阶段 2.1 致命密码：一场关于语言的较量** 苏格兰女王玛丽能使用了
全自动AI科学家诞生：西湖大学DeepScientist如何重塑科研范式
最新发布
厚积薄发的博客
10-10 1291
AI科学家两周完成人类三年工作量：DeepScientist开启科研新范式 西湖大学近期发布的DeepScientist系统标志着AI在科学发现领域的重大突破。这一具备完整科研能力的AI科学家，在无人工干预下实现了三大创新：自主提出科学构想、执行全流程实验、撰写完整论文。在AI文本检测任务中，该系统仅用两周就取得7.9%的性能提升，相当于人类三年的研究进展。 核心技术采用分层贝叶斯优化，通过多智能体协同策略实现科研资源的精准分配。该系统已展现强大泛化能力，在智能体失败归因等复杂任务中性能提升183.7%。研
高中语文读本目录
热门推荐
xu的blog
01-02 1万+
 最近元旦放假，突然想到了高中看过一个科幻小说，这个小说是在高中发的课本上的，但不是语文课本，是课外读物，具体名字记不住了。现在去找高中教材是不可能，早就不见了，只能借助于搜索引擎了。在借助google，baidu后，终于在baidu知道（http://zhidao.baidu.com/question/46128301.html?fr=qrl&cid=197&index=3&fr2=quer
51c扩散模型~合集3
whaosoft~aiotの开发板商城
01-10 1724
更加要命的问题是，比如Diffusion-QL本身动作采样就是5步完成的，采样已经很不精确了，且扩散策略在训练初期，没收敛的模型采样出来的动作样本还有严重的数值问题（比如采出来个1e5这种离群点），现在采样不精确性造成的误差会进一步通过训练传导到Q函数中，Bootstrapping Q loss本身又不稳定。相比于传统基于扩散的时序模型，ARMD 并没有将时间序列预测视为从噪声起步的条件生成任务，而是充分利用时间序列数据的连续演化特性，实现了扩散机制与时间序列连续性之间的对齐，从而提升了模型性能。
签了工作之后才发现，自己太草率了 　很长很真实 但会对你有所帮助的
qq_43685315的博客
02-25 4243
签了工作之后才发现，自己太草率了 　很长很真实 但会对你有所帮助的
51c自动驾驶~合集41
whaosoft~aiotの开发板商城
12-17 1685
现有激光雷达语义分割的SOTA方法通常包含专门为机械旋转激光雷达设计的归纳偏置。这限制了模型在其他类型激光雷达技术中的通用性，并使超参数调整变得更加复杂。为了解决这些问题，上海交通大学团队提出了一种通用的框架SFPNet，用稀疏焦点机制代替窗口注意力机制，以适应市场上流行的各种类型的激光雷达。SFPNet能够提取多层上下文信息，并使用门控机制动态聚合不同层次的信息。作者还提出了一种针对工业机器人应用场景的新型混合固态激光雷达语义分割数据集S.MID。
自然语言处理的发展
csdn_aspnet的专栏，请点击博客主页右上角三个点中的私信联系
01-20 1462
首先，图灵在1950年提出的著名的“图灵测试”，被认为是自然语言处理思想的开端。其次，乔姆斯基和他的生成文法对自然语言处理的发展产生了重要影响，他的理论为自然语言处理提供了一种形式化的方法。此外，随着计算机技术的发展，统计方法和深度学习方法在自然语言处理中得到了广泛应用。以上这些技术和步骤共同构成了自然语言处理的核心内容，它们的应用和发展使计算机更好地理解和生成人类语言成为可能。未来，随着技术的不断进步，自然语言处理的应用场景将更加广泛和深入，对人类社会的进步产生更大的影响。
自然语言处理（NLP）技术的发展历史
2401_82363370的博客
08-19 1666
自然语言处理（NLP）经历了从规则驱动到统计学习，再到深度学习及大模型的演进过程。早期（20世纪50-70年代）依赖人工规则，如ELIZA聊天机器人；80-90年代转向统计方法，利用语料库和概率模型提升翻译质量；2010年后深度学习兴起，Word2Vec、Transformer等突破使语义理解显著提升。2020年进入大模型时代，GPT等千亿级参数模型展现出通用智能潜力，推动多模态融合及商业化应用。NLP发展本质是数据、算力与算法的协同进化，未来将持续深化人机交互能力。
自然语言处理（NLP）技术的发展历程
qq_33820358的博客
08-10 2164
自然语言处理（Natural Language Processing，NLP）技术是指计算机处理和理解人类语言的能力。它涵盖了语言的各个层面，包括语音识别、语言理解、语言生成和机器翻译等。随着技术的不断进步和数据的不断积累，NLP技术在各个领域都取得了显著的进展，如机器翻译、语音识别、情感分析、问答系统等。未来，随着深度学习和大数据的进一步发展，我们可以期待NLP技术在更多实际应用中的广泛应用和进一步突破。
自然语言处理（NLP）历史中的6个主要时期你知道吗？
人邮异步社区
07-24 4344
在自然语言处理（NLP）历史中，Jurafsky和Martin[1]确定了6个主要时期，见表13.1。本章将简要地描述这些时期。各小节所述的内容与Jurafsky和Martin提供的这些时期大致呼应。 进一步的讨论请参阅第11章。 表13.1　NLP的6个时期（参见Jurafsky和Martin的文章，2008，第9～12页） 时期编号 时期名称 年份 1 基础期 20世纪40...
自然语言处理领域介绍
ikaros_xiao_严小飞
09-07 2097
1.文字语言VS数字信息      从文字、数字和语言的发展历史可以了解到语言、文字和数字有着内在的联系。数字、文字和自然语言一样，都是信息的载体，他们之间原本有着天然的联系，语言和数学的产生都是未了同一个目的——记录和传播信息。语言发展到一定程度，人类无法记住所有的词汇，高效记录信息的需求催生了文字的产生，不同语言之所以能翻译，因为文字系统在记录信息的能力是等价的。用数字代替文字作为载体，同样
5.1 自然语言处理综述
weixin_46227276的博客
12-16 1532
*自然语言处理（Natural Language Processing，简称NLP）被誉为人工智能皇冠上的明珠，是计算机科学和人工智能领域的一个重要方向。**它主要研究人与计算机之间，使用自然语言进行有效通信的各种理论和方法。简单来说，计算机以用户的自然语言数据作为输入，在其内部通过定义的算法进行加工、计算等系列操作后（用以模拟人类对自然语言的理解），再返回用户所期望的结果，如所示。自然语言处理是一门融合语言学、计算机科学和数学于一体的科学。它不仅限于研究语言学，还是研究。
【NLP相关】NLP的发展历程
WeLearnNLP
03-02 3440
在2017年，谷歌发布了一种名为Transformer的神经网络架构，该架构被广泛应用于自然语言处理领域，并在机器翻译和自然语言理解等领域取得了出色的成果。相比于传统的递归神经网络（如RNN、LSTM等），Transformer使用了全新的基于注意力机制的架构，避免了递归计算的复杂度，并实现了并行计算，大大提高了模型的训练速度和效率。Transformer的出现标志着神经网络架构设计的一个重要转折点，它通过全新的基于注意力机制的思想，避免了传统递归神经网络的计算复杂度，并且实现了更加精确的文本序列建模。
LLM 发展简史：带你看懂 NLP 进化史，从 NLP 到 LLM 的非凡旅程（一）！（超细分析CNN、RNN、Transformer、LLM……）
记录点滴生活
03-07 1468
卷积神经网络（Convolutional Neural Network, CNN）是一种深度学习模型，最初用于图像处理和计算机视觉任务。CNN通过卷积操作，可以有效地提取图像中的局部特征。循环神经网络（Recurrent Neural Network, RNN）是一种用于处理序列数据的神经网络，广泛应用于自然语言处理（NLP）和时间序列分析。RNN通过循环结构，能够记住前面输入的信息，适用于处理序列化的数据。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值