《基于深度学习的自然语言处理》第一章 自然语言处理---读书笔记

最新推荐文章于 2024-04-15 15:21:50 发布
原创 最新推荐文章于 2024-04-15 15:21:50 发布 · 284 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#自然语言处理 #深度学习 #神经网络

自然语言处理（NLP）涉及让机器理解和处理人类语言，包括语音识别、理解和生成。关键步骤如文本预处理，包括转为数值数据、小写转换、去噪等。NLP的应用广泛，如自动文摘、翻译、情感分析等。预处理技术如NLTK库提供支持，助力构建简单沟通渠道。

1.2 自然语言处理的基础知识

自然语言处理是人类语言的机器处理，旨在教授机器如何处理和理解人类的语言，从而在人与机器之间建立一个简单的沟通渠道。

编程语言：“机器能够轻松理解和处理的是什么？”顺应机器

自然语言处理：使机器能够与人类保持一致，并学习人类的交流方式。

数值数据：机器学习模型，深度学习模型

自然语言处理：文本数据---》数值数据，从而使得机器学习模型和深度学习模型能够适用于文本数据

1.3  自然语言处理的三种能力：

1.语音识别

2.自然语言理解

3.自然语言生成

文本数据：语料库（corpora）一个语料（corpus）

1.4 自然语言处理中的应用

  • 自动文摘
  • 翻译
  • 情感分析
  • 关系提取：从语料库中提取语义关系
  • 聊天机器人：有助于帮助患有抑郁症和焦虑症的人。
  • 社交媒体分析
  • 个人语音助理
  • 语法检查

文本预处理

机器不需要语料库中的无关部分

执行根据需要来执行任务的不同预处理技术

NLTK：一个简单的自然语言处理的库

文本预处理技术

  • 小写、大写转换
  • 去噪
  • 文本规范化
  • 词干提取
  • 词形还原
  • 标记化
  • 删除停止词

NLP入门之综述阅读-基于深度学习的自然语言处理研究综述
weixin_43890824的博客
11-08 1116
NLP入门-综述阅读-【基于深度学习的自然语言处理研究综述】基于深度学习的自然语言处理研究综述摘要0 引言1 深度学习概述卷积神经网络递归神经网络2 NLP应用研究进展3 预训练语言模型BERTXLNetERNIE4 结束语个人总结 基于深度学习的自然语言处理研究综述 2020年4月 罗枭-浙江农林大学信息工程学院 来源：智能计算机与应用-第10卷-第4期 摘要 摘要：自然语言处理的研究综述，重点介绍最新的预训练语言模型，以及总结与展望 关键词：深度学习；自然语言处理；深度神经网络；语言模型 0 引言 NL
NLP——基于深度学习的自然语言处理
beautyfairy的博客
10-11 561
NLP 编码方式 One-hot独热编码（人为规定） 特征系稀疏 词之间相互独立 不能表征词与词之间的关系，one-hot之间正交 Embedding编码（词向量矩阵） 特征稠密 能够表征词语词之间的互相关系 泛化性更好（one-hot与之相比就是完全命中），支持语义计算 词监督词向量方法 自监督学习 skip-gram skip-gram目标是：最大化上下文单词的预测概率 skip-gram过程如下图所示： eg: CBoW CBoW目标是：最大化中间词的预测概率 CBoW过程
nlp-paper:自然语言处理领域下的对话语音领域，整理相关论文（附阅读笔记），复现模型以及数据处理等（代码含TensorFlow和PyTorch两版本）
04-30
NLP-Paper | Still work 本人在学习的过程中阅读过的论文就更新上来，对于自己精读的论文，会写一些阅读笔记上传，有兴趣的也可以一同分享完善。(内容同步更新到、) 注：对部分复现论文代码以及NLP其他工具代码放在这 ☞ Contents | 内容 Summarize | 综述 ：对话系统的最新研究和方向 | Chen et al,2017 Recent Advances and Challenges in Task-oriented Dialog Systems | 阅读笔记：面向任务型对话系统的最新研究和方向 | Zhang et al,2020 Pre-trained Models for Natural Language Processing: A Survey | 阅读笔记：超详细的NLP预训练语言模型总结清单 | Xipeng Qiu et al,2020 Pre
基于深度学习的自然语言处理--笔记（第一章）
qq_42623328的博客
08-23 337
@第一章 引言 1.1 自然语言处理的挑战 使用计算机理解和产生语言极具挑战性。最为人知的处理语言数据的方法是使用有监督机器学习（supervised machine learning）算法，其试图从事先标注好的输入/输出集和中推导出使用的模式和规则。机器学习方法擅长那些很难获得规则集，但是相对容易获得给定输入及相应输出样本的领域 新的改变 我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客： 全新的界面设计 ，将会带
《深度学习进阶：自然语言处理》读书笔记：第8章 Attention
weixin_44850744的博客
08-29 568
然后，我们使用Attention实现了seq2seq，并通过简单的实验，确认了Attention的出色效果。Self-Attention直译为“自己对自己的Attention”，也就是说，这是以一个时序数据为对象的Attention，旨在观察一个时序数据中每个元素与其他元素的关系。这样一来，即使加深了层，梯度也能正常传播，而不会发生梯度消失（或者梯度爆炸），学习可以顺利进行。具体来说，就是从“基于规则的翻译”到“基于用例的翻译”，再到“基于统计的翻译”。现在，神经机器翻译取代了过往的计数，获得了广泛关注。.
《深度学习进阶：自然语言处理(第4章)》-读书笔记
weixin_52128497的博客
04-12 724
假设词汇量有 100 万个，CBOW 模型的中间层神经元有 100 个。输入层和输出层存在 100 万个神经元，在如此多的神经元的情况下，中间的计算过程需要很长时间。本章将重点放在 word2vec 的加速上，来改善 word2vec。
《深度学习进阶：自然语言处理(第7章)》-读书笔记
最新发布
weixin_52128497的博客
04-15 1789
语言模型根据已经出现的单词输出下一个出现的单词的概率分布。一种可能的方法是选择概率最高的单词。在这种情况下，因为选择的是概率最高的单词，所以结果能唯一确定。也就是说，这是一种“确定性的”方法。另一种方法是“概率性地”进行选择。根据概率分布进行选择，这样概率高的单词容易被选到，概率低的单词难以被选到。在这种情况下，被选到的单词（被采样到的单词）每次都不一样。
《深度学习进阶：自然语言处理(第5章)》-读书笔记
weixin_52128497的博客
04-13 1618
CBOW 模型本来的目的“从上下文预测目标词”是否可以用来做些什么呢？给出了单词序列发生的概率。具体来说，就是使用概率来评估一个单词序列发生的可能性，即在多大程度上是自然的单词序列。比如，对于“you say goodbye”这一单词序列，语言模型给出高概率（比如 0.092）；对于“you say good die”这一单词序列，模型则给出低概率（比如 0.0000000000032）。
《深度学习进阶：自然语言处理(第3章)》-读书笔记
weixin_52128497的博客
04-11 1605
基于计数的方法根据一个单词周围的单词的出现频数来表示该单词。具体来说，先生成所有单词的共现矩阵，再对这个矩阵进行 SVD，以获得密集向量（单词的分布式表示）。在现实世界中，语料库处理的单词数量非常大，使用基于计数的方法就需要生成一个庞大矩阵，但对如此庞大的矩阵执行 SVD 显然是不现实的。基于推理的方法的主要操作是“推理”。当给出周围的单词（上下文）时，预测“？”处会出现什么单词，这就是推理。基于推理的方法引入了某种模型，我们将神经网络用于此模型。
《深度学习进阶：自然语言处理(第2章)》-读书笔记
weixin_52128497的博客
04-10 663
在自然语言处理领域，最著名的同义词词典是 WordNet。WordNet 是普林斯顿大学于1985年开始开发的同义词词典，迄今已用于许多研究，并活跃于各种自然语言处理应用中。使用 WordNet，可以获得单词的近义词，或者利用单词网络。使用单词网络，可以计算单词之间的相似度。通过 Python 利用 WordNet，可以使用 NLTK（Natural Language Toolkit，自然语言处理工具包）这个库。
《自然语言处理简明教程》读书笔记：第一章 自然语言处理与理论语言学
weixin_44850744的博客
03-24 2005
第一章 自然语言处理与理论语言学 我们认为，计算机对自然语言的研究和处理，一般应经过如下四个方面的过程： 第一，把需要研究的问题在语言学商加以形式化，建立语言的形式化模型，使之能以一定的数学形式，严密而规整地表示出来，这个过程可以叫做“形式化”； 第二，把这种严密而规整的数学形式表示为算法，这个过程可以叫做“算法化”； 第三，根据算法编写计算机程序，使之在计算机上加以实现，建立各种实用的自然语言处理系统，这个过程可以叫做“程序化”； 第四，对于所建立的自然语言处理系统进行评测，使之不断地改进质量和
《自然语言处理》读书笔记（江铭虎版）
搞点學術的研究生
12-30 1524
第一章：概论 1，自然语言处理（natural language processing, NLP）/自然语言理解（natural language understanding, NLU）/计算语言学（computational linguistics）:(主要用来说明方法，侧重于工程) 2，自然语言处理的目标 实现计算机对自然语言的自动分析和理解，立足于实验、理论、计算三大支柱，通过-以对人...
NLP : 基于深度学习的自然语言处理---基础概念（1/8）
weixin_43444329的博客
09-22 331
1. NLP基础概念与课前准备 1.1 什么是自然语言处理 自然语言处理是计算机科学领域与人工智能领域的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。融合了语言学、计算机科学和数学。 1.2 自然语言处理的应用 （1）智能问答 （2）智能对话 如：智能语音咖啡推荐…… （3）机器同传 如：各大国际会议的报告、美剧…… 1.3 自然语言处理的挑战 1.4 自然语言处理的技术发展 ...
统计自然语言处理书籍阅读心得一
Mr_wuliboy的博客
04-05 523
1.自然语言处理研究的内容：       （1）机器翻译（machine translation, MT）：实现一种语言到另一种语言的自动翻译。       （2）自动文摘（automatic summarizing或automatic abstracting）：将原文档的主要内容和含义自动归纳提炼出来形成摘要或缩写        （3）信息检索（information retrieval）：信息...
python自然语言处理-读书笔记5
zlp_zky的博客
10-12 432
#使用UniCode进行文字处理 #Unicode支持超过一百万种字符。每个字符分配一个编号，称为编码点。在 Python中， 编码点写作\uXXXX 的形式，其中 XXXX是四位十六进制形式数。 #从文件中提取已编码文本 import codecs path = nltk.data.find('corpora/unicode_samples/polish-lat2.txt') f = cod...
《自然语言处理简明教程》读书笔记：前言
weixin_44850744的博客
03-23 489
前言 自然语言处理（Natural Language Processing，简称NLP），就是以电子计算机为工具，对人类特有的书面形式和口头形式的自然语言的信息进行各种类型处理和加工的技术。这项技术现在已经形成一门专门的边缘性交叉性学科，它涉及语言学、数学和计算机科学，横跨文科、理科和工科三大知识领域。自然语言处理的目的在于建立各种自然语言处理系统，如机器翻译系统、自然语言理解系统、信息自动检索系统、信息自动抽取系统、文本信息挖掘系统、术语数据库系统、计算机辅助教学系统、语音自动识别系统、语音自动合成系统
统计自然语言处理读书笔记
hattieghy的专栏
07-18 516
07.18 一、自然语言处理涉及的层次 1、形态学 是语言学的一个分支，研究词的内部结构，包括屈折变化和构词法两个部分。由于词具有语音特征、句法特征和语义特征、形态学处于音位学、句法学和语义学的结合部位，所以形态学是每个语言学家都要关注的一门学科。 2、语法学 研究句子结构成分之间的相互关系和组成句子序列的规则。其关注的中心是，为什么一句话可以这么说，也可以那么说？ 3、语义学 是一...
一文了解基于深度学习的自然语言处理研究
qq_38773180的博客
09-29 1438
目前，人工智能领域中最热的研究方向当属深度学习。深度学习的迅速发展受到了学术界和工业界的广泛关注，由于其拥有优秀的特征选择和提取能力，对包括机器翻译、目标识别、图像分割等在内的诸多任务中产生了越来越重要的影响。同时在自然语言处理( Natural Language Processing，NLP) 、计算机视觉( Computer Vision，CV) 、语音识别( Speech Recognition，SR) 领域得到广泛应用。 自然语言处理被称为人工智能皇冠上的明珠，因此如何使用深度学习技术推动 NLP
《基于深度学习的自然语言处理》笔记
Algernon98的博客
06-04 336
NLP概念笔记
李炎恢JavaScript-PDF文档笔记深度解析
这些笔记涉及的主题是JavaScript编程，从第一章到第三十四章，意味着这是一本结构化的教程，或者是一系列的课程笔记，覆盖了JavaScript的许多方面。 2. **章节划分**: 文档被分为34个章节，这可能意味着内容被组织...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值