NLP 基础知识大集合

【NLP】NLP基础知识 目录自然语言处理主要内容自然语言的构成自然语言处理的步骤1:词法分析1 分词:2 实体识别3 实体识别方法:序列标注4 序列标注关键算法:5 序列标注应用:5.1 新词发现:5.2 领域中文分词5.3 命名实体识别5.4 依存句法分析(帮助句法分析)自然语言处理的步骤2:句法分析1 主题模型与特征提取1.1 TF-IDF1.2 主题模型1.3 LDA(潜在狄利克雷分配Latent Dirichlet Allocation)1.4 词向量与分布式表示2 文本分类与相似度量自然语言处理的步骤3:语 阅读详情

大纲

  • NLP基础概念

  • NLP的发展与应用

  • NLP常用术语以及扩展介绍


1.1 什么是NLP

  • 基本分类

NLP基本分类

  • 自然语言生成(Natural Language Generation,NLG)

    指从结构化数据中以读取的方式自动生成文本,主要包括三个阶段:

    • 文本规划:完成结构化数据中的基础内容规划;
    • 语句规划:从结构化数据中组合语句来表达信息流;
    • 实现:产生语法通顺的语句来表达文本;
  • 研究任务

    • 机器翻译
    • 情感分析
    • 智能问答
    • 文摘生成
    • 文本分类
    • 舆论分析
    • 知识图谱

1.2 NLP的发展历程

  • 萌芽期(1956年以前)

    贝叶斯方法、隐马尔可夫、最大熵、支持向量机……,主流仍为基于规则的理性主义方法;

  • 快速发展期(1980~1999年)

    基于统计、基于实例和基于规则的语料库技术在这一时期蓬勃发展;

  • 突飞猛进期(2000年至今)

    神经网络与深度学习;


1.3 NLP相关知识的构成

  • 基本术语

    • 分词(segment)

    • 词性标注(part-of-speech tagging)

    • 命名实体识别(NER,Named Entity Recognition)

      指从文本中识别具有特定类标的实体(常为名词),如人名、地名、机构名、专有名词等;

    • 句法分析(syntax parsing)

      目的是解析句子中各个成分的依赖关系;

    • 指代消解(anaphora resolution)

    • 情感识别(emotion recognition)

    • 纠错(correction)

    • 问答系统(QA system)

  • 知识结构

    NLP是一门跨学科科学,体系化与特殊化并存,其知识体系如下:

    • 句法语义分析:针对目标句子,进行各种句法分析;
    • 关键词抽取:抽取目标文本中的主要信息;
    • 文本挖掘:主要包含对文本的聚类、分类、信息抽取、摘要、情感分析及对挖掘的信息和知识的可视化、交互式的呈现界面;
    • 信息检索:对大规模的文档进行索引;
    • 机器翻译:将输入的源语言文本通过自动化翻译转化为另一种语言的文本;
    • 问答系统:针对某个自然语言表达的问题,由问答系统给出一个精确答案;
    • 对话系统:系统通过多回合对话,与用户进行聊天、问答、完成某项任务;

知识结构图示


1.4 语料库


1.5 探究NLP的几个层面

  • 第一层面:词法分析

    • 分词

    • 词性标注

      目的是为每个词赋予一个类别;

  • 第二层面:句法分析

    对输入的文本以句子为单位,进行分析从而得到句子的句法结构的处理过程;

  • 第三层面:语义分析

    语义角色标注(semantic role labeling)是当前较为成熟的浅层语义分析技术;

NLP 自然语言处理实战 本文从分词、词频、词向量等基础领域开始讲解自然语言处理的原理,讲解 One-Hot、TF-IDF、PageRank 等算法及 LDA、LDiA、LSA 等语义分析的原理。介绍 Word2vec、GloVe 、Embedding 等常用词嵌入及 NLTK、Jieba 等分词工具的应用。 阅读详情

相关推荐

【自然语言处理】自然语言处理NLP概述及应用

自然语言处理(Natural Language Processing,简称NLP)是一门集计算机科学、人工智能以及语言学于一体的交叉学科,致力于让计算机能够理解、解析、生成和处理人类的自然语言。它是人工智能领域的一个关键分支,旨在缩小人与机器之间的交流障碍,使得机器能够更有效地识别并响应人类的自然语言指令或内容。

weixin_51306394的博客 3179

NLP基础知识整理

目录 一、生成模型 VS 判别模型 一、生成模型 VS 判别模型 从概率分布的角度考虑,对于一堆样本数据,每个均有特征Xi对应分类标记yi。 生成模型:学习得到联合概率分布P(x,y),即特征x和标记y共同出现的概率,然后求条件概率分布。能够学习到数据生成的机制。 判别模型:学习得到条件概率分布P(y|x),即在特征x出现的情况下标记y出现的概率。 数据要求:生成模型需要的数据量比较大,能够较好地估计概率密度;而判别模型对数据样本量的要求没有那么多。 https://blog.csdn..

china1000的专栏 1587

自然语言处理NLP概述

大家好,自然语言处理(NLP)是计算机科学领域与人工智能领域中的一个重要方向,其研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。本文将从自然语言处理的本质、原理和应用三个方面,对其进行概述。NLP是一种机器学习技术,使计算机能够解读、处理和理解人类语言,其本质就是人类和机器之间沟通的桥梁。人类使用自然语言交流,如中文、英文等,狗通过叫声和其他身体语言交流,机器使用数字信息进行交流。人类与机器之间存在交流障碍,因为人类不直接理解数字信息,而机器不直接理解自然语言。

csdn1561168266的博客 4133

NLP入门——基础知识

它的目标是要通过与环境(Environment)交互,根据环境的反馈(Reward),优化自己的策略(Policy),再根据策略行动(Action),以获得更多更好的反馈奖励(Reward)。大语言模型也不属于生成式AI,比如谷歌的BERT,不擅长长文本生成工作。有能力学习输入序列中的所有词的相关性和上下文,不会收到短时记忆的影响;并非所有的生成式AI都属于大语言模型,如图像的扩散模型,并不输出文本;位置编码:规定了词在句子中出现的顺序,便于并行训练,提高速度。LLM中的大:参数多,高达数十亿;

a131529的博客 1906

NLP自然语言处理

NLP就是人与机器沟通的“桥梁”。

m0_68153457的博客 2284

OpenFOAM算例文件结构深度解析:以cavity案例为例教你读懂每个文件夹的作用

本文以OpenFOAM经典cavity案例为例,深度解析CFD算例文件结构。详细阐述了0、constant、system三个核心目录的作用:0存放初始与边界条件,constant定义物理属性和网格,system控制求解策略。通过剖析关键文件,帮助用户理解每个参数的意义,掌握从读懂到定制算例的能力,为高效使用这一开源CFD工具奠定坚实基础。

beer8的博客 244

NLP核心知识点

NLP

weixin_44986037的博客 2129

【一键搞定】ThinkPHP6.0.2+PHPStudy+Composer极速安装指南——附完整下载包与避坑技巧

本文提供了一份ThinkPHP6.0.2的完整下载包,并详细介绍了如何配合PHPStudy和Composer进行极速安装与配置。指南涵盖了环境准备、Composer国内镜像加速、项目部署及常见避坑技巧,旨在帮助开发者,尤其是内网或网络不佳的用户,快速搭建可运行的TP6开发环境,绕过依赖下载的繁琐步骤。

assembly8low的博客 1008

NLP基础知识

Transfomer具体构造 LSTM 具体构造 LDA主题模型 是一个生成模型,这个模型假定每个文档都是由一系列话题(topic)混合生成的。 假定有k个潜在的topic,这些个话题的分布服从一个多项式分布。 LDA首先从Dirichlet(a1,...ak)Dirichlet(a_1,...a_k)Dirichlet(a1​,...ak​)分布中取得参数θ\thetaθ,θ\thetaθ是一个大小为k一维数组,也是前面我们说道的多项式分布的参数,p(zn=i∣θ)=θip(z_n = i|\theta)

newcolour_USTC 1449

番外篇:ADS功放设计实战——负载与源牵引的协同优化

本文深入探讨了ADS功放设计中负载牵引与源牵引的协同优化原理及实战技巧。通过2.4GHz Wi-Fi功放等案例,详细解析了基波阻抗迭代优化、谐波调谐高级技巧及收敛判断方法,帮助工程师显著提升功放效率至78%以上。文章特别强调ADS仿真工具的正确使用方法和实际调试经验,为射频功放设计提供实用指导。

weixin_33483304的博客 346

【FISCO BCOS】二十、多机部署区块链

实际开发中,为了满足高可用性和高容错性的需求,往往会采用多级部署区块链的方式,今天介绍一下FISCO BCOS的多机部署流程。

naihe_fish的博客 3656

NLP 基础知识大集合,如何保证redis高可用

学习视频:大厂面试真题:获取:vip1024b (备注Java)**[外链图片转存中…(img-BlZ4Bruv-1712100796059)]学习视频:[外链图片转存中…(img-mVPG3JOV-1712100796060)]大厂面试真题:[外链图片转存中…(img-RalS24dD-1712100796060)]

2401_83977626的博客 773

基于matlab实现的水果识别系统设计

本项目针对多种常见水果混合的图像,利用 Matlab 软件,对水果的识别进行研究。根据水果和背景的差别选取阈值,对去噪增强对比度后的图像进行二值化处理。再对图像进行边缘检测,选定连通区域,标记后再对不同种水果的颜色,形状,大小等特征进行快速识别水果,从而实现对水果的正确分拣。:水果识别、MATLAB、数字图像处理。

热情、奔放、快乐编程! 4863

[NLP] 自然语言处理 --- NLP入门指南

NLP的全称是Natuarl Language Processing,中文意思是自然语言处理,是人工智能领域的一个重要方向 自然语言处理(NLP)的一个最伟大的方面是跨越多个领域的计算研究,从人工智能到计算语言学的多个计算研究领域都在研究计算机与人类语言之间的相互作用。它主要关注计算机如何准确并快速地处理大量的自然语言语料库。什么是自然语言语料库?它是用现实世界语言表达的语言学习,是从文本和语言...

摩登都市天空---专栏 15万+

C#与数据采集卡集成开发全指南:从硬件连接到实时数据处理(附工业传感器监测实战)

C#数据采集卡集成开发指南 本文系统介绍了不同类型数据采集卡(DAQ卡)与C#的集成方法。主要内容包括: 数据采集卡分类:按接口分为PCIe/PCI(高带宽低延迟)、USB(便携即插即用)和以太网(远距离组网);按信号类型分为模拟量输入、数字量输入/输出等。 C#集成核心方法: 优先使用厂商SDK(如NI DAQmx),提供完整功能封装 无SDK时采用通用协议(如USB HID、Modbus TCP) 具体实现示例: NI DAQmx采集热电偶温度代码 USB HID协议读取模拟量电压值 工业应用要点:实时

这里只有干货:从 Modbus 通信到 MES 对接,从 YOLO 训练到工控机部署,带你搞定工业软件开发全流程。 1975

系统架构设计(以飞控系统、航电系统、机电管理系统、电子电气架构为例)

系统架构涉及对系统的结构和行为进行高层次的描述。它包括系统的组成部分、这些部分之间的关系、与外部环境的交互方式,以及满足特定功能和非功能性需求的方法。系统架构定义了系统的总体设计蓝图,指导系统的开发、集成、部署和维护。系统架构设计的目的是通过合理的结构和设计原则,确保系统能够高效、稳定、安全地运行,满足当前和未来的需求,同时具备良好的维护性、扩展性和可持续性。良好的系统架构不仅能够提高系统的开发效率和运行性能,还能降低长期的维护和运营成本,支持系统的持续演进和技术更新。

qq_41854911的博客 3057

自然语言处理(NLP)简介

简单地说,自然语言处理就是用计算机来处理、理解以及运用人类语言(如中文、英文等),它属于人工智能的一个分支,是计算机科学与语言学的交叉学科,又常被称为计算语言学。由于自然语言是人类区别于其他动物的根本标志。没有语言,人类的思维也就无从谈起,所以自然语言处理体现了人工智能的最高任务与境界,也就是说,只有当计算机具备了处理自然语言的能力时,机器才算实现了真正的智能。

不凡不弃的博客 3万+

通用抓取————6D位姿估计

这意味着算法在没有物体的先验知识(如 CAD 模型)的情况下,依然能够通过神经网络捕捉物体的外观、形状和几何特征,生成相关的 6D 位姿估计。通过输入物体类别的描述,算法能够推断出该类别物体的位姿和尺度,无需特定物体的 CAD 模型。在这个坐标空间中,物体的位姿和尺度都是已知的,基于这个标准化表示,算法可以对输入图像中的物体进行 6D 位姿和尺寸的估计。○优势: ICP 是一种非常有效的位姿优化算法,特别适合精细调整物体的位姿,确保最终估计的位姿与真实物体的点云或模型高度一致。

具身机器人和通用AI 2386

自然语言处理(NLP)入门

本文简要介绍Python自然语言处理(NLP),使用Python的NLTK库。NLTK是Python的自然语言处理工具包,在NLP领域中,最常使用的一个Python库。什么是NLP?简单来说,自然语言处理(NLP)就是开发能够理解人类语言的应用程序或服务。这里讨论一些自然语言处理(NLP)的实际应用例子,如语音识别、语音翻译、理解完整的句子、理解匹配词的同义词,以及生成语法正确完整句子和段落。这并不

SinGaln的博客 12万+

贝叶斯统计 [韦来生编]

贝叶斯(Bayes)统计是近几十年来迅速发展起来的数理统计的一个重要分支。贝叶斯方法与经典统计方法的主要不同之处是进行统计推断时除了利用样本信息外,还要利用参数的先验信息,因此可以提高统计推断或统计决策的效果。它在经济、金融、生物、医学、自然科学和社会科学等许多领域具有广泛的应用。贝叶斯方法的研究已渗透到了统计学的几乎所有领域。作者在给中国科学技术大学概率论与数理统计专业本科生开设的“数理统计”课程中有一章专门讲授“贝叶斯方法和统计决策理论”,近十年来也给中国科学技术大学概率统计专业研究生开设过几次“贝叶斯分析”课。本书是在对过去讲稿的内容作了适当的增减和调整的基础上完成的。  本书共分六章。第1章是绪论,介绍了贝叶斯统计的若干基本概念,同时对必要的数理统计的基础知识有重点地作了回顾。第二章介绍了确定先验分布的若干可供选择的方法。第三章介绍了几类常见统计模型参数的后验分布的主要结果和计算方法。第四章和第五章分别介绍了“贝叶斯统计推断”和“贝叶斯统计决策”的内容。第六章介绍了贝叶斯统计计算的若干方法,包括蒙特卡洛方法和马尔可夫链蒙特卡洛(MCMC)方法以及相关统计软件的简介。本书的每一章附右大量的例题和习题,书末附有常用的几个表格和部分习题解答供读者查用。  大约可在54学时内讲授本书的第1章至第六章的主要内容,教师可根据学时需要选讲本书第1章至第六章的部分内容。书中标“*”号的章节可略去不讲,留给读者作为阅读材料。第六章例题中的R代码和部分例题的数据文件等可从作者个人主页下载。  作者在编写本书的过程中参考了J.O.Berger教授的《统计决策论及贝叶斯分析》和茆诗松教授编写的《贝叶斯统计》等书中的一些内容,以及《贝叶斯分析》一书中由张伟平博士编写的有关贝叶斯统计计算的一些内容。在此表示衷心感谢。  本书编写准备过程中,中国科学技术大学统计与金融系的几个研究生帮助完成了本书部分中文的录入和排版,作者对他们的辛勤工作表示真诚的感谢。高等教育出版社为本书的出版给予了大力支持。在此一并致谢。

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

【自然语言处理】自然语言处理 --- NLP入门指南

NLP的全称是,中文意思是自然语言处理,是人工智能领域的一个重要方向自然语言处理(NLP)的一个最伟大的方面是跨越多个领域的计算研究,从人工智能到计算语言学的多个计算研究领域都在研究计算机与人类语言之间的相互作用。它主要关注计算机如何准确并快速地处理大量的自然语言语料库。什么是自然语言语料库?它是用现实世界语言表达的语言学习,是从文本和语言与另一种语言的关系中理解一组抽象规则的综合方法。人类语言是抽象的信息符号,其中蕴含着丰富的语义信息,人类可以很轻松地理解其中的含义。

DreamSun的博客 2万+

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

一文了解什么是NLP(自然语言处理)

自然语言处理(NLP)是一种专业分析人类语言的人工智能。接收自然语言,这种语言是通过人类的自然使用演变而来的,我们每天都用它来交流转译自然语言,通常是通过基于概率的算法分析自然语言并输出结果简而言之,这就是一个创建算法的过程。苹果公司的人工智能语音助手 Siri 的工作过程就是自然语言处理在实践中应用的一个鲜活案例。NLP 正在成为我们生活中不可或缺的一部分,其与机器学习、深度学习一起达成的高度远远优于几年前取得的成就。在本文中我们将深入了解NLP是如何应用、如何工作的。

墨鸦的博客 1万+

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

什么是 NLP (自然语言处理)

NLP(自然语言处理)到底是做什么?NLP 的全称是 Natural Language Processing,翻译成中文称作:自然语言处理。它是计算机和人工智能的一个重要领域。顾名思义,该...

YeJuliaLi的博客 5万+

NLP(自然语言处理)

目前存在的问题有两个方面:一方面,迄今为止的语法都限于分析一个孤立的句子,上下文关系和谈话环境对本句的约束和影响还缺乏系统的研究,因此分析歧义、词语省略、代词所指、同一句话在不同场合或由不同的人说出来所具有的不同含义等问题,尚无明确规律可循,需要加强语用学的研究才能逐步解决。对大规模文档进行索引。自动问答是指利用计算机自动回答用户所提出的问题以满足用户知识需求的任务,在回答用户问题时,首先要正确理解用户所提出的问题,抽取其中关键的信息,在已有的语料库或者知识库中进行检索、匹配,将获取的答案反馈给用户。...

shshwhvs的博客 2万+

自然语言处理 NLP 从入门到精通

这本书的结构从基础的自然语言处理概念到复杂的深度学习模型,再到工程化实现和实际案例,逐步引导读者掌握NLP的核心技术,并能够在实际工作中应用。每一章都注重实际操作,结合具体的编程实例与项目,实现理论与实践的结合。

YunWisdom 5101
上一篇: Word Embedding
下一篇: Github 加载及下载慢问题解决方案
村雨遥
村雨遥 优质创作者: Java技术领域 优质创作者: Java技术领域 领域专家: 算法与数据结构技术领域 领域专家: 算法与数据结构技术领域
博客等级 码龄9年 2万+粉丝 372原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

村雨遥

众筹一毛买键盘!

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值