笔记-NLP相关调研

java hanlp 语义分析 提取关键词 1.提取文件夹下所有文档数据,提取关键词(本框架基于JFinal) /** * 递归读取文件路径下的所有文件 * * @param path * @param fileNameList * @return */ public static ArrayList<String> readFiles1(String p... 阅读详情

由于实验室目前研究方向偏重于NLP和知识图谱,在学习了一段时间机器学习相关内容后,也决定暂时侧重于NLP相关内容的研究。对NLP方面的相关调研工作做一个总结,顺序不分先后。这部分内容可能和笔记-深度学习场景调研有交集,在此就不重复写已有的东西。

依存句法分析(Dependency Parsing,DP)、语义依存分析(Samantic Dependency Parsing,SDP)、语义角色标注(Samantic Role Labeling,SRL)。这三个任务在处理上有相似性,且有单向的依赖关系。依存句法分析侧重于分析句子的语法,而后面两个在前者的分析基础上进行一系列的语义分析。众所周知,语义分析在NLP中仍属于很难的、并没有攻克的问题。了解当前语法分析->语义分析的桥梁方法与其中的处理难点,能够更好地帮助理解为何NLP中仍有很多问题难以用大热的深度学习理论来解决。调研主要围绕HanLP这一开源算法库(实现了DP,重点是开源)与哈工大LTP实验室的相关工作展开,参考链接如下:
依存句法分析与语义依存分析的区别

CS224n笔记6 句法分析

基于神经网络的高性能依存句法分析器(HanLP的实现解释)

hankcs/HanLP: 自然语言处理 中文分词 词性标注 命名实体识别 依存句法分析 关键词提取 新词发现 短语提取 自动摘要 文本分类 拼音简繁

【读论文】TensorFlow SyntaxNet 原理详析(SyntaxNet为Google开源的DP算法框架)

哈工大LTP

中文语义依存分析—通往中文语义理解的一条蹊径

基于转移的语义依存图分析

基于Bi-LSTM的语义角色标注系统

其中,LTP的很多工作是公众号“赛尔原创”来介绍,可以关注。在公众号文章后会附有LTP的相关论文工作,需要详细了解算法逻辑细节的同学可以参考。

消岐:
NLP中的消岐方法总结(词典、有监督、半监督)

情感分析:
Stanford NLP学习笔记:7. 情感分析(Sentiment)

用户画像:
什么是用户画像呢?一般用户画像的作用是什么?

什么是NLP,NLP主要有什么用,为什么要学自然语言处理? 简单来说:NLP的目的是让机器能够理解人类的语言,是人和机器进行交流的技术。它应用在我们生活中,像:智能问答、机器翻译、文本分类、文本摘要,这项技术在慢慢影响我们的生活。 NLP的发展历史非常之久,计算机发明之后,就有以机器翻译为开端做早期的NLP尝试,但早期做得不是很成功。直到上个世纪八十年代,大部分自然语言处理系统还是基于人工规则的方式,使用规则引擎或者规则系统来做问答、翻译等功能。 第一次突... 阅读详情

相关推荐

自然语言处理NLP 学习笔记

这篇Python机器人Demo文章介绍了多种实现智能机器人的技术方案:1. 基础功能实现:使用pyautogui和speech_recognition库实现语音控制自动化操作,包含语音识别、浏览器控制等基本功能;2. NLP增强:介绍如何用NLTK、Transformers等库实现文本分类、实体识别等自然语言处理功能;3. Selenium集成:提供5个网页自动化与NLP结合的实用案例;4. GUI界面开发:展示Tkinter和PyQt构建机器人控制面板的5种界面方案,涵盖基础控制、3D可视化等场景。文章为

keny-大成的博客 976

NLP语义分析 之 “买的不如卖的精”

NLP语义分析 之 “买的不如卖的精” 这是一句再正常不过的口头语,如何该让机器能听懂其中语义呢?或者说当前的技术到底能理解到哪一些语义呢?(那些说RNN/LSTM的请绕道去隔壁家) 一、分词: jieba分词:买/的/不如/卖/的/精 Hanlp分词:买/的/不如/卖/的/精 哈工大LTP分词:官网有bug,http://ltp.ai/demo.html ,没动词的句子分不出来 Stanford...

nlp_hongs 1894

【清华大学】《自然语言处理》(刘知远)课程笔记 ——NLP Basics

笔记

四问四不知的博客 2491

文本相似度 HanPL汉语言处理

文本相似度 HanPL汉语言处理

南国以南i的博客 1672

自然语言处理NLP小结

自然语言处理 (Natural Language Processing, NLP) 是人工智能 (AI) 最热门的领域之一,也被称为人工智能皇冠上的明珠。这要归功于诸如撰写连贯文章的文本生成器、聊天机器人以及产生照片级真实感的文本到图像程序等应用程序。近年来,计算机理解人类语言、编程语言,甚至类似于语言的生物和化学序列(例如 DNA 和蛋白质结构)的能力发生了革命。最新的人工智能模型正在解锁这些领域,以分析输入文本的含义并生成有意义的、富有表现力的输出。

weixin_42329812的博客 1243

NLP自然语言处理简介

作者:刘知远。清华大学计算机系副教授、博士生导师。主要研究方向为表示学习、知识图谱和社会计算。2011年获得清华大学博士学位,已在ACL、IJCAI、AAAI等人工智能领域的著名国际期刊和会议发表相关论文60余篇,Google Scholar统计引用超过2700次。承担多项国家自然科学基金。曾获清华大学优秀博士学位论文、中国人工智能学会优秀博士学位论文、清华大学优秀博士后、中文信息学会青年创新奖...

给我一点温度 6473

NLP语义技术演进:从DP依存句法到SDP依存语义再到AMR抽象语义分析概述与开源实现...

每天给你送来NLP技术干货!作者:刘焕勇来自:老刘说NLP在上一篇文章《事件Schema生成必读:一种基于AMR与聚类、映射的事件模式生成框架浅析》中,我们讲到了AMR以及依存句法分析在分析触发词与论元之间的关系时所发挥的作用。当前,语义分析正在从浅层分析到深层分析转变,与此对应的语义分析技术也逐步发生变化,从最开始到句子成分分析,到依存句法分析,到语义角色标注再到依存语...

zenRRan的博客 3451

自然语言处理NLP简介

自然语言处理NLP简介NLP简介1 引言人工智能、机器学习、深度学习什么是自然语言处理?人工智能的流派2 NLP发展历史人工智能发展历史推理期知识期学习期文本的预训练可分为两个重要的时期3 NLP研究方向自然语言处理研究分类(1)词法与句法分析(2)语义分析(3)篇章分析(4)语言认知模型(5)语言表示与深度学习(6)知识图谱与计算(7)文本分类与聚类(8)信息抽取(9)情感分析(10)自动文摘(11)信息检索(12)信息推荐与过滤(13)自动问答(14)机器翻译(15)社会媒体处理(16)语音技术(17)

Milo的博客 3827

HanLP修仙指南:从中文分词小白到语义分析大能的终极奥义

这货不仅能精准切开中文句子,还能识别地名、人名甚至网络热词!准备好让你的程序真正"读懂"中文了吗?各位被中文分词折磨得抓耳挠腮的道友们!今天要解锁的是NLP界的"倚天剑"——

十年磨一剑,java开发各种业务系统 462

HanLP:中文分词词性标注命名实体识别依存句法分析语义依存分析新词发现用自动生成的摘要进行文本分类聚类拼音简繁转换自然语言处理

HanLP:汉语言处理 || || 面向生产环境的多语种自然语言处理工具包,基于PyTorch和TensorFlow 2.x双引擎,目标是普及落地最前沿的NLP技术。HanLP实现功能完善,性能高效,架构清晰,语料时新,可自定义的特点。 穿越世界上最大的多语言种语料库,HanLP2.1支持包括简繁中英日俄法德内部的104种语言上的10种联合任务:分词(粗分,细分2个标准,强制,合并,校正3种),词性标注(PKU,863,CTB,UD四套词性规范),命名实体识别(PKU,MSRA,OntoNotes三套规范),依存句法分析(SD,UD规范),成分法分析,语义依存分析(SemEval16,DM,PAS,PSD四套规范),语义角色标注,词干提取,词法语法特征提取,抽象意义(AMR)。 量体裁衣,HanLP提供RESTful和本机两种API,分别面向轻量级和海量级两种场景。无论使用哪种API语言,HanLP接口在语义上保持一致,在代码上坚持开源。 轻量级RESTful API 服务器算力有限,匿名用户重新放置, 。 Python pip install hanlp_restful 创建客户端

NLP调研报告

Snips和Cortical的调研报告,一个是说明语音助手在离线端的应用;一个是大数据自然语音处理平台的应用

自然语言处理(NLP)简介

简单地说,自然语言处理就是用计算机来处理、理解以及运用人类语言(如中文、英文等),它属于人工智能的一个分支,是计算机科学与语言学的交叉学科,又常被称为计算语言学。由于自然语言是人类区别于其他动物的根本标志。没有语言,人类的思维也就无从谈起,所以自然语言处理体现了人工智能的最高任务与境界,也就是说,只有当计算机具备了处理自然语言的能力时,机器才算实现了真正的智能。

不凡不弃的博客 3万+

分布式推理服务(策略:数据并行、张量并行、流水线并行、专家并行)技术分析

摘要:分布式推理突破单GPU内存和算力限制,支持大模型部署。四种核心策略包括: 数据并行:复制模型拆分数据,提升吞吐但内存效率低; 流水线并行:模型分阶段执行,支持超大模型但存在计算气泡; 张量并行:拆分层内矩阵运算,延迟低但通信开销大; 专家并行:动态激活MoE模型专家,计算高效但路由复杂。实际应用中常组合策略(如3D并行),需权衡模型规模、硬件条件与性能目标。

技术引领业务创新 940

自然语言处理(NLP)

自然语言处理( Natural Language Processing, NLP)是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此,这一领域的研究将涉及自然语言,即人们日常使用的语言,所以它与语言学的研究有着密切的联系,但又有重要的区别。自然语言处理并不是一般地研究自然语言,而在于研制能有效地实现自然语言通信的计算机系统,特别是其中的软件系统。因而它是计算机科学的一部分。

weixin_44733966的博客 8054

Ubuntu操作系统等保测评指南

Ubuntu操作系统等保测评指南

qq_40181198的博客 7025

Xcelium XRUN实用指南:从入门到高效仿真

本文是Xcelium XRUN仿真工具的实用指南,从基础入门到高效应用全面解析。XRUN作为Cadence Xcelium的统一命令行入口,能自动化编译、精细和仿真流程,大幅提升数字芯片与FPGA验证效率。文章详细介绍了最简命令、波形调试、增量编译、多核并行仿真等核心功能,并提供了管理复杂项目、性能调优与深度调试的进阶技巧,帮助工程师快速上手并精通这一高效仿真工具。

weixin_29238147的博客 737

什么是 NLP (自然语言处理)

NLP(自然语言处理)到底是做什么?NLP 的全称是 Natural Language Processing,翻译成中文称作:自然语言处理。它是计算机和人工智能的一个重要领域。顾名思义,该...

YeJuliaLi的博客 5万+

RAG——从0到1快速搭建RAG应用

本文介绍了基于LangChain框架构建RAG(检索增强生成)应用的技术方案,涵盖核心模块选型与实现流程。技术栈包括:LangChain应用框架、pypdf文档解析、RecursiveCharacterTextSplitter文本分块、bge-small-zh-v1.5向量模型、Faiss向量库和通义千问大模型。文章详细说明了开发环境配置步骤,包括虚拟环境创建、依赖库安装和模型下载。核心代码分为索引、检索、生成三大流程,索引流程完成PDF文档解析、分块和向量化存储;检索流程实现查询向量化和相似度匹配;生成流

小志的博客 590

自然语言处理概述 NLP基本流程

自然语言处理(Natural Language Processing,NLP)是指利用计算机对自然语言的形、音、义等信息进行处理,即对字、词、句、篇章的输人、输出、识别、分析、理解、生成等进行操作和加工的过程。

zhuwenyua的博客 6590

vuecli3 实现 移动端和pc端 界面切换(两套代码)

适合场景 多页面多系统应用 所有系统都在同一目录下。配置多入口多出口。每个系统之间可以链接。每个系统内依然采用Vue单页应用开发。 产品需求:一套代码 兼容pc端和移动端 , 移动端和pc端的样式布局差别很大,需要使用多界面,并判断使用手机的时候跳转移动端代码,使用pc端跳转pc端代码。 项目目录 分为两部分代码,pc 和mobile 第一步:创建一个登陆页面的文件 在项目public文件夹下创建一个login.html,其实就是将index.html复制一份,将title改一下: <!DOCTYP

你怎么也喜欢嘴巴嘟嘟 5919

无法加载文件:C:\Users\Lenovo\AppData\Roaming\npm\cnpm.ps1,因为在此系统上禁止运行脚本编程

当您遇到类似于"无法加载文件:C:\Users\Lenovo\AppData\Roaming\npm\cnpm.ps1,因为在此系统上禁止运行脚本编程"的错误消息时,请按照上述步骤来解决问题。当您尝试加载文件C:\Users\Lenovo\AppData\Roaming\npm\cnpm.ps1时,可能会遇到类似于"无法加载文件:C:\Users\Lenovo\AppData\Roaming\npm\cnpm.ps1,因为在此系统上禁止运行脚本编程"的错误消息。请注意,更改执行策略可能会带来一些安全风险。

PixelInk的博客 1921

自然语言处理( NLP)基础

NLP包括但不限于语言理解、语言生成、机器翻译、情感分析、语音识别和语音合成。同时在中文环境,但需要考虑中文的特殊性,如中文分词、中文语法和语义分析。

2302_80301538的博客 5824

YOLOv11的流形学习压缩:局部线性嵌入(LLE)引导的特征降维,实现在CSP模块中嵌入流形结构保持约束

摘要 本文探讨了流形学习在YOLOv11目标检测模型中的应用,重点研究局部线性嵌入(LLE)方法对CSP模块的特征压缩优化。针对深度学习模型的高维特征冗余问题,LLE通过三个关键步骤实现非线性降维:寻找k近邻、计算重构权重和低维嵌入,相比传统PCA方法能更好地保持数据的局部结构。文章详细分析了LLE的数学原理和参数选择策略,并提出在YOLOv11的CSP模块中嵌入流形约束的创新设计。通过特征分割前、处理过程和融合阶段引入流形一致性损失函数,该方法能在降低特征维度的同时保持原始流形结构,从而提升模型的计算效率

本博客聚焦 YOLOv11 全流程落地,涵盖架构优化、数据集处理、训练技巧与多场景部署,兼及国产数据库、Java 开发与 AI 模型应用,内容兼顾理论与工程实践,为开发者提供系统干货,助力高效提升技术能力。 1380

自然语言处理NLP概述

目录 1. 自然语言处理概述 1.1 什么是NLP 1.2 NLP的难度是什么 1.3 NLP相关的技术 2. NLP常用库 2.1 NLTK 2.2 TextBlob 2.3 Gensim 2.4 Pattern 2.5 SpaCy 2.6 Stanford CoreNLP 1. 自然语言处理概述 1.1 什么是NLP 简单来说,自然语言处理(NLP)是计...

满腹的小不甘 1735

AUTOSAR从入门到精通-诊断事件管理模块(DEM)(四)

在 Autosar 中,诊断事件是指在车辆电子系统中发生的特定事件,可以用于诊断和故障排除。DEM模块通过EventId和相关的EventName来表示每个诊断事件。诊断事件的状态代表了监控器的结果,DEM模块通过RTE或其他BSW模块从SW-C接收监控器的结果。DEM模块使用EventId来管理系统中每个诊断事件的状态,并对各个测试结果执行所需的操作,例如存储冻结帧/拓展帧。所有监控器和BSW模块使用EventId作为符号化的EventName来管理诊断事件。

getusushu的博客 1508

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

自然语言处理相关工具调研

自然语言处理基础工具调研 一 词典 HowNet HowNet(知网情感词典)是董振东先生、董强先生父子毕三十年之功标注的大型语言知识库,主要面向中文(也包括英文)的词汇与概念。 该词典主要分为中文和英文两部分,共包含如下数据: 语言 中文 英文 正面评价词语 3730个 ...

像风一样自由的博客 4564

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

上一篇: 笔记-深度学习场景调研
下一篇: 笔记-CRF
ZSYGOOOD
博客等级 码龄12年 113粉丝 94原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值