NLTK+stanford parser

最新推荐文章于 2021-03-06 12:42:07 发布
原创 最新推荐文章于 2021-03-06 12:42:07 发布 · 1.5k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#nltk #stanford

本文探讨了使用NLTK结合Stanford Parser进行句法分析时遇到的问题，特别是针对某些特定汉字如“你”、“一样”的句子无法正确解析的情况。文中详细解释了问题的根源在于nltk中stanford.py文件的处理方式。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在使用NLTK+stanford parser进行句法分析的时候发现，包含某些字、词的句子无法进行解析（如“你”，“一样”），一开始以为是stanford parser的问题，后来才发现是nltk中stanford.py文件的某行代码作祟：

stdout = stdout.replace(b'\xa0',b' ')


你：\xe4\xbd\xa0   
一样：\xe4\xb8\x80\xe6\xa0\xb7
依存句法分析（NLTK--stanford parser）
kasiko的博客
07-27 4829
依存句法分析 句法分析（syntactic parsing）是自然语言处理中的关键技术之一，它是对输入的文本句子进行分析以得到句子的句法结构的处理过程。对句法结构进行分析，一方面是语言理解的自身需求，句法分析是语言理解的重要一环，另一方面也为其它自然语言处理任务提供支持。例如句法驱动的统计机器翻译需要对源语言或目标语言（或者同时两种语言）进行句法分析；语义分析通常以句法分析的输出结果作为输入以便获得更多的指示信息。 parser和model的下载地址 NLTK 中的parse模块已经将斯坦福大学句法分
使用nltk + Stanford parser生成句法树
dalangzhonghangxing的专栏
05-13 5760
在自然语言处理中，句法树是比较有用的特征，特别是生成最短依赖路径SDP。 首先我们要去官网下载jar包。有多种语言可选，也可以下载完整版。 我们下好了之后，解压stanford-parser-full-2018-02-27.zip文件，我们需要其中的如下几个文件: stanford-parser-3.9.1-models.jar stanford-parser.jar 解压stanford-...
NLTK使用Stanford parser方法，可类推Stanford其他nlp工具
ghnudt2000的专栏
12-23 2590
一、环境变量的方法 安装最新的nltk（3.1），否则没有包含stanford模型下载parser的stanford-parser.jar以及模型stanford-parser-models.jar设置环境变量，将stanford-parser.jar的路径加入calsspath，创建一个STANFORD_MODELS，将stanford-parser-models.jar路径加入在pyth
NLTK中使用Stanford parser
sherryllll
04-22 1万+
原文链接：http://blog.youkuaiyun.com/qq_19670461/article/details/42681551nltk工具包中有一个用于自然语言句法分析的文件夹parse（地址C:\Python27\Lib\site-packages\nltk\parse\stanford.py）。其中stanford.py就是我们要用的stanford parser的源文件，这里面有parser的接
NLP之Stanford Parser
毛球饲养员
12-05 1987
Parser主要有以下几个问题： Parser是什么？ 如何使用Stanford Parser Parser把一个句子转变为树状结构，那么这棵树具体的是怎么样，怎么操作这棵树？也就是说，怎么把这棵树用在LSTM上。这里面又包含了许多问题。 一、Definition我只知道Parser是句法分析。 专业一点的说： 句法分析判断输入的单词序列（一般为句子）的构成是否合乎给定的语法，并通过构造句法树来
NLP之Stanford Parser using NLTK
毛球饲养员
12-14 3947
NLP Stanford Parser NLTK Constituency Parser Dependency Parser
使用NLTK+StanfordNLP进行文本特征提取
微澜同学
01-10 2713
文章为自己的实践记录及总结，多有疏忽，恐有错误...... 文本特征提取是基于特征向量的自然语言处理方法的基本技术，常用的提取自文本的特征主要包括词汇特征、位置特征、句法特征、语义特征。其中，词汇特征包括词性、上下文词汇、命名实体等；位置特征如命名实体之间的间隔距离；句法特征提取主要包括句法分析及依存句法分析。常用的特征获取工具有StanfordNLP和LTP（哈工大社会计算与信息检索研究中心研...
【已解决】win10环境下基于nltk搭建stanford parser环境，进行中文依存句法分析
诺顿500的博客
07-02 2656
在win10环境下基于nltk搭建stanford parser环境，并进行中文依存句法分析。
NLTK中使用Stanford parser 构建中文语法树
热门推荐
baiyi_canggou的博客
03-01 1万+
我的环境是ubuntu16.10，最新的stanford parser 需要Java8环境，因此首先需要安装JDK。然后到http://nlp.stanford.edu/software/lex-parser.shtml#Download网址下载stanford-parser-full-xxxx-xx-xx.zip，将这个压缩包解压。 如果是用Java进行开发，则就很容易了，将解压包里的几个ja
stanford parser
04-10
About A natural language parser is a program that works out the grammatical structure of sentences, for instance, which groups of words go together (as "phrases") and which words are the subject or object of a verb. Probabilistic parsers use knowledge of language gained from hand-parsed sentences to try to produce the most likely analysis of new sentences. These statistical parsers still make some mistakes, but commonly work rather well. Their development was one of the biggest breakthroughs in natural language processing in the 1990s. You can try out our parser online. This package is a Java implementation of probabilistic natural language parsers, both highly optimized PCFG and lexicalized dependency parsers, and a lexicalized PCFG parser. The original version of this parser was mainly written by Dan Klein, with support code and linguistic grammar development by Christopher Manning. Extensive additional work (internationalization and language-specific modeling, flexible input/output, grammar compaction, lattice parsing, k-best parsing, typed dependencies output, user support, etc.) has been done by Roger Levy, Christopher Manning, Teg Grenager, Galen Andrew, Marie-Catherine de Marneffe, Bill MacCartney, Anna Rafferty, Spence Green, Huihsin Tseng, Pi-Chuan Chang, Wolfgang Maier, and Jenny Finkel. The lexicalized probabilistic parser implements a factored product model, with separate PCFG phrase structure and lexical dependency experts, whose preferences are combined by efficient exact inference, using an A* algorithm. Or the software can be used simply as an accurate unlexicalized stochastic context-free grammar parser. Either of these yields a good performance statistical parsing system. A GUI is provided for viewing the phrase structure tree output of the parser. As well as providing an English parser, the parser can be and has been adapted to work with other languages. A Chinese parser based on the Chinese Treebank, a German parser based on the Negra corpus and Arabic parsers based on the Penn Arabic Treebank are also included. The parser has also been used for other languages, such as Italian, Bulgarian, and Portuguese. The parser provides Stanford Dependencies output as well as phrase structure trees. Typed dependencies are otherwise known grammatical relations. This style of output is available only for English and Chinese. For more details, please refer to the Stanford Dependencies webpage. The current version of the parser requires Java 6 (JDK1.6) or later. (You can also download an old version of the parser, version 1.4, which runs under JDK 1.4, or version 2.0 which runs under JDK 1.5, but those distributions are no longer supported.) The parser also requires a reasonable amount of memory (at least 100MB to run as a PCFG parser on sentences up to 40 words in length; typically around 500MB of memory to be able to parse similarly long typical-of-newswire sentences using the factored model). The parser is available for download, licensed under the GNU General Public License (v2 or later). Source is included. The package includes components for command-line invocation, a Java parsing GUI, and a Java API. The parser code is dual licensed (in a similar manner to MySQL, etc.). Open source licensing is under the full GPL, which allows many free uses. For distributors of proprietary software, commercial licensing with a ready-to-sign agreement is available. If you don't need a commercial license, but would like to support maintenance of these tools, we welcome gift funding. The download is a 54 MB zipped file (mainly consisting of included grammar data files). If you unpack the zip file, you should have everything needed. Simple scripts are included to invoke the parser on a Unix or Windows system. For another system, you merely need to similarly configure the classpath.
Stanford parser
07-14
Stanford parser 句法分析器及可视化.如何使用。首先你的电脑需要安装jdk。
StanfordPaRser
10-21
StanfordPaRser
stanford-parser-3.3.1.zip
10-13
lutung.zip,javalutung的mandrill api客户端-一个java mandrill api连接器
stanford-parser-3.6.0-models.jar
05-09
stanford-parser-3.6.0-models.jar
基于NLTK搭建stanford parser环境
向日葵的专属太阳
03-06 1876
首先需要下载：stanford-parser 网盘链接：网盘链接 提取码：x9wz 如果需要最新版可以去官网下载：https://nlp.stanford.edu/software/lex-parser.shtml 解压之后会发现并没有englishPCFG.ser.gz这个文件。 不要着急，englishPCFG.ser.gz这个文件其实就在stanford-parser-3.6.0-models.jar文件中，可以将其解压出来。 使用方法： from nltk.parse.stanford impor
Stanford Parser 详细使用参考
dushenzhi的专栏
11-17 8059
1、到斯坦福官方网站http://nlp.stanford.edu/software/lex-parser.shtml下载软件包，解压。 2、在eclipse中新建一个java project，把解压得到根目录下的stanford-parser.jar和stanford-parser-2.0.4-models.jar（不同版本文件名可能有差异）两个包导入项目到项目引用包中，然后把解压得到根目录下
Python在NLTK下使用stanfordNLP
baidu_15113429的博客
08-09 1336
在进行中文分词和命名实体识别的时候，我们需要使用stanforfNLPhttp://www.jianshu.com/p/4b3c7e7578e6
Stanford Parser使用
yangyangrenren的专栏
02-25 5898
用Stanford Parser解析句子，生成句法树。介绍了最基本的使用方法。
使用Stanford Parser进行句法分析
Victor-H的专栏
09-27 6449
原文：http://www.cnblogs.com/Denise-hzf/p/6612574.html 一、句法分析 1、定义 　　句法分析判断输入的单词序列（一般为句子）的构成是否合乎给定的语法，并通过构造句法树来确定句子的结构以及各层次句法成分之间的关系，即确定一个句子中的哪些词构成一个短语，哪些词是动词的主语或宾语等问题。 2、主流技术 　　基于统计的方法是现阶段句法分析的
Stanford Parser安装使用教程
最新发布
03-10
from nltk.parse.stanford import StanfordParser eng_parser = StanfordParser(model_path='edu/stanford/nlp/models/lexparser/englishPCFG.ser.gz') ``` [^4] --- #### **二、基础使用** 1. **命令行解析**...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值