Stanford的Chinese Segmenter

最新推荐文章于 2025-11-28 10:38:42 发布
原创 最新推荐文章于 2025-11-28 10:38:42 发布 · 2.3k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#测试 #工具

本文对比了Stanford与ICTCLAS4J的分词速度，前者在测试中表现出更快的速度优势，尽管其模型较大且加载时间较长。
部署运行你感兴趣的模型镜像

测试了一下它的速度，比中科院的ictclas4j快不少，测试了100个文件。忘了统计字符数了，懒得弄了，反正比较相对速度。

ictclas4j为：

10-best 239s
 1-best    99s

而Stanford的61s

当然两个工具包都没有计算加载时间。ictclas4j的加载时间很短，只要加载字典就可以了。

而Stanford的模型就有200多M，加载比较慢一点，对内存要求比较高，运行它至少1g。不过加载只要一次就够了，所以无所谓。

 

您可能感兴趣的与本文相关的镜像

Stable-Diffusion-3.5

Stable-Diffusion-3.5

图片生成
Stable-Diffusion

Stable Diffusion 3.5 (SD 3.5) 是由 Stability AI 推出的新一代文本到图像生成模型，相比 3.0 版本，它提升了图像质量、运行速度和硬件效率

stanford-segmenter一个简单例子
sure-fire的专栏
07-01 2713
1.简介 stanford分词目前支持 Arabic 和 Chinese。它的原理是基于CRFs, CRFs分词的原理不难懂，就是把分词当作另一种形式的命名实体识别，利用特征建立概率图模型后，用Veterbi算法求最短路径。stanford nlp提供了源码demo,目前的版本是3.5.2。 下载地址：http://nlp.stanford.edu/software/segmenter.s
python3中使用Stanford NLP工具包
zrx1024的博客
02-20 3805
第一种方法，使用NLTK调用stanfordNLP工具包 安装与配置 一、NLTK的安装配置 1.笔者是用Anoconda下载的python，就以Anaconda为例。打开Anaconda prompt，输入pip install nltk安装最新版的NLTK。 2.打开python编辑器，输入import nltk，再输入nltk download ()，下载NLTK数据包，在下载界面选中boo...
Stanford Chinese Segmenter 的使用
guihua0901的专栏
12-22 2701
在windows上试了好些次结果都是乱码，这次没有input.txt中是：把这样一条思路应用到计算机芯片的微观世界中，可能有助于为半导体工业注入新的活力，使这个最近开始显示出衰老迹象的行业重振雄风。命令：D:/stanford-chi-segmenter>segmenter.bat ctb input.txt gb18030 0 >output.txt（注：用utf-8和gb都是乱码，0表示kBest,不知道是什么意思，可能是统计模型的参数吧）output.txt中的结果是 ：把 这样 一 条 思路 应用
stanford-segmenter中文分词基本使用
yangyangrenren的专栏
01-25 7592
stanford-segmenter中文分词基本使用
stanford-segmenter的使用
hikaru_go的博客
04-04 2373
对于中文的自然语言处理任务来说，分词似乎已经是第一步了，因为深度学习想要使用词向量的话，分词基本是第一步，除非我们基于单个中文单词，当然这看具体的模型了。 所以我们需要一个好的分词工具，stanford-segmenter就是一个不错的分词工具，当然也有很多优秀的其他分词工具，具体用哪个看个人爱好，本文将介绍stanford-segmenter的使用。 我使用的工具包是“stanford-segme
Stanford Segmenter 中文分词尝试
weixin_34336526的博客
12-28 348
Stanford Segmenter是Stanford大学的一个开源分词工具，目前已支持汉语和阿拉伯语，只是比较耗费内存，但貌似比中科院的分词工具快（具体没测）。Stanford Segmenter是基于CRF（Conditional Random Field，条件随机场），CRF是一个机器学习算法，其原理是字构成词，利用此原理把分词当做字的词位分类问题，其具...
使用Stanford Word Segmenter and Stanford Named Entity Recognizer (NER)实现中文命名实体识别
技术博客
05-12 3021
一系列开源的Java文本分析工具，包括分词器(Word Segmenter)，词性标注工具（Part-Of-Speech Tagger），命名实体识别工具（Named Entity Recognizer），句法分析器（Parser）等
Stanford NLP Chinese(中文)的使用
热门推荐
技术博客
01-11 1万+
Stanford NLP tools提供了处理中文的三个工具，分别是分词、Parser；具体参考： http://nlp.stanford.edu/software/parser-faq.shtml#o   1.分词 Chinese segmenter 下载：http://nlp.stanford.edu/software/ Stanford Chinese Word Segmenter
Stanford-segmenter的简单学习
weixin_34292287的博客
07-29 129
这段时间开始学习中文分词的原理，其目的也在于从最基础的地方开始自然语言处理的学习。虽然中文分词经过10多年的研究，已经很难在上面开花结果了。但我个人觉得这是最能锻炼自然语言基础的地方。从HMM模型、MaxEnt模型到CRFs模型，中文分词的研究，浓缩了自然语言处理的发展史。 CRFs分词的原理不难懂，就是把分词当作另一种形式的命名实体识别，利用特征建立概率图模型...
使用Stanford Word Segmenter and Stanford Named Entity Recognizer (NER)实现中文命名实体识别...
chuanzhuanxian8669的博客
06-15 113
一、分词介绍 http://nlp.stanford.edu/software/segmenter.shtml 斯坦福大学的分词器，该系统需要JDK 1.8+，从上面链接中下载stanford-segmenter-2014-10-26，解压之后，如下图所示 ...
stanford chinese segmentor
04-10
The Stanford Word Segmenter currently supports Arabic and Chinese. The provided segmentation schemes have been found to work well for a variety of applications. The system requires Java 1.6+ to be ...
Stanford Parser 下载使用
心有猛虎 细嗅蔷薇
07-13 4821
stanford parser下载：http://nlp.stanford.edu/software/lex-parser.shtml#Download 下载下来之后可能会有些迷，没有传说中那个叫englishPCFG.ser.gz的包对不对 那就很拉闸，那么怎么找到东东呢？找到stanford-parser-3.8.0-models.jar这个包，很容易找到，然后下面那行命令
Stanford中文分词
zjm750617105的专栏
06-18 1176
参考： https://stackoverflow.com/questions/45663121/about-stanford-word-segmenter/45668849 https://cloud.tencent.com/developer/article/1346917 主要解决方法： https://github.com/nltk/nltk/pull/1735 命令行： ...
LingPipe学习： Spelling Correction(1)
04-10 7120
LingPipe Spell Correction Spell Suggestion Natural Language Processing
中文分词
02-12 1585
    中文分词是很多NLP和IR任务的一个必要且重要的步骤。不过什么是“词”，现在还是存在争论的。拿sighan2005的两个分词标准——北大计算语言所的标注和  Penn Treebank（CTB）来说，他们就有很多差异。链接为http://sighan.cs.uchicago.edu/bakeoff2005/data/pku_spec.pdfhttp://www.cis.upenn.
知识 vs 学习
01-13 664
      今天下午师兄做报告，讲了知识(knowledge)，怎么用NLP帮助构建领域知识。      一般解决问题是都有两种思路：知识的和数据驱动的。 一般的看法是，知识就是规则，通过专家建立起复杂的规则系统，然后解决问题就是根据规则进行判定。这其实就是一个确定性的模型。而数据驱动则是根据数据学习出规则来。学习出来的规则可能是显式的，比如决策树学习出来就是显式的规则（如果属性1=xxx a
SSM齐齐哈尔大学资产报修管理系统l4z89（程序+源码+数据库+调试部署+开发环境)带论文文档1万字以上，文末可获取，系统界面在最后面
2509_93102493的博客
11-27 713
针对齐齐哈尔大学传统资产报修效率低、流程乱等问题，基于SSM框架开发资产报修管理系统。系统涵盖学生报修、维修员派单、进度跟踪等功能，整合报修类型、地址等信息，通过智能提醒优化流程，为师生提供便捷服务，助力学校资产高效管理。
SSM企业员工培训管理系统2q63c（程序+源码+数据库+调试部署+开发环境)带论文文档1万字以上，文末可获取，系统界面在最后面
最新发布
2509_93102493的博客
11-28 584
针对企业培训管理人工操作效率低、信息零散等问题，开发基于SSM框架的企业员工培训管理系统。系统聚焦部门、员工、培训信息及考核核心模块，实现信息管理、计划制定、考核分析全流程数字化，提升培训管理效率与决策科学性。
Stanford CoreNLP 3.9.2中文模型包深度解析
标题中提到的`stanford-chinese-corenlp-2018-10-05-models.jar`是一个Java包，属于Stanford CoreNLP工具库的一部分。Stanford CoreNLP是由斯坦福大学语言与信息研究实验室开发的自然语言处理工具库，它能够提供包括...
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值