Stanford的Chinese Segmenter

fancyerII fancyerII 博客等级 墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 2.3k累计阅读 2.3k平均单平台 已同步平台 优快云 微信公众号 微博 知乎 掘金 百家号 博客园 抖音 小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网 我也要 码龄23年
关注
原创 最新推荐文章于 2026-11-07 18:00:16 发布 2.3k 阅读 AI 写同款· GEO 优化 ›
【鸿蒙专题与实战】测试体系：单元测试、组件测试与 UI 测试 本文系统讲解鸿蒙开发中的三层测试实践：底层单元测试（用Hypium框架，优先覆盖纯函数、边界与异常）、中层ViewModel逻辑、顶层仅测3-5条关键UI路径。强调测试应“越往下写得越多”，因单元测试快且成本低，而UI测试慢易出错。通过实例说明断言拆分提升定位效率，结合覆盖率报告（hvigorwtest --coverage）发现盲区，核心是“用覆盖率找漏测，而非追求数字”。附五步落地清单：建测试文件、按优先级补用例、精简UI测试、生成报告、定位未覆盖行。下一篇将开启实战项目：从需求到上架全流程。 阅读详情

测试了一下它的速度，比中科院的ictclas4j快不少，测试了100个文件。忘了统计字符数了，懒得弄了，反正比较相对速度。

ictclas4j为：

10-best 239s
 1-best    99s

而Stanford的61s

当然两个工具包都没有计算加载时间。ictclas4j的加载时间很短，只要加载字典就可以了。

而Stanford的模型就有200多M，加载比较慢一点，对内存要求比较高，运行它至少1g。不过加载只要一次就够了，所以无所谓。

 

收录于
NLP

当前文章被收录于：

NLP
5 篇文章 0 人学习
订阅专栏 查看详情
标签
#测试 #工具
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
保姆级教程：从Salmon输出到DESeq2，搞定RNA-seq表达矩阵标准化与下游分析准备 本文提供从Salmon输出到DESeq2标准化的RNA-seq数据分析全流程指南，详细解析表达矩阵构建、标准化方法选择及下游分析准备。重点介绍如何将Salmon定量结果转换为DESeq2兼容格式，包括TPM与原始计数的处理技巧，以及常见问题排查方法，帮助研究人员高效完成RNA-seq数据分析。 阅读详情

相关推荐

PEMFC电化学入门：从电流密度到Tafel公式的实战计算指南

本文详细介绍了PEMFC电化学的基础知识，从电流密度计算到Tafel公式的应用，提供了实战计算指南。通过代码示例和常见问题排查，帮助工程师快速掌握燃料电池性能优化的关键参数，如交换电流密度和活化损失计算，适用于汽车动力和分布式发电等领域。

weixin_29229055的博客 551

Stanford Chinese Segmenter 的使用

在windows上试了好些次结果都是乱码，这次没有input.txt中是：把这样一条思路应用到计算机芯片的微观世界中，可能有助于为半导体工业注入新的活力，使这个最近开始显示出衰老迹象的行业重振雄风。命令：D:/stanford-chi-segmenter>segmenter.bat ctb input.txt gb18030 0 >output.txt（注：用utf-8和gb都是乱码，0表示kBest,不知道是什么意思，可能是统计模型的参数吧）output.txt中的结果是 ：把 这样 一 条 思路 应用

guihua0901的专栏 2738

【锂离子电池力学耦合及相场法模拟技术与应用】

8. 电化学仿真软件的使用与案例分析 (1) 各向异性纳米线锂化应力分析（实例讲解1） (2) 化学反应及死锂现象研究（案例分析2）(3) 锂化循环损伤计算（案例分析3）6. 4. 电池材料的力学与电化学耦合性能分析(1) 耦合效应对电池性能的影响(2) 耦合模型的验证与应。5. 5. 电池颗粒、极片、电芯尺度力-电-化-热多场耦合模型概述力学-7. 颗粒尺度耦合模型在电池失效分析中的应用。2. 2. 电池电极材料的分类与特性。5. (2) 耦合模型的验证与应用。电化学耦合模型与仿真。

weixin_51101456的博客 521

Resolve segmenter to process Chinese Dialogues with jieba, langid, stanford segmenter

During generating a word2vec model with Chinese data, it is very important to segment the Chinese sentences. 在处理中文数据，训练词向量模型时，中文自动分词怎么办？ Fortunately, there are some awesome utilities which are introduced online. 幸运的是，互联网上有多个开源的工具完成分词。 Java Built by Stanfor

Chatopera 442

硬件之光实战篇--Boost

当开关管处于关闭状态时，由于电感中的电流在短时间内不能瞬间消失，因此它会产生一个电感电动势，在电容器上加上一个高电压，从而使输出电压变高。--------------------------------------------------------分割线----------------------------------------------------------------在应用中，升压芯片需要根据负载电路的需求，选择合适的电感和电容等元器件，以达到所需要的升压倍数和输出电压。

m0_58664890的博客 2101

Windows系统离线搭建PyTorch深度学习环境全攻略（CUDA+cudnn实战）

本文提供了一份在Windows系统下离线搭建PyTorch深度学习环境的完整实战指南。文章详细讲解了如何在没有网络连接的情况下，正确安装和配置CUDA、cudnn以及PyTorch，并构建独立的Python虚拟环境。重点强调了版本依赖关系的重要性，并提供了从驱动准备到环境验证的每一步操作，旨在帮助用户高效、稳定地部署可复用的GPU深度学习开发环境。

table的专栏 579

Stanford NLP Chinese(中文)的使用

Stanford NLP tools提供了处理中文的三个工具，分别是分词、Parser；具体参考： http://nlp.stanford.edu/software/parser-faq.shtml#o   1.分词 Chinese segmenter 下载：http://nlp.stanford.edu/software/ Stanford Chinese Word Segmenter

技术博客 1万+

MOSFET热失效机理与保护电路设计：实战案例

深入解析MOSFET工作原理及其在高温下的失效机制，结合实际案例探讨有效保护电路设计，提升系统可靠性与安全性。

weixin_28713083的博客 850

中文语料下Stanford CoreNLP开发环境配置和各组件使用例子

********开发环境和组件使用例子************* 1. IntelliJ IDEA中建立maven工程。 2. pom.xml内容： ---------          xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"          xsi:schemaLocation="http://mav

建模分析师胡选来 7483

【C++】小猫钓鱼纸牌游戏--C++实现

小猫钓鱼问题： 描述：初始，两个人各有n张牌（牌面0-10），顺序固定，只能按顺序出牌。然后，两个人轮流在桌面上以接龙的方式出牌，当某个人放置的牌在桌面上已经出现时，他收起相同牌面及其中间的牌作为自己的筹码，同时需要再放一张牌到桌面。某人手上的牌出完后，另一个人继续出，直到两人手上都没牌为止，输出结束时两个人手上的筹码数。 #include<iostream> using namespace std; struct queue { int head; //队列首 int tail; //

qq_41344430的博客 3202

第42篇FEDGLOSS算法BEYOND LOCAL SHARPNESS:COMMUNICATION-EFFICIENT GLOBALSHARPNESS-AWARE MINIMIZATIONFOR

：用上一轮伪梯度最小化锐度，获取与全局损失最相关的几何信息，引导全局优化趋向更平坦的最小值。效果对比分析：FEDGLOss。

weixin_74009895的博客 526

DouyinLiveRecorder完整指南：自动录制抖音等40+平台的直播

按本文步骤操作完成后，你会得到一台 7×24 值守的直播录制程序：它持续监测你配置的直播间，开播即开始录制，视频保存到本地 `downloads` 目录。DouyinLiveRecorder 是一款用 Python + FFmpeg 实现的多平台直播录制工具，覆盖抖音、TikTok、快手、B站、虎牙、斗鱼、YouTube、Twitch 等 40 余个平台。以下以抖音直播间为例，走一遍"安装 → 配

gitblog_01192的博客 472

使用verilog实现基于FPGA的TDC设计

verilog实现TDC 高精度时间数字转换器概述(TDC) 简介： TDC被用于测量时间间隔，应用在物理研究、飞行时间测量领域等。 本设计使用verilog实现并在xilinx和altera的FPGA上均可实现！ 设计中使用到下述几个模块，包括FIFO，COUNT等，在xilinx下也使用到了一些原语等。下面有实现的代码和仿真截图等。 顶层模块设计如下： module top( input wire start, input wire stop, input wire clk, output wire T

QQ_778132974的博客 6253

使用Stanford Word Segmenter and Stanford Named Entity Recognizer (NER)实现中文命名实体识

一、分词介绍 http://nlp.stanford.edu/software/segmenter.shtml 斯坦福大学的分词器，该系统需要JDK 1.8+，从上面链接中下载stanford-segmenter-2014-10-26，解压之后，如下图所示 ，进入data目录，其中有两个gz压缩文件，分别是ctb.gz和pku.gz，其中CTB：宾州大学的中国树库训练资料 ，PKU：中国北京

BBZZ2的专栏 967

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

Camera2Demo

在Camera2 的基础上进行封装，使得Camera2一堆初始化逻辑与Activity分离，降低耦合度，完成预览拍照并保存的操作

在 NLTK 中使用 Stanford NLP 工具包

转载自：http://www.zmonster.me/2016/06/08/use-stanford-nlp-package-in-nltk.html 目录 NLTK 与 Stanford NLP 安装和配置 注意事项 StanfordSegmenter StanfordTokenizer StanfordNERTagger 和 StanfordPOSTagger ...

weixin_30562507的博客 253

OV9734 DATASHEET，完整规格书

OV9734完整规格书，包括电气参数，尺寸规格，寄存器配置表等

LingPipe学习： Spelling Correction(1)

LingPipe Spell Correction Spell Suggestion Natural Language Processing

7194

Outlook Express 6 (OE6) for Win7/Win8/Win10

英文版 Outlook Express6.0， 兼容Win7/Win10/WinXP，解压就可用。

中文分词

    中文分词是很多NLP和IR任务的一个必要且重要的步骤。不过什么是“词”，现在还是存在争论的。拿sighan2005的两个分词标准——北大计算语言所的标注和  Penn Treebank（CTB）来说，他们就有很多差异。链接为http://sighan.cs.uchicago.edu/bakeoff2005/data/pku_spec.pdfhttp://www.cis.upenn.

1608

知识 vs 学习

      今天下午师兄做报告，讲了知识(knowledge)，怎么用NLP帮助构建领域知识。      一般解决问题是都有两种思路：知识的和数据驱动的。 一般的看法是，知识就是规则，通过专家建立起复杂的规则系统，然后解决问题就是根据规则进行判定。这其实就是一个确定性的模型。而数据驱动则是根据数据学习出规则来。学习出来的规则可能是显式的，比如决策树学习出来就是显式的规则（如果属性1=xxx a

697

训练数据示例

针对“规格书生成测试用例脚本”的任务，在 LLaMA-Factory 中使用即可。关键是把“规格书内容”放进input字段，把“期望的脚本输出”放进output字段。

liuxs2009的专栏 58

从瀑布到流水线：DevOps 入门与 GitLab + Jenkins + Docker 落地实践

先看清软件开发生命周期（SDLC）的全貌，再对比瀑布模型与敏捷开发，随后进入持续集成与 CI/CD 的机制内核；最后落到实操——在 GitLab、Jenkins、Docker 组成的四机实验环境里，走完源码托管、自动化构建、镜像封装与远程部署，直到参数化构建与版本回滚。概念与命令并重，既是入门地图，也是操作手册。

年轻的时候很穷，经过我多年的努力，终于不再年轻。 252

Java EE 进阶：8.MyBatis 操作数据库(入门)（第一弹）

Java EE 进阶：8.MyBatis 操作数据库(入门)（第一弹）

要努力去发光，而不是被照亮~ 126

DNS 不是把域名翻译成 IP：递归解析、TTL 缓存、CNAME 与报文排错实战

本文通过离线Python实验，拆解DNS递归解析、缓存机制与报文结构，揭示“DNS不是全局映射表”的本质。重点解析递归器角色、TTL衰减、CNAME链处理、负缓存隔离及修改记录延迟生效等核心问题，结合实战排错案例，阐明缓存层级、事务匹配、截断处理与安全边界，强调从应用到权威的逐层排查逻辑，实现可复现、可验证的DNS教学系统。

此人很懒，什么都没有写~~ 348

密码存储不是 MD5 加盐：PBKDF2、scrypt、参数升级与安全验证实战

本文通过实战演示密码存储的正确做法：摒弃MD5加盐，采用PBKDF2与scrypt等高成本密钥派生函数，结合随机盐、版本化记录与严格解析，确保离线破解成本可控。模块实现安全验证、参数校验、透明升级与统一错误处理，强调算法选择需兼顾安全性与可维护性，提供教学级密码存储方案，助力构建可迁移、可审计的认证边界。

此人很懒，什么都没有写~~ 233

【LTE L3 笔记 09】LTE物理信道-PRACH

课程来源：B站《【2022】华为HCIA-LTE无线工程师认证学习中级视频》笔记为个人整理，含课件截图，仅供学习交流。

lyouhuan的博客 188

软件测试用例模板怎么写：从用例设计到执行记录的全套指南

测试用例是测试工作的核心产出，它决定测试覆盖了多少、漏掉了什么。但大多数人的测试用例写得像流水账——只有正常路径，没有异常场景；只有操作步骤，没有预期结果；只有功能测试，没有非功能测试。本文拆解测试用例的标准结构，说明每个字段的含义和写法，给出覆盖功能测试、性能测试、安全测试的完整用例范例，并列出测试用例设计的五个高频遗漏点。

wuwangzhiduoshao的博客 149

MCP实战06：传输实战、测试与部署

你的 MCP Server 写完了，怎么确认它真的能被宿主正确调用？这课给传输层实战三件套：MCP Inspector 可视化调试、协议级自动化测试（pytest 断言 JSON-RPC 报文结构）、stdio/HTTP 双传输部署。测试不是可选项——工具描述错一个字段宿主就调不对，你能给 Server 建起自己的回归测试。

Blockbuster-drug 724
上一篇： 致命魔术
下一篇： 2-17
点赞 0
评论 1
书签 书签 0
fancyerII
fancyerII
博客等级 码龄23年 48粉丝 164原创
+ 关注 专栏目录 订阅专栏
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值