Ansj 中文分词 1.41 发布，命名实体识别率大幅提升

最新推荐文章于 2018-10-20 10:01:00 发布
最新推荐文章于 2018-10-20 10:01:00 发布
阅读量308 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： java 搜索引擎 分词 文章标签： java 分词 搜索引擎
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/iteye_12411/article/details/82580082
博客链接指向一则资讯，涉及Java、分词和搜索引擎等信息技术领域内容。虽未展示具体内容，但从标签可知与Java语言在分词及搜索引擎方面的应用有关。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Ansj中文分词Java开发自定义和过滤词库
医疗影像检索
11-23 1万+
Ansj中文分词应用时，需要自定义词库，比如城中村，分词成城、中、村，需自定义词库，有时，也需要过滤单词。具体代码如下，可以结合执行结果看代码效果。 1、过滤词库 package csc.ansj; import org.ansj.domain.Result; import org.ansj.recognition.impl.FilterRecognition; import org.ans
Ansj中文分词
07-10
Ansj中文分词是一个完全开源的、基于Google语义模型+条件随机场模型的中文分词的Java实现，具有使用简单、开箱即用等特点。 Ansj分词速度达到每秒钟大约100万字左右（Mac Air下测试），准确率能达到96%以上。 Ansj 1.41版本的新增功能 •增加了调用文档说明 •调整了关键词抽取 •增加了摘要计算 •关键词标红 •大幅度提高了命名实体识别 •对于词性标注提供了基于概率的快速标注方式.依旧保留给予隐马模型的词性标注. •修复了目前已知的所有bug •大量修正了之前默认用户自定义词典中词性错误 •提供了给予crf++ wapiti等条件随即场工具的调用接口.用户可以及自定义训练model •增加了目前对最新版的Lucene、Solr、Elasticsearch开源第三方搜索框架的分词插件 效果测试——新词发现 引用 1. 未登陆词识别 example：NER:我要碎觉吊丝要小心！城西嘉南公寓 result：命名/v 实体/n ner/en : 我/r 要/v 碎觉/nw 吊丝/n 要/v 小心/v ！/w 城西嘉南公寓/nw 2. 中文人名识别 example：NER: 邓颖超生前和刘晓辉同学合影, 李民工作了一天 result：邓颖超/nr 生前/t 和/c 刘晓辉/nr 同学/n 合影/v , 李民/nr 工作/vn 了/ul 一天/m 3. 外国人名识别 example：NER:本赛季德甲球队霍芬海姆的两名年轻球员菲尔米诺和福兰德表现出色，但球队主帅吉斯多尔态度强硬。 result：本赛季/n 德甲/n 球队/n 霍芬海姆/nrf 的/uj 两名/m 年轻/a 球员/n 菲尔米诺/nrf 和/c 福兰德/nr 表现出色/n ，/w 但/c 球队/n 主帅/n 吉斯多尔/nrf 态度强硬/n 。/w
ansj人名识别
weixin_30325793的博客
10-20 310
1. 前言 ansj人名识别会用到两个字典，分别是：person/asian_name_freq.data、person/person.dic。 1.1 asian_name_freq.data 这是一个二进制文件，序列化了一个Map对象。该对象的key为词，value是大小为3的数组。例如：罗=[[644, 40], [2048, 140, 74], [19, 28, 3...
介绍一种基于角色标注+字词体位法的人名识别方式-Ansj中文分词
ansjsun的专栏
09-14 374
大家好.最近在做分词.在分词中遇到了各种各样的问题.在这里选择一个比较有意思的与大家分享. 在这里说分词有点老生常谈了.的确.中文分词已经非常成熟了.但是在实体名识别上一直是中文分词的软肋.最近通过对ictclas的学习,和自己的总结.得出了一个还算不错的人名识别系统. 目前这种方式已经开源.大家可以参看:[url]https://github.com...
ansj 5.1分词方式测试，存在分词命名实体识别过度的问题
lb521200200的专栏
12-14 1604
public static void main(String[] args) {         // TODO Auto-generated method stub                    String str = "刘翔洁面仪配合洁面深层清洁毛孔 清洁鼻孔面膜碎觉使劲挤才能出一点点皱纹 脸颊毛孔修复的看不见啦 草莓鼻历史遗留问题没辙 脸和脖子差不多颜色的皮肤才是健康的 长期
怎样用OpenNLP来实现命名实体识别
caoguoyuan的专栏
01-17 1028
<br />怎样用OpenNLP来实现命名实体识别
ansj分词ansj_seg-5.1.5.jar
01-05
nlp-lang是一个用于自然语言处理的Java库，它包含了丰富的语言处理组件，如词性标注、命名实体识别等。在使用ANSJ分词时，可以结合nlp-lang进行更深层次的文本分析。例如，通过nlp-lang的词性标注功能，可以对分词...
Ansj中文分词（强大）
06-21
Ansj中文分词是一款纯Java、主要用于自然语言处理、高精度的中文分词工具，目标是“准确、高效、自由地进行中文分词”。 内容简介：http://www.iteye.com/magazines/102#234 此分词具有自己学习的功能,所以拜托大家...
Ansj中文分词：开源高效的中文分词与实体识别
5. 命名实体识别（NER）：Ansj加强了对命名实体识别的能力，包括中文人名、未登录词（新词）以及外国人名的识别。例如，示例中的“我要碎觉吊丝要小心！城西嘉南公寓”能够被正确识别出“我要碎觉”为未登录词，...
ansj中文分词器加载自定义crf教程.docx
09-21
### ANSJ中文分词器加载自定义CRF教程详解 #### 一、引言 ANsj分词器是一款优秀的开源中文分词工具，它支持多种分词算法，并且可以通过加载自定义的CRF（Conditional Random Field）模型来提高分词准确度。本文将...
【命名实体识别】HMM-Viterbi角色标注中国人名识别
zkq_1986的博客
12-04 2844
实战HMM-Viterbi角色标注中国人名识别 这几天写完了人名识别模块，与分词放到一起形成了两层隐马模型。虽然在算法或模型上没有什么新意，但是胜在训练语料比较新，对质量把关比较严，实测效果很满意。比如这句真实的新闻“签约仪式前，秦光荣、李纪恒、仇和等一同会见了参加签约的企业家。”，分词结果：[签约/v, 仪式/n, 前/f, ，/w, 秦光荣/nr, 、/w, 李纪恒/nr, 、/
中文人名自动识别的一种有效方法
10-16
中文信息计算机自动处理的研究已有几十年的 历史 , 但至今仍有许多技术难题没有得到很好解 决 , 中文姓名自动识别问题就是其中的一个。由于 它与中文文本的自动分词一样 , 属于中文信息处理 的基础研究领域 , 因而它的研究成果直接影响到中 文信息的深层次研究。汉语的自身特点使得中文信 息自动处理大多是先对要处理的文本进行自动分词 (加入显式分割符) , 然后再在分词的基础上进行词 法、语法、语义等方面的深入分析。而在分词阶 段 , 文本中的人名、地名以及其它专有名词和生词 大多被切分成单字词 , 在这种情形下如不能很好地 解决汉语文本中专有名词生词的识别问题 , 将给其 后的汉语文本的深入分析带来难以逾越的障碍。中 文姓名的自动识别问题就是在这种背景下提出来 的。对这一问题的研究目前采用的技术中主要利用 以下几方面的信息: 姓名用字的频率信息、上下文 信息[1 ,2 ] 、语料库统计信息[2 ] 、词性信息等[3 ] 。本 文的方法是 , 首先对中文人名的构成、姓名用字的 规律及上下文文本信息特征进行充分分析 , 在此基 础上建立起两组规则集 , 将其作用于测试文本 , 获 得初步识别结果 , 再利用大规模语料库的统计信息 对初步识别结果进行概率筛选 , 设定合适的阈值 , 输出最终识别结果。经对 50 多万字的开放语料测 试 , 系统自动识别出 1781 个中文人名 , 在不同的 筛选阈值下获得 90 %以上的识别准确率 , 而召回 率高于 91 %。
双向LSTM-CNN的命名实体识别：双向LSTM-CNN的命名实体识别
02-06
更好的NER 具有双向LSTM-CNN的命名实体识别 命名实体识别的双向LSTM_CNN的keras实现。 原始论文可以在找到 该实现与原始论文的不同之处在于： 不考虑词典 使用存储桶可加快培训速度 使用nadam优化程序代替SGD 结果 该模型在约70个时期内产生90.9％的测试F1得分。 对于给定的体系结构，本文产生的结果是91.14体系结构（带有emb + caps的BILSTM-CNN） 数据集 conll-2003 论文网络模型 使用Keras构建网络模型 运行脚本 python3 nn.py 要求 0) nltk 1) numpy 2) Keras==2.1.2 3) T
ansj分词史上最详细教程
热门推荐
bitcarmanlee的博客
12-13 5万+
最近的项目需要使用到分词技术。本着不重复造轮子的原则，使用了ansj_seg来进行分词。本文结合博主使用经过，教大家用最快的速度上手使用ansj分词。1.给ansj来个硬广
ansjSeg分词工具简介
八荒六合唯我独尊
06-17 2749
应用背景：         编辑想对用户提出的问题进行分类，如包含
ansj分词方式详细解析
lb521200200的专栏
12-16 8202
ToAnalysis 精准分词 精准分词是Ansj分词的店长推荐款 它在易用性,稳定性.准确性.以及分词效率上.都取得了一个不错的平衡.如果你初次尝试Ansj如果你想开箱即用.那么就用这个分词方式是不会错的. DicAnalysis 用户自定义词典优先策略的分词 用户自定义词典优先策略的分词,如果你的用户自定义词典足够好,或者你的需求对用户自定义词典的要求比较高,那么强烈建
SPARK+ANSJ 中文分词基本操作
jo_joo的博客
12-16 5275
ANSJ 5.0.2 这是一个基于n-Gram+CRF+HMM的中文分词的java实现. 分词速度达到每秒钟大约200万字左右（mac air下测试），准确率能达到96%以上 目前实现了.中文分词. 中文姓名识别 . 用户自定义词典,关键字提取，自动摘要，关键字标记等功能 可以应用到自然语言处理等方面,适用于对分词效果要求高的各种项目. 下载地址 ：http://maven.nlpc
ElasticSearch之ANSJ分词器搭建搭建，解决ansj停止词bug (qq交流群 189040279)
tiger@cn的博客
07-12 2053
近期因公司特定的业务需要，公司的搜索引擎由Solr跟换为ElasticSearch，团队内之前负责搜索这块的同事采用的ElasticSearch版本为2.2.1，我没有使用同事在用的版本，对这个项目的改造准备准备采用2.x最新的版本（ElasticSearch-2.4.5），没有任何原因，只是个人觉得有新版本升级，应该也是解决了一些问题，用新版说不定就可以避免旧版中出现的很多问题（虽然这些问题现在
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值