Ansj 中文分词 1.41 发布，命名实体识别率大幅提升

最新推荐文章于 2022-04-25 13:40:51 发布
原创 最新推荐文章于 2022-04-25 13:40:51 发布 · 318 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#java #分词 #搜索引擎

博客链接指向一则资讯，涉及Java、分词和搜索引擎等信息技术领域内容。虽未展示具体内容，但从标签可知与Java语言在分词及搜索引擎方面的应用有关。
Ansj中文分词
07-10
Ansj中文分词是一个完全开源的、基于Google语义模型+条件随机场模型的中文分词的Java实现，具有使用简单、开箱即用等特点。 Ansj分词速度达到每秒钟大约100万字左右（Mac Air下测试），准确率能达到96%以上。 Ansj 1.41版本的新增功能 •增加了调用文档说明 •调整了关键词抽取 •增加了摘要计算 •关键词标红 •大幅度提高了命名实体识别 •对于词性标注提供了基于概率的快速标注方式.依旧保留给予隐马模型的词性标注. •修复了目前已知的所有bug •大量修正了之前默认用户自定义词典中词性错误 •提供了给予crf++ wapiti等条件随即场工具的调用接口.用户可以及自定义训练model •增加了目前对最新版的Lucene、Solr、Elasticsearch开源第三方搜索框架的分词插件 效果测试——新词发现 引用 1. 未登陆词识别 example：NER:我要碎觉吊丝要小心！城西嘉南公寓 result：命名/v 实体/n ner/en : 我/r 要/v 碎觉/nw 吊丝/n 要/v 小心/v ！/w 城西嘉南公寓/nw 2. 中文人名识别 example：NER: 邓颖超生前和刘晓辉同学合影, 李民工作了一天 result：邓颖超/nr 生前/t 和/c 刘晓辉/nr 同学/n 合影/v , 李民/nr 工作/vn 了/ul 一天/m 3. 外国人名识别 example：NER:本赛季德甲球队霍芬海姆的两名年轻球员菲尔米诺和福兰德表现出色，但球队主帅吉斯多尔态度强硬。 result：本赛季/n 德甲/n 球队/n 霍芬海姆/nrf 的/uj 两名/m 年轻/a 球员/n 菲尔米诺/nrf 和/c 福兰德/nr 表现出色/n ，/w 但/c 球队/n 主帅/n 吉斯多尔/nrf 态度强硬/n 。/w
Ansj中文分词（强大）
06-21
Ansj中文分词是一款纯Java、主要用于自然语言处理、高精度的中文分词工具，目标是“准确、高效、自由地进行中文分词”。 内容简介：http://www.iteye.com/magazines/102#234 此分词具有自己学习的功能,所以拜托大家...
ansj人名识别
weixin_30325793的博客
10-20 319
1. 前言 ansj人名识别会用到两个字典，分别是：person/asian_name_freq.data、person/person.dic。 1.1 asian_name_freq.data 这是一个二进制文件，序列化了一个Map对象。该对象的key为词，value是大小为3的数组。例如：罗=[[644, 40], [2048, 140, 74], [19, 28, 3...
介绍一种基于角色标注+字词体位法的人名识别方式-Ansj中文分词
ansjsun的专栏
09-14 383
大家好.最近在做分词.在分词中遇到了各种各样的问题.在这里选择一个比较有意思的与大家分享. 在这里说分词有点老生常谈了.的确.中文分词已经非常成熟了.但是在实体名识别上一直是中文分词的软肋.最近通过对ictclas的学习,和自己的总结.得出了一个还算不错的人名识别系统. 目前这种方式已经开源.大家可以参看:[url]https://github.com...
ansj 5.1分词方式测试，存在分词命名实体识别过度的问题
lb521200200的专栏
12-14 1616
public static void main(String[] args) {         // TODO Auto-generated method stub                    String str = "刘翔洁面仪配合洁面深层清洁毛孔 清洁鼻孔面膜碎觉使劲挤才能出一点点皱纹 脸颊毛孔修复的看不见啦 草莓鼻历史遗留问题没辙 脸和脖子差不多颜色的皮肤才是健康的 长期
怎样用OpenNLP来实现命名实体识别
caoguoyuan的专栏
01-17 1035
<br />怎样用OpenNLP来实现命名实体识别
ansj分词ansj_seg-5.1.5.jar
01-05
nlp-lang是一个用于自然语言处理的Java库，它包含了丰富的语言处理组件，如词性标注、命名实体识别等。在使用ANSJ分词时，可以结合nlp-lang进行更深层次的文本分析。例如，通过nlp-lang的词性标注功能，可以对分词...
Ansj中文分词：开源高效的中文分词与实体识别
5. 命名实体识别（NER）：Ansj加强了对命名实体识别的能力，包括中文人名、未登录词（新词）以及外国人名的识别。例如，示例中的“我要碎觉吊丝要小心！城西嘉南公寓”能够被正确识别出“我要碎觉”为未登录词，...
ansj中文分词器加载自定义crf教程.docx
09-21
### ANSJ中文分词器加载自定义CRF教程详解 #### 一、引言 ANsj分词器是一款优秀的开源中文分词工具，它支持多种分词算法，并且可以通过加载自定义的CRF（Conditional Random Field）模型来提高分词准确度。本文将...
JavaScript中正则的使用以及常用的正则表达式
王春燕的博客
04-25 2547
一、正则表达式 （一）、定义 -用于定义一些字符串的规则，计算机可以根据正则表达式，来检查一个字符串是否符合规则，获取将字符串中符合规则的内容提取出来 （二）、创建正则 第一种方式 var 变量=new RegExp("正则表达式","匹配模式"); 使用typeof检查正则对象，会返回object var reg=new RegExp("a"); 这个正则表达式可以用来检查一个字符串中是否含有a 在构造函数中可以传递一个匹配模式作为第二个参数，可以是 i 忽略大小写 g 全局匹...
中文人名自动识别的一种有效方法
10-16
中文信息计算机自动处理的研究已有几十年的 历史 , 但至今仍有许多技术难题没有得到很好解 决 , 中文姓名自动识别问题就是其中的一个。由于 它与中文文本的自动分词一样 , 属于中文信息处理 的基础研究领域 , 因而它的研究成果直接影响到中 文信息的深层次研究。汉语的自身特点使得中文信 息自动处理大多是先对要处理的文本进行自动分词 (加入显式分割符) , 然后再在分词的基础上进行词 法、语法、语义等方面的深入分析。而在分词阶 段 , 文本中的人名、地名以及其它专有名词和生词 大多被切分成单字词 , 在这种情形下如不能很好地 解决汉语文本中专有名词生词的识别问题 , 将给其 后的汉语文本的深入分析带来难以逾越的障碍。中 文姓名的自动识别问题就是在这种背景下提出来 的。对这一问题的研究目前采用的技术中主要利用 以下几方面的信息: 姓名用字的频率信息、上下文 信息[1 ,2 ] 、语料库统计信息[2 ] 、词性信息等[3 ] 。本 文的方法是 , 首先对中文人名的构成、姓名用字的 规律及上下文文本信息特征进行充分分析 , 在此基 础上建立起两组规则集 , 将其作用于测试文本 , 获 得初步识别结果 , 再利用大规模语料库的统计信息 对初步识别结果进行概率筛选 , 设定合适的阈值 , 输出最终识别结果。经对 50 多万字的开放语料测 试 , 系统自动识别出 1781 个中文人名 , 在不同的 筛选阈值下获得 90 %以上的识别准确率 , 而召回 率高于 91 %。
双向LSTM-CNN的命名实体识别：双向LSTM-CNN的命名实体识别
02-06
更好的NER 具有双向LSTM-CNN的命名实体识别 命名实体识别的双向LSTM_CNN的keras实现。 原始论文可以在找到 该实现与原始论文的不同之处在于： 不考虑词典 使用存储桶可加快培训速度 使用nadam优化程序代替SGD 结果 该模型在约70个时期内产生90.9％的测试F1得分。 对于给定的体系结构，本文产生的结果是91.14体系结构（带有emb + caps的BILSTM-CNN） 数据集 conll-2003 论文网络模型 使用Keras构建网络模型 运行脚本 python3 nn.py 要求 0) nltk 1) numpy 2) Keras==2.1.2 3) T
【命名实体识别】HMM-Viterbi角色标注中国人名识别
zkq_1986的博客
12-04 2882
实战HMM-Viterbi角色标注中国人名识别 这几天写完了人名识别模块，与分词放到一起形成了两层隐马模型。虽然在算法或模型上没有什么新意，但是胜在训练语料比较新，对质量把关比较严，实测效果很满意。比如这句真实的新闻“签约仪式前，秦光荣、李纪恒、仇和等一同会见了参加签约的企业家。”，分词结果：[签约/v, 仪式/n, 前/f, ，/w, 秦光荣/nr, 、/w, 李纪恒/nr, 、/
ansj分词史上最详细教程
热门推荐
bitcarmanlee的博客
12-13 5万+
最近的项目需要使用到分词技术。本着不重复造轮子的原则，使用了ansj_seg来进行分词。本文结合博主使用经过，教大家用最快的速度上手使用ansj分词。1.给ansj来个硬广
ansj中引用自己训练的CRF模型
renzhe0420的专栏
05-06 4743
关于ansj可参见官方网站：http://www.ansj.org/ 代码参见g
ansjSeg分词工具简介
八荒六合唯我独尊
06-17 2767
应用背景：         编辑想对用户提出的问题进行分类，如包含
开源 Java 中文分词器 Ansj 作者孙健专访
优快云 官方博客
11-05 5万+
Ansj 是一个开源的 Java 中文分词工具，基于中科院的 ictclas 中文分词算法，比其他常用的开源分词工具（如mmseg4j）的分词准确率更高。 在线演示：http://ansj.sdapp.cn/demo/seg.jsp 官网地址：http://www.ansj.org/ Github地址：https://github.com/ansjsun/ansj_seg 我们本期
Deeplearning4j 实战（6）：基于LSTM的文本情感识别及其Spark实现
万宫玺的专栏
03-10 1万+
Eclipse Deeplearning4j GiChat课程：https://gitbook.cn/gitchat/column/5bfb6741ae0e5f436e35cd9fEclipse Deeplearning4j 系列博客：https://blog.csdn.net/wangongxiEclipse Deeplearning4j Github：https://github.com/ec...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值