基于最长词匹配算法变形的分词系统( 文舫工作室贡献 )

最新推荐文章于 2021-10-04 20:33:55 发布
最新推荐文章于 2021-10-04 20:33:55 发布
阅读量5.6k 收藏
点赞数
CC 4.0 BY-SA版权
文章标签： 算法 工作 lucene 搜索引擎
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/accesine960/article/details/424306

    这个分词程序是文舫工作室贡献出来的。
    强烈推荐看看文舫工作室的开发日志，他们的激情可以鼓励很多人......    
    
    自从小叮咚分词程序发布后，很多软件行业的朋友们都来信索取，因为定位的问题，所以小叮咚的分词程序和 ICTCLAS的算法完全不同的。
    
    小叮咚的分词程序的定位是为搜索引擎服务的。可以参考： 一种面向搜索引擎的中文切分词方法
    ICTCLAS和基于最长词匹配算法变形的分词系统 是面向语法，语义的。
    
    不同的应用导致了不同的分词算法，但是正如车东所说的，我们现在应该跳过分词这个点，面向分词应用了。
    我很赞同。
    
    如果大家需要 基于最长词匹配算法变形的分词系统 的代码，可以到这个页面下载申请书，填写后我会给你
    发送一份相关代码。

     关于分词 文德 是专家，大家可以下载     Lucene使用者沙龙 中的录音，听听他对分词的一些经验。
        
    这些申请书会在以后整理出来共享的。
    
    相关连接：
    文舫工作室的网址    
    Lucene使用者沙龙
      
 
ip最长匹配原则的一种实现
几百个测试用例一致通过
12-03 1005
路由转发时需要根据最长原则进行转发，但是RFC并没有给出算法具体是如何实现的，为此自己胡乱想了个算法。 首先定义两个数据结构 class IP: ipArr,mask = [0,0,0,0],0 def __init__(self,ipStr): self.ipArr,self.mask = tranStrIP(ipStr) def ipToNumbe...
简单关键词匹配算法
bluekeyv的专栏
12-18 6787
针对微博的短篇博文，编写的简单分词和匹配算法。相对于一篇文档的复杂分词算法，能够在效率和可用性上得到较好的平衡。 package com.sina.tblog.sentiment; import java.io.BufferedReader; import java.io.File; import java.io.FileOutputStream; import java.io.Fil
基于最大长度词语匹配的简单的汉语分词方法
雨婷的专栏
03-03 2685
我把做好的聊天机器人给群里的朋友测试，他测试的语句是这样的：“你好”，“你会说中文吗？”，“你吃饭了吗？”因为我之前没告诉他只支持简单的英文，他就理所当然地用中文测试。测试后，他问我，可以加上中文支持吗？我说：“没问题，加上足够的关键字判断和语句库而已。”，后来思考一下，发觉没这么简单。中文和英文有个最大的不同是，英文词组之间是分开的，有空格或标点符号，而中文因为字的表意功能太强，差不多每个字都有自己的意思，所以词组之间没有空格隔开，而我用的机器人是基于词组工作的，如果要支持中文，就以为着必须把中文句子进行
【NLP】中文分词：原理及分词算法
weixin_30642869的博客
11-09 904
一、中文分词 词是最小的能够独立活动的有意义的语言成分，英文单词之间是以空格作为自然分界符的，而汉语是以字为基本的书写单位，词语之间没有明显的区分标记，因此，中文词语分析是中文信息处理的基础与关键。 Lucene中对中文的处理是基于自动切分的单字切分，或者二元切分。除此之外，还有最大切分（包括向前、向后、以及前后相结合）、最少切分、全切分等等。 ...
传统匹配模型详解（附代码）
qq_32223859的博客
05-27 1704
文本匹配是NLU中的一个核心问题，虽然基于深度学习的文本匹配算法大行其道，但传统的文本匹配算法在项目中也是必要的。本文详解了传统的文本匹配算法Jaccard、Levenshtein、Simhash、Bm25、VSM的原理及其代码分享给大家，若有不足之处，请大家指出。 1.概述 在实际工程项目，不论是基于交互的还是基于表示的文本匹配，往往都会结合传统的字面匹配算法来综合评估两段文本的匹配程度。至此，“文本匹配”系列文章更新完结，后期会针对性解读某种文本匹配算法及其实操，敬请期待。 2. 算法解读...
字符串多模式精确匹配（脏字/敏感词汇搜索算法）——TTMP算法 之理论如此
weixin_33721427的博客
02-01 663
什么是TTMP算法？不好意思，我发布这篇文章之前，估摸是没有其他地方能找着该算法的，因为那是俺生造的。 TTMP是啥意思呢？是Terminator Triggered Multi-Pattern 的意思，也就是结束符触发多模式算法。 -_-! 有点难理解，没关系，看完了也许就理解了。 不过这个自造的算法有点复杂，为了保证大家能够顺利阅读，请大家配合做一个测试： 拿出你的手表，或者其他计...
NLP 中文分词-双向匹配算法（理论+Python实现）
GW_Krystal的博客
10-04 6506
一、理论描述 1.中文分词的概念： 是指把没有明显分界标志的字串切分为词串，包括标点符号、数字、数学符号、各种标记、人名、地名、机构名等未登录词的识别。汉语自动分词主要包括：（1）根据分词规范，建立机器词典；（2）根据分词算法和机器词典，把字串切分为词串；（3）机器学习方法和统计方法。 2.中文分词的重要性： 汉语中词是最小的独立运用单位，分词是句法分析的基础，是所有应用系统进行的第一步，是其他中文信息处理的基础，搜索引擎、机器翻译（MT）、语音合成、自动分类、自动摘要、自动校对等等都需要用到分词。只有进行
基于N-gram的双向最大匹配中文分词
布生气
12-05 1万+
这次实验的内容是中文分词。将一个句子的所有词用空格隔开，将一个字串转换为一个词序列。 而我们用到的分词算法是基于字符串的分词方法中的正向最大匹配算法和逆向最大匹配算法。然后对两个方向匹配得出的序列结果中不同的部分运用Bi-gram计算得出较大概率的部分。最后拼接得到最佳词序列。
计算机毕设分词,基于词表的中文分词算法
weixin_30792221的博客
07-28 440
基于词表的中文分词算法正向最大匹配法对于输入的一段文本从左至右,以贪心的方式切分出当前位置上长度最大的词.正向最大匹配法是基于词典的分词方法,其分词原理是:单词的颗粒度越大,所能表示的含义越确切.该算法主要分两个步骤:一般从一个字符串的开始位置,选择一个最大长度的词长的片段,如果序列不足最大词长,则选择全部序列.首先看该片段是否在词典中,如果是,则算为一个分出来的词,如果不是,则从右边开始,减少一...
中文分词之正向最大匹配算法
lilong117194的博客
07-19 1万+
中文分词目前可以分为“规则分词”，“统计分词”，“混合分词（规则+统计）”这三个主要流派。这次介绍下基于规则的分词，其是一种机械的分词方法，主要通过维护词典，在切分语句时，将语句的每个字符串与词表中的词逐一进行匹配，找到则切分，否则不予切分。 正向最大匹配算法：这里需要知道两点，一个是分词词典（也即是已经分词过的词典），另一个是需要被分词的文档。假定分词词典中的最长词有iii个汉子字符串，则用被...
基于词典的正向最大匹配算法（最长词优先匹配）
qiuwenjie123的博客
04-23 3173
public Set<String> matchChinese(String text, Set<String> dictionary, int maxLength) { //text：待匹配文本 dictiona：词典 maxLength：词典中最长词长度 Set<String> result=new HashS...
使用最大匹配算法进行分词
Young, Simple, Naive
11-24 2086
最大匹配算法的原理：每次从句子最左侧分出一个词，这个词是词典中所有和句子当前位置匹配的词里面最长的那一个。 首先我们实现一个最大匹配算法： def max_match(sentence, dictionary): if ("" == sentence): return [] word_end = 1 for i in range(str(sentence)....
文本中关键字匹配算法
Maxwell_7
06-16 3万+
给定一定数量的关键字，对任一篇文本，寻找文本中包含哪些关键字并加亮这些关键字 这个文本处理需要一个算法， 普通的文本处理直接去遍历所有的关键字，但是这种算法太复杂，时间复杂度太高。 之前的文章中有说过，实际用到的算法，为了加快执行速度，都是在时间和空间上做的兑换。这里同样可以，通过增加存储空间来减少程序执行时间。 可以选择开一个数组，数组的长度是char类型的最大长度加一。
中文分词-最长匹配法的实现
12-02 2182
最长匹配法的基本思想是：设词表中最长的词由m个字（程序中m=5）组成，每次进行切分时总是从待切分的句子中截取一个长度为m的匹配字段w，查找分词词典。 （1）若在词典中，则匹配成功。匹配字段w作为一个新词被切分出来 （2）若不在词典中，则匹配失败，从w中去掉最后一个词，进行新的匹配。如此进行下去，直到匹配成功为止。 如果完成一次匹配就将匹配成功的单词从句子中去掉，按照上述步骤重复进行切分，直至
中文相似度匹配算法
热门推荐
chndata的专栏
11-14 6万+
基于音形码的中文字符串相似度算法 背景介绍 字符串相似度算法是指通过一定的方法，来计算两个不同字符串之间的相似程度。通常会用一个百分比来衡量字符串之间的相似程度。字符串相似度算法被应用于许多计算场景，在诸如数据清洗，用户输入纠错，推荐系统， 剽窃检测系统，自动评分系统，以及网页搜索和DNA序列匹配这些方向都有着十分广泛的应用。   常见的字符串相似度算法包括编辑距离算法（EditDista
单词匹配算法
程序员备忘录
10-13 4128
题目：有一个江洋大盗，他每次写信都是从一张报纸上剪下单词，再把单词贴在信上。假如某张报纸的单词保存在vectorpaper 中，而信的单词保存在vectorletter 中，写一个算法程序判别该报纸可不可以生成该信？ 对比一些方法： 这里假设paper:(m个单词，每个单词平均d个字母),letter:(n个单词，每个单词平均d个字母)。对于中文词语而言，一般2~4个字左右，对于英文单词，d
基于词表和N-gram算法的新词识别实验
zhoubl668的专栏：远帆，梦之帆！
04-10 1万+
曹  艳  杜慧平  刘  竟  侯汉清 (南京农业大学信息管理系  210095) 摘  要  目前未登录词问题仍然很大程度上影响着自动标引和信息检索的效率。本文提出了一种选择期刊论文的题名和摘要作为训练语料，利用N-gram算法切分和停用词典等过滤筛选非专名的新词识别方法。该方法主要分为两步：先进行N元切分，保存关键词候选集并统计词频；然后进行一系列的过滤，主要有词频阈值限定、前停后停词典
基于词表的中文分词算法
qq_40889460的博客
05-29 1719
基于词表的中文分词算法 正向最大匹配法 对于输入的一段文本从左至右,以贪心的方式切分出当前位置上长度最大的词.正向最大匹配法是基于词典的分词方法,其分词原理是:单词的颗粒度越大,所能表示的含义越确切. 该算法主要分两个步骤: 一般从一个字符串的开始位置,选择一个最大长度的词长的片段,如果序列不足最大词长,则选择全部序列. 首先看该片段是否在词典中,如果是,则算为一个分出来的词,如果不是,则从右边...
HMM最大匹配分词算法（Python）
rebellion51的博客
06-29 1994
正向最大匹配算法是我国最早提出的解决中文分词问题的算法，因其简单易操作，至今仍作为机器分词的粗分算法，在今天看来，这种算法的准确率远不够高，无法达到令人满意的要求。这只是一次练习。待切分文本是： 我和你共同创造美好的新生活词典： 共同，创造，美好，的，新，生活预期分词效果： 我 和 你 共同 创造 美好 的 新 生活# Python 3.4.3lexicon = ('共同','创造','美好'
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

JCJC错别字检测-田春峰

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值