FMM分词

最新推荐文章于 2025-03-18 13:51:43 发布

原创

最新推荐文章于 2025-03-18 13:51:43 发布 · 520 阅读

1 ·

CC 4.0 BY-SA版权

该博客展示了如何利用FMM（Fixed Length Merging Method）算法进行中文分词。通过读取字典文件，设置递归限制，对输入文本进行逐字符处理，判断是否在字典中，实现分词功能。最终将结果写入文件，并输出执行时间。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

# -*- coding: cp936 -*-
import time
start = time.time()
import sys
import codecs
sys.setrecursionlimit(1000000)
f1=codecs.open('dictionary1.txt','r')
list1=[]
for line in f1:
line = line.strip()
if len(line) == 0:
continue
line = line.split()
for each in line:
if each in list1:
continue
else:
list1.append(each)
f=codecs.open('FMM.txt','w')
def getSeg(text,temp):# 获取分词
if not text:
return ''
if len(text) == 1:
return text
if text in list1:
return text
else:
if temp==1:
&nb