小记java实现的几种分词算法

最新推荐文章于 2025-03-09 19:18:41 发布

Bruce__007

最新推荐文章于 2025-03-09 19:18:41 发布

阅读量1.6k

点赞数 1

分类专栏： search Technology

本文链接：https://blog.youkuaiyun.com/chenchaoxing/article/details/9450395

版权

博主分享了在创业公司工作四年后的感悟，决定重筑算法基础，从分词算法开始。文章介绍了字典分词方法，包括词典初始化和不同分词策略，如反向最大、反向最小，指出这些算法在处理长句子时效率不高，通常需要结合使用以消除歧义和提高效率。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本屌已经在创业公司打拼了四年，随着公司的发展，个人的技术局限性越来越明显，接下来打算重筑算法功底，好好的充充电，为下次突破做准备

分词算法是几年前刚开始接触搜索时接触到，打算先从这里切入，下班前整理了一下思路，小写了一番，记录如下，储备之：

分词有单字分词、字典分词、统计分词等，这里用最常用的字典分词

先定义一个词典，并初始化之：

	private static Set<String> dict = new HashSet<String>();

	static {
		dict.add("百度");
		dict.add("平台");
		dict.add("架构");
		dict.add("分享");
	}

接下来就要用这个词典对给出的句子进行分词：

	public static void main(String[] args) {
		String str = "百度前端基础平台与架构分享";
		fwdMax(str);
		fwdMin_2(str);
		backMax(str);
		backMin_2(str);
	}

1) 正向最大

	private static void fwdMax(String str) {// 正向最大
		int len = str.length();
		int start = 0;
		int end = len;
		while (s