Java将英文句子分解为单词

最新推荐文章于 2023-06-05 14:21:26 发布

原创最新推荐文章于 2023-06-05 14:21:26 发布 · 7k 阅读

17 ·

CC 4.0 BY-SA版权

文章标签：

#java英文句子分割

本文介绍了在Java中如何使用StringTokenizer类高效地将英文句子分解为单词。相较于String.split()方法，StringTokenizer在性能上更优，同时支持枚举操作。文中列举了StringTokenizer的两个关键方法：hasMoreTokens()和nextToken()，并强调了其在处理字符串分解场景中的优势。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

类及方法选择

Java中substring方法可以分解字符串，返回的是原字符串的一个子字符串。如果要讲一个字符串分解为一个一个的单词或者标记，可以使用StringTokenizer。
有两个方法常用：
1.hasMoreTokens()。这个方法和hasMoreElements()方法的用法是一样的，只是StringTokenizer为了实现Enumeration接口而实现的方法，从StringTokenizer的声明可以看到：class StringTokenizer implements Enumeration。
2.nextToken()。这个方法和nextElement()方法的用法是一样的，返回此 StringTokenizer 的下一个标记。
使用String.spilt()方法时，效率没有StringTokenizer高，并且只是单一字符串的分割。因此使用StringTokenizer更好。

代码示例

String text = tweet.getText();
StringTokenizer st = new StringTokenizer(text," ,?.!:\"\"''\n#");
List<String> wordList = new ArrayList<>();
while (st.hasMoreElements()) {
    wordList.add(st.nextToken().toLowerCase());
}