java统计出现频率高的数据_统计一个文本中出现频率最高的10个词

作业要求：

写一个程序，分析一个文本文件中各个词出现的频率，并且把频率最高的10个词打印出来。文本文件大约是30KB～300KB大小。

程序实现思路：

要想统计文本文件中出现频率最高的10个词，首先应该读取文本文件中的内容，然后将其数据存储到集合中，利用集合中的一些方法对所有出现的字进行次数统计。统计完之后，对集合进行排序，将出现频率最高的10个字打印输出。

1、读取文本文件

使用输入字节流类FileReader与BufferedReader。

将文本中的数据赋给s以实现后续操作。

2、将数据存储到Map集合中

因为该输出结果中，出现的字与其次数存在着映射关系，因此采用HashMap集合对数据进行操作。

对于词出现次数的统计，将读取到每一个字存入集合中，如果该字与集合中存在的字相同，则其value+1，如果没有找到相同的字，则令其value=1。

3、对集合进行排序

因为是对集合中的value值进行比较，因此需要自定义比较器实现排序功能。首先将集合中的数据赋给List集合，再利用Collections中的sort()方法对List集合进行排序。

4、对排序后的符合要求的元素进行输出

将排序后符合要求的元素存入StringBuilder容器中。

5、程序运行结果

程序源代码：

import java.io.BufferedReader;

import java.io.FileReader;

import java.io.IOException;

import java.util.ArrayList;

import java.util.Collections;

import java.util.Comparator;

import java.util.HashMap;

import java.util.Iterator;

import java.util.List;

import java.util.Map;

import java.util.Map.Entry;

public class ChineseTest {

public static void main(String[] args) throws

IOException {

FileReader file = new

FileReader("E:\\test.txt");

String s = countWords(file);

System.out.println(s);

}

private static String countWords(FileReader

file) throws IOException {

String s = null;

// 定义输入流缓冲区，并与要操作的流对象关联

BufferedReader bu = new

BufferedReader(file);

s = bu.readLine();

while (bu.ready()) {

s += bu.readLine();

}

char[] c = s.toCharArray();

Map map = new HashMap();

for (int i = 0; i < c.length; i++)

{

if (c[i] == '，' || c[i] == '。' || c[i] == '！'

|| c[i] == ' '

|| c[i] == '“' || c[i] == '”')

continue;

Integer value = map.get(c[i]);

if (value == null)

map.put(c[i], 1);

else

map.put(c[i], value + 1);

}

bu.close();

return sortMap(map);

}

private static String sortMap(Map map)

{

int count = 0;

StringBuilder st = new

StringBuilder();

//

因为是比较Map中的value，因此自定义比较器对value进行比较。调用Collections中的sort方法

List> list = new ArrayList>(

map.entrySet());

Collections.sort(list, new Comparator>()

{

public int compare(Entry o1,

Entry o2) {

int temp = o2.getValue() -

o1.getValue();

return temp == 0 ?

o2.getKey().compareTo(o1.getKey()) : temp;

}

});

// 利用一次迭代，将总的字符个数算出来，赋值给count

for (Iterator> it = list.iterator();

it

.hasNext();) {

Map.Entry m = it.next();

Integer value = m.getValue();

count += value;

}

// 对出现次数最多的前十个字符进行输出

Iterator> it = list.iterator();

for (int i = 0; i < 10; i++) {

Map.Entry m = it.next();

st.append(m.getKey() + ":" + m.getValue() + "

该词出现的频率为:"

+ (float) m.getValue() / count * 100 + "%" +

"\r\n");

}

return st.toString();

}

}

程序性能分析：

1、程序运行前

2、程序运行时