在将近1G的文件里 统计特定类型的数据个数

今天摸鱼的时候接到一个需求
有如下数据
在这里插入图片描述
在一个文件夹里大概800M 需要统计 每一个 NGKM_********* :前的 数量

输出
在这里插入图片描述

问题分析
看见这个需求 第一反应是 正则写
因为是特定格式吗
我写的是这样的 因为正则不会

   String rgex = "(((NGKM)|(ngkm))(.*?)(\\:))";

这样能在特定的字符串里找出要的内容了
但是字符串哪里来? 肯定是在文件里读取了
但是文件读取的类那么多用那个?
如果都保存在字符串里肯定保存不完
保存在lis里? 800M 的数据会堆溢出的

想到了一个方法 一行一行读取
然后匹配保存

大致代码如下
但是 800M的数据跑了 24秒 太慢了
有好的方法私信我



import java.io.BufferedReader;
import java.io.FileNotFoundException;
import java.io.FileReader;
import java.io.IOException;
import java.util.ArrayList;
import java.util.HashMap;
import java.util.List;
import java.util.Map;
import java.util.regex.Matcher;
import java.util.regex.Pattern;

/**
 * 正则表达式匹配两个字符串之间的内容
 *
 * @author Administrator
 */
public class test {

    public static void main(String[] args) throws IOException {
        // 使用ArrayList来存储每行读取到的字符串
        long startTime = System.currentTimeMillis();
        Map<String, Integer> map = new HashMap<String, Integer>();
        try {
            FileReader fr = new FileReader("G:\\key.txt");
            BufferedReader bf = new BufferedReader(fr);
            String str;
            // 按行读取字符串
            while ((str = bf.readLine()) != null) {
                String rgex = "(((NGKM)|(ngkm))(.*?)(\\:))";
                List<String> lists =getSubUtil(str, rgex);
                for (String string : lists) {
                    if (map.containsKey(string)) {
                        map.put(string, map.get(string) + 1);
                    } else {
                        map.put(string, 1);
                    }
                }
            }
            bf.close();
            fr.close();
        } catch (
                IOException e) {
            e.printStackTrace();
        }
        map.forEach((k, v) ->
        {
            System.out.println(k + v);
        });
        long endTime = System.currentTimeMillis();    //获取结束时间
        System.out.println("程序运行时间:" + (endTime - startTime) + "ms");
    }

    /**
     * 正则表达式匹配两个指定字符串中间的内容
     *
     * @param soap
     * @return
     */
    public static List<String> getSubUtil(String soap, String rgex) {
        List<String> list = new ArrayList<String>();
        Pattern pattern = Pattern.compile(rgex);// 匹配的模式
        Matcher m = pattern.matcher(soap);
        while (m.find()) {
            int i = 1;
            list.add(m.group(i));
            i++;
        }
        return list;
    }




}
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

一叶一菩提魁

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值