Statistic Data From file via Java

最新推荐文章于 2025-06-27 02:20:57 发布

原创最新推荐文章于 2025-06-27 02:20:57 发布 · 956 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#file #string #import #byte #list #工作

Java 专栏收录该内容

15 篇文章

订阅专栏

本文介绍了一种通过程序自动统计和分析多个文件中数据的方法，实现了数据合并、去重、排序及按前四位数字进行分类计数的功能。

由于一个朋友工作的需要，需要统计很多文件里的数据，由于手工统计的工作量比较大，于是求助于我通过程序来统计。
需求：将所有数据从小到大合并成一个文件，重复数据只保留一个！并分别统计出前四位相同数据的个数！

数据片段：

19610618,
19610619,
19610622,
19610623,
19610718,
19980814,
19980820,
19980822,
19980831,

20040804,
20040809,
20040810,
20050405,
20050429,
20050619,

数据分散在不同的文件里面

/**
* @author Seave
* @since 2006-06-25
* @version 1.0
* 文件数据统计
* 将所有数据从小到大合并成一个文件，重复数据只保留一个！
* 并分别统计出前四位相同数据的个数！
*/
import java.io.BufferedReader;
import java.io.File;
import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.io.InputStreamReader;
import java.util.ArrayList;

import java.io.IOException;

public class DataStatistic
{
//原始数据文件目录
private final static String directoryPath = "d://chengqiao//";

//统计后生成的文件
private final static String geneteratePath = "d://statisticResult.txt";
/**
* @author Seave
* @since 2006-06-25
* read file
* @return
*/
private static ArrayList readFile()
{
  ArrayList al = new ArrayList();
  File file = new File(directoryPath);
  String fileList[] = file.list();

  for(int i = 0;i < fileList.length; i++)
  {
   //得到文件名，放在list数组里
   al.add(fileList[i]);
  }
  return al;
}

/**
* @author Seave
* @since 2005-06-25
* combin file,同时去掉重复数据
*
*/
private static ArrayList combinData()
{
  ArrayList alLine = new ArrayList();
  try
  {
   ArrayList al = readFile();
   for(int i = 0;i < al.size();i++)
   {
    String fileName = (String)al.get(i);
    FileInputStream fin = new FileInputStream(directoryPath+fileName);
    BufferedReader bRead = new BufferedReader(new InputStreamReader(fin));
          String line = "";
    while ((line = bRead.readLine())!= null)
          {
     if(alLine.contains(line))
     {
      //已经存入,则不add进去了
      continue;
     }
     alLine.add(line);
          }
    fin.close();
    bRead.close();
   }
  }
  catch(IOException ioe)
  {
   ioe.printStackTrace();
  }
  return alLine;
}

/**
* @author Seave
* @since 2005-06-25
* 排序,从小到大排序
*
*/
private static ArrayList sortData()
{
  //存放排序后的数据
  ArrayList alSort = new ArrayList();
  //需要排序的数据
  ArrayList al = combinData();
  //clone ArrayList Data
  ArrayList alClone = (ArrayList)al.clone();

  while(al.size() > 0)
  {
   String minData = (String)al.get(0);
   int tempIndex = 0;
   if(alSort.contains(minData))
   {
    //如果此数据已经排序,则删除此数据,同时重新开始特循环
    al.remove(minData);
    continue;
   }
   for(int j = 0;j < alClone.size();j++)
   {
    String tempData = (String)alClone.get(j);
    if(minData.compareTo(tempData) > 0)
    {
     //当前数据同克隆数组里的数据相比较
     minData = tempData;
     tempIndex = j;
    }
   }

//   System.out.println("minData result = " + minData);
//   System.out.println("================================");
   alSort.add(minData);
   //当得到最小的数据时，把此次循环得到的最小数据移出克隆数组
   alClone.remove(tempIndex);
  }
  return alSort;
}

/**
* @author Seave
* @since 2005-06-25
* 分别统计出前四位相同数据的个数
*
*/
private static ArrayList statisticData()
{
  ArrayList fourAl = new ArrayList();
  ArrayList fourAndCountAl = new ArrayList();
  ArrayList al = sortData();
  for(int i = 0;i < al.size();i++)
  {
   String alStr = (String)al.get(i);
   //获取前四位
   String fourStartStr = alStr.substring(0,4);
   if(fourAl.contains(fourStartStr))
    continue;
   fourAl.add(fourStartStr);
  }
  for(int i = 0;i < fourAl.size();i++)
  {
   String year = (String)fourAl.get(i);
   int count = 0;
   for(int j = 0;j < al.size();j++)
   {
    String alStr = (String)al.get(j);
    String fourStartStr = alStr.substring(0,4);
    if(fourStartStr.equals(year))
    {
     //计算相同的年份的数量
     count++;
    }
   }

   fourAndCountAl.add(year+"：" + count+"条数据");
  }
  return fourAndCountAl;
}

/**
* @author Seave
* @since 2005-06-25
* 写文件
*
*/
private static void writeFile(ArrayList al)
{
  try
  {
   File f = new File(geneteratePath);
   if(!f.exists())
    f.createNewFile();

   FileOutputStream fout = new FileOutputStream(geneteratePath);

   for(int i = 0; i < al.size();i++)
   {
    byte b[] = new byte[al.size()];
    b = new String((String)al.get(i)+"/n").getBytes();
    //写入文件
    fout.write(b);
   }
   fout.flush();
   //close FileOutputStream
   fout.close();
  }
  catch(IOException ioe)
  {
   ioe.printStackTrace();
  }
}

public static void main(String[] args)
{
  ArrayList alSort = sortData();
  ArrayList alStatic = statisticData();
  for(int i = 0;i < alSort.size();i++)
  {
   //组织要同一个list里
   alStatic.add(alSort.get(i));
  }
  writeFile(alStatic);
}
}