Java读取大文件

遇到过这样一个情况,需要用java读取一个200M的文本格式文件,而且还需要对文件的内容做解析,进行分词。如果用JVM的默 认设置,利用Scanner类只能读出4M大小内容,于是我就在网上搜索,但是网上没有找到一篇文章是我所需要的内容。于是我只好翻thinking in java,发现了一个java的nio里有个MappedByteBuffer类,他的作用可以把一个文件映射到内存中,然后就能像访问数组一样去读取这 个文件。于是我在JDK中查了MappedByteBuffer的详细的用法,然后将其和Scanner类结合一下,便能得到一边读取大文件,一边解析读 取的内容了功能了,具体的代码如下:

public void readResource() {
   long fileLength = 0;
   final int BUFFER_SIZE = 0x300000;// 3M的缓冲
  
   for(String fileDirectory:this.readResourceDirectory())//得到文件存放路径,我这里使用了一个方法从XML文件中读出文件的
               //存放路径,当然也可以用绝对路径来代替这里的fileDriectory
   {
   File file = new File(fileDirectory);
   fileLength = file.length();
   try {
     MappedByteBuffer inputBuffer =
     new RandomAccessFile(file,"r").getChannel().map(FileChannel.MapMode.READ_ONLY, 0, fileLength);//读取大文件
    
     byte[] dst = new byte[BUFFER_SIZE];//每次读出3M的内容
    
     for(int offset=0; offset < fileLength; offset+= BUFFER_SIZE)
     {
       if(fileLength - offset >= BUFFER_SIZE)
       {
           for(int i = 0;i < BUFFER_SIZE;i++)
           dst

= inputBuffer.get(offset + i);
       }
       else
       {
         for(int i = 0;i < fileLength - offset;i++)
               dst = inputBuffer.get(offset + i);
         }
       //将得到的3M内容给Scanner,这里的XXX是指Scanner解析的分隔符
       Scanner scan = new Scanner(new ByteArrayInputStream(dst)).useDelimiter("XXX");
       while(scan.hasNext())
       {
           //这里为对读取文本解析的方法
       }        
       scan.close();
     }
   } catch (Exception e)
   {
     e.printStackTrace();
   }
   }
}
希望以上这段代码能对当时和我遇到同样问题的人能有所帮助。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值