scala读取HDFS文件，每次读取一定的字节数

最新推荐文章于 2024-07-23 16:14:33 发布

原创

最新推荐文章于 2024-07-23 16:14:33 发布 · 1.6k 阅读

1 ·

CC 4.0 BY-SA版权

本文介绍了如何使用Scala编程语言从HDFS（Hadoop分布式文件系统）中读取文件，特别是每次读取指定数量的字节。内容涵盖了相关的方法和技巧，帮助读者理解并实现这一功能。

用scala读取一个只有字符的文件，该文件是已经清洗完的数据，有规律，一行是一条数据。
现在的需求是一次读取文件中的一部分，依次读取完。

如果有疑问，或者找出错误的解决方案，请和我联系。一起研究讨论

  
  
  
   
   
   
    
    
    
     
     
     [plain] 
     
     
     view plain
      
     
     copy
     
     
     
      
    
    
    
   
   
   
   
   
   
    
    import java.io.IOException  
    
    import java.net.URI  
    
      
    
    import org.apache.hadoop.conf.Configuration  
    
    import org.apache.hadoop.fs.{FSDataInputStream, FileSystem, Path}  
    
      
    
    /**  
    
      * Created by wx on 2017/7/20.  
    
      */  
    
    object HDFSUtil {  
    
      val conf: Configuration = new Configuration  
    
      var fs: FileSystem = null  
    
      var hdfsInStream: FSDataInputStream = null  
    
      
    
      def getFSDataInputStream(path: String): FSDataInputStream = {  
    
        try {  
    
          fs = FileSystem.get(URI.create(path), conf)  
    
          hdfsInStream = fs.open(new Path(path))  
    
        } catch {  
    
          case e: IOException => {  
    
            e.printStackTrace  
    
          }  
    
        }  
    
        return hdfsInStream  
    
      }  
    
      
    
      def close {