scala读取HDFS文件，每次读取一定的字节数

最新推荐文章于 2024-07-23 16:14:33 发布
最新推荐文章于 2024-07-23 16:14:33 发布
阅读量1.6k 收藏 1
点赞数
本文介绍了如何使用Scala编程语言从HDFS（Hadoop分布式文件系统）中读取文件，特别是每次读取指定数量的字节。内容涵盖了相关的方法和技巧，帮助读者理解并实现这一功能。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

版权声明：本文为博主原创文章，未经博主允许不得转载。

用scala读取一个只有字符的文件，该文件是已经清洗完的数据，有规律，一行是一条数据。
现在的需求是一次读取文件中的一部分，依次读取完。
 
 
如果有疑问，或者找出错误的解决方案，请和我联系。一起研究讨论
 
 
  
  
  

   
   
   

    
    
    

     
     
     [plain] 
     
     
     view plain
      
     
     copy
     
     
     

      
    
    
    

   
   
   

   
   
   
    
    
    
  1. import java.io.IOException  
    2. 
    
    
  2. import java.net.URI  
    3. 
    
    
  3.   
    4. 
    
    
  4. import org.apache.hadoop.conf.Configuration  
    5. 
    
    
  5. import org.apache.hadoop.fs.{FSDataInputStream, FileSystem, Path}  
    6. 
    
    
  6.   
    7. 
    
    
  7. /**  
    8. 
    
    
  8.   * Created by wx on 2017/7/20.  
    9. 
    
    
  9.   */  
    10. 
    
    
  10. object HDFSUtil {  
    11. 
    
    
  11.   val conf: Configuration = new Configuration  
    12. 
    
    
  12.   var fs: FileSystem = null  
    13. 
    
    
  13.   var hdfsInStream: FSDataInputStream = null  
    14. 
    
    
  14.   
    15. 
    
    
  15.   def getFSDataInputStream(path: String): FSDataInputStream = {  
    16. 
    
    
  16.     try {  
    17. 
    
    
  17.       fs = FileSystem.get(URI.create(path), conf)  
    18. 
    
    
  18.       hdfsInStream = fs.open(new Path(path))  
    19. 
    
    
  19.     } catch {  
    20. 
    
    
  20.       case e: IOException => {  
    21. 
    
    
  21.         e.printStackTrace  
    22. 
    
    
  22.       }  
    23. 
    
    
  23.     }  
    24. 
    
    
  24.     return hdfsInStream  
    25. 
    
    
  25.   }  
    26. 
    
    
  26.   
    27. 
    
    
  27.   def close {  
    28. 
    
   

  



                

        

    

    
  



    

      

        

            

              
                
                  robwang151
                
              
            

            

                关注
              
            

        

        

          
      

      










                



	

		

			

				
					
Scala(12) -- scala读写数据

				
			

			

				

					erainm
				

				

					09-21
					
					1387
					
				

			

		

		

			
				
1. 读取数据(按行、字符读取、读取单词和数字、从URL和其他数据源读取、读取二进制文件)
2. 写入数据（往文件写数据、序列化和反序列化）
3. 案例

			
		

	



                

            
              



	

		

			

				
					
Spark数据读写--HDFS、HBase、Json

				
			

			

				

					MusicDancing的博客
				

				

					09-04
					
					698
					
				

			

		

		

			
				
1. 共享变量

2. 数据读写

2.1 本地文件的读写

读文件


import org.apache.spark.sql.SparkSession

val inputPath = "file:///Users/zenmen/Desktop/aa.sh"
val rdd = spark.sparkContext.textFile(inputPath)

上面代码执行后，因为Spark的惰性机制，并不会真正执行，所以即使路径错误，此时也不会报错。

写文件


val outputPath = "/U

			
		

	



              


  
              

                


	

		

			

				
					
Scala中的文件操作

				
			

			

				

					Mr.Phoebe的专栏
				

				

					02-18
					
					1773
					
				

			

		

		

			
				
Scala中的文件操作



文件读取

在Scala中，如果只是简单的读取文件内容，可以有两种方法，第一是使用Java的API，第二种就是使用scala.io.Source模块。



读取行



import scala.io.Source;

object Demo extends App {
    val filename = "/Users/Phoebe/Documents/haha...

			
		

	





	

		

			

				
					
scala读取文件

				
			

			

				

					zhangbaoming815的博客
				

				

					07-31
					
					463
					
				

			

		

		

			
				

scala读取文件非常的简单，使用的都是scala模板提供的静态函数，打开一个文件的 IO 流就一句话，比Java的数据流包装简单：
val src = scala.io.Source.fromFile("E:/JavaObject/Url_Product_Classification.txt")
 得到数据IO流以后可以使用src.getLines()函数得到Iterator，后面就与J...

			
		

	



		

			
		



	

		

			

				
					
scala从服务器读取文件,Scala 读取文件

				
			

			

				

					weixin_39724441的博客
				

				

					08-12
					
					557
					
				

			

		

		

			
				
val lines = scala.io.Source.fromFile("file.txt").mkStringBy the way, "scala." isn't really necessary, as it's always in scope anyway, and you can, of course, import io's contents, fully or partially, ...

			
		

	





	

		

			

				
					
在 Scala 中读取整个文件

				
			

			

				

					weixin_43813200的博客
				

				

					07-25
					
					3929
					
				

			

		

		

			
				
Scala提供了一个类来读取名为Source的文件。我们调用Source类的fromFile()方法来读取文件的内容，包括文件名作为参数来读取文件的内容。方法逐行读取数据，然后进行相应的打印或处理。在Scala中方法1一次读取整个文件。在Scala中方法2逐行读取文件。首先，我们指定文件名及其完整路径。首先，我们指定文件名及其完整路径。方法将整个数据变成一个字符串。上面的代码读取了桌面文件夹中的。创建文件将被加载的源。创建文件将被加载的源。...

			
		

	





	

		

			

				
					
Scala中文件的读取、写入、控制台输入操作代码实战

				
			

			

				

					kxr0502的博客
				

				

					12-20
					
					3207
					
				

			

		

		

			
				
内容：
1、文件的读取、写入操作
2、控制台操作代码实战
    val file = Source.fromFile("E:\\WangJialin.txt") 
    for(line <-file.getLines){println(file)
        file.close
    }
1、读取E：\\Wangjialin.txt文本文件
其中Source.fromFil

			
		

	





	

		

			

				
					
Java，Scala - 使用代码统计hadoop中hdfs的文件大小以及文件夹大小

				
			

			

				

					慢慢来
				

				

					07-03
					
					6033
					
				

			

		

		

			
				
文章目录一些配置和前提说明hadoop的一些说明代码的一些说明pom.xml获取行数使用FileSystem获取文件行数使用spark获取hdfs 文件的条数获取大小第一种解决办法：使用getBytes()第二种解决办法：使用listStatus()简单的情况比较麻烦的情况第三种解决办法：使用getContentSummary()额外说点hadoop fs -dus 
      
     &nb

			
		

	





	

		

			

				
					
java 中Spark中将对象序列化存储到hdfs

				
			

			

				

					08-30
				

			

		

		

			
				
HDFS（Hadoop Distributed File System）是 Hadoop 中的一种分布式文件系统。它可以存储大量的数据，并提供高可扩展性和高可用性。在这篇文章中，我们使用 HDFS 来存储序列化后的对象。  知识点 3： Spark 中的 WORD...

			
		

	





	

		

			

				
					
scala从文件中读取数据、将数据写入文件

				
			

			

				

					W2398439780的博客
				

				

					02-22
					
					1095
					
				

			

		

		

			
				
调用scala.io中Source包下的fromFile方法，参数给路径，直接读取打印。scalaIO中并没有相关方法，直接调javaIO中方法。在resources目录下新建一个test.txt文件。新建一个maven项目，添加scala支持，

			
		

	





	

		

			

				
					
scala 读取txt文件的方法示例

				
			

			

				

					08-25
				

			

		

		

			
				
主要介绍了scala 读取txt文件的方法示例，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧

			
		

	





	

		

			

				
					
2.Scala读取文件和数据处理，Rdd,DataFrame,DataSet理解

				
			

			

				

					evilfft的博客
				

				

					07-23
					
					877
					
				

			

		

		

			
				
Rdd   :    算子，或者我们可以将其理解为一个数组(虽然它不是数组)，想象它就像一个长方形的容器，里面就单纯的存储着数据 DataFrame  :  将Rdd比作长方形的容器，DataFrame就是多个长方形的容器拼接组成，也就是将rdd加上表格化就是dataframeDataSet  :,DataSet有很多的类型，相当于是由rdd经过不同类型组合起来的，其中一种类型就是DataFrame, 及Dataset[Row]=DataFrame三者转换：scala读取Hadoop数据库 scala读取本

			
		

	





	

		

			

				
					
在Scala中读取整个文件？

				
			

			

				

					xfxf996的博客
				

				

					07-07
					
					920
					
				

			

		

		

			
				
What's a simple and canonical way to read an entire file into memory in Scala? 在Scala中将整个文件读入内存的简单和

			
		

	





	

		

			

				
					
Scala操作HDFS

				
			

			

				

					whgyxy的博客
				

				

					07-23
					
					2802
					
				

			

		

		

			
				
Scala操作HDFS
基本的HDFS操作包括：获取文件系统、检查文件是否存在、列举当前目录下的所有文件路径、列举当前目录下的所有文件名称、删除当前路径、创建新的路径
import org.apache.hadoop.conf
import org.apache.hadoop.conf.Configuration
import org.apache.hadoop.fs.{FileStatus, F...

			
		

	





	

		

			

				
					
Scala应用篇一：文件的读取（Source.fromFile/getLines/close/foreach）

				
			

			

				

					qq_50868643的博客
				

				

					03-29
					
					8297
					
				

			

		

		

			
				
一、文件的读取

如Java一般在我们使用特定的操作时需要调用某个包的某一个函数实现。在Scala里我们在读取文件时需要使用一个叫“scala.io.Source”的包，使用包中的一个叫fromFile的函数实现。现在上代码！！


import scala.io.Source
object no7{

  def main(args: Array[String]) {
    val filepath ="/home/hadoop/mydata/1.2.txt"
    val source = Sour

			
		

	





	

		

			

				
					
scala操作hdfs文件

				
			

			

				

					茂神的博客
				

				

					07-11
					
					4357
					
				

			

		

		

			
				
基本工具类：


package com.bdsoft.utils

import java.net.URI

import org.apache.hadoop.conf.Configuration
import org.apache.hadoop.fs.FileSystem


object BaseUtil {
  private var hdfs: FileSystem = _
  
  d...

			
		

	





	

		

			

				
					
Scala-scala文件读写

				
			

			

				

					文文x的博客
				

				

					06-16
					
					456
					
				

			

		

		

			
				
package com.scala.BlLx

import java.io.{File, PrintWriter}

import scala.io.Source

object FileIo {
  def main(args: Array[String]): Unit = {
    //从文件中读取数据
    //    Source.fromFile("D:\\IDEAproject\\scalaProject\\scala02\\src\\main\\resources\\testDate.t

			
		

	





	

		

			

				
					
使用scala读取HDFS中的文件内容

				
			

			

				

					weixin_45599745的博客
				

				

					11-20
					
					858
					
				

			

		

		

			
				
要从HDFS读取数据，首先需要建立与HDFS的连接。Scala提供了Hadoop相关的库，可以通过它们连接HDFS并执行各种文件操作。我们只需要将hadoop中的core-site.xml和hdfs-site.xml文件复制一份到工程的src的resource目录下即可~连接成功后，我们可以使用FileSystem对象从HDFS中读取文件。

			
		

	





	

		

			

				
					
scala 操作hdfs

				
			

			

				

					weixin_30900589的博客
				

				

					01-17
					
					272
					
				

			

		

		

			
				
获取hdfs文件下所有文件getAllFiles 遍历 spark读取
1 package com.spark.demo
 2 
 3 import java.io.IOException
 4 import java.net.URI
 5 
 6 import org.apache.hadoop.conf.Configuration
 7 import org.apache....

			
		

	





	

		

			

				
					
将excel文件重命名为csv文件,用spark读取乱码是因为啥

					
最新发布

				
			

			

				

					08-05
				

			

		

		

			
				
<think>我们正在解决Spark读取CSV文件时出现中文乱码的问题。根据引用内容，乱码的主要原因是文件编码与Spark默认的UTF-8编码不一致，例如文件可能是GBK或GB2312编码。

 解决方案总结：
 1. 在读取CSV文件时，通过`.option("encoding", "gbk")`（或其他正确编码）指定文件编码。
 2. 如果使用`spark.read.textFile`读取文本文件，也需要指定编码，但注意`textFile`方法没有直接提供设置编码的option，可能需要使用其他方式（如使用`spark.read.option("encoding", "gbk").text(path)`）。
 3. 如果上述方法无效，可以尝试使用Hadoop API读取，然后手动转换编码（如引用[4]所示）。

 具体步骤：

 方法一：使用Spark DataFrame API读取CSV时指定编码（推荐）
 ```scala
 val df = spark.read
   .option("header", "true")   // 如果第一行是标题
   .option("encoding", "gbk")  // 根据文件实际编码设置，如GBK, GB2312等
   .option("delimiter", ",")   // 分隔符，根据实际情况调整
   .csv("path/to/your/file.csv")
 ```

 方法二：读取文本文件（非结构化）时指定编码
 ```scala
 val textDF = spark.read
   .option("encoding", "gbk")
   .text("path/to/your/file.txt")
 ```

 方法三：使用Hadoop API读取并转换编码（当上述方法无效时）
 这种方法适用于需要逐行处理且编码问题复杂的情况。注意，这种方法会得到RDD，然后可以转换为DataFrame。

 ```scala
 import org.apache.hadoop.io.{LongWritable, Text}
 import org.apache.hadoop.mapreduce.lib.input.TextInputFormat
 import org.apache.spark.rdd.RDD

 // 使用newAPIHadoopFile读取，指定编码
 val rdd: RDD[String] = spark.sparkContext
   .newAPIHadoopFile(
     "path/to/your/file.csv",
     classOf[TextInputFormat],
     classOf[LongWritable],
     classOf[Text],
     spark.sparkContext.hadoopConfiguration
   )
   .map { case (_, text) => 
     // 这里将Text转换为String，并指定编码转换
     new String(text.getBytes, 0, text.getLength, "GBK")
   }

 // 将RDD转换为DataFrame
 val df = spark.createDataFrame(rdd.map(Tuple1.apply)).toDF("column_name")
 ```

 注意：在方法三中，我们通过`new String(text.getBytes, 0, text.getLength, "GBK")`将原始字节按指定编码转换为字符串。这里需要确保指定的编码与实际文件编码一致。

 为什么有时指定encoding选项无效？
 根据引用[4]中的描述，可能在某些情况下（如使用某些Hadoop版本或文件系统）Spark的CSV读取器对编码的支持不够好。此时使用Hadoop API直接读取并转换编码是更可靠的方法。

 另外，还需要注意：
 - 如果文件是BOM头（如UTF-8 with BOM），可能需要先去除BOM头，或者使用支持BOM的编码（如"UTF-8-BOM"），但Java标准库并不直接支持，可能需要手动处理前几个字节。
 - 如果文件混合了多种编码，则处理起来会更复杂，可能需要逐行判断或使用工具统一编码。

 建议：在读取前，尽量将文件转换为UTF-8编码（无BOM），这样可以避免很多编码问题。

 相关问题：
 1. Spark读取CSV文件时如何自动检测文件编码？
 2. 如何处理包含多种编码的CSV文件？
 3. 如何解决Spark读取Excel文件时的中文乱码问题？
 4. 如何将GBK编码的CSV文件批量转换为UTF-8编码？</think>### Spark 读取 CSV 文件乱码原因及解决方法

#### 一、乱码原因分析
1. **编码不匹配**（核心原因）  
   Spark 默认使用 `UTF-8` 编码读取文件，当 CSV 文件使用 `GBK`/`GB2312` 等中文编码时，会导致乱码[^1][^2][^3]。  
   $$ \text{乱码} = \text{解码器}(\text{GBK字节流} \mid \text{UTF-8规则}) $$

2. **Hadoop 配置问题**  
   某些 Hadoop 环境默认使用 `org.apache.hadoop.io.Text` 的默认编码（通常为 UTF-8），无法自动识别源文件编码[^4]。

3. **特殊字符处理**  
   包含 BOM 头（如 `EF BB BF`）或混合编码的文件可能导致解析异常。

---

#### 二、解决方案（按优先级排序）

##### ✅ 方案1：直接指定编码（推荐）
在 `spark.read` 时显式声明文件编码：
```scala
// Scala 示例
val df = spark.read
  .option("header", "true")        // 包含标题行
  .option("encoding", "gbk")       // ⭐关键参数：指定GBK编码
  .option("delimiter", ",")        // 分隔符（根据实际情况调整）
  .csv("hdfs:///path/to/file.csv")
```

```python
# PySpark 示例
df = spark.read \
    .option("header", "true") \
    .option("encoding", "gbk") \   # 关键参数
    .option("sep", ",") \
    .csv("hdfs:///path/to/file.csv")
```

##### ✅ 方案2：使用二进制读取 + 手动解码
当方案1失效时（如旧版本 Spark），使用 Hadoop API：
```scala
import org.apache.hadoop.io.{LongWritable, Text}
import org.apache.spark.rdd.RDD

val rawRDD: RDD[String] = spark.sparkContext
  .hadoopFile("hdfs:///path.csv", classOf[TextInputFormat], classOf[LongWritable], classOf[Text])
  .map { case (_, text) => 
    new String(text.getBytes, 0, text.getLength, "GBK") // ⭐手动GBK解码
  }

// 转换为DataFrame
val df = spark.read.option("delimiter", ",").csv(rawRDD.toDS())
```

##### ✅ 方案3：全局编码配置（集群环境）
在 `spark-submit` 中设置默认编码：
```bash
spark-submit \
  --conf spark.hadoop.hadoop.tmp.dir=/tmp \
  --conf spark.hadoop.mapreduce.input.fileinputformat.input.dir.recursive=true \
  --conf spark.hadoop.fs.file.impl.disable.cache=true \
  --conf spark.hadoop.fs.defaultFS=hdfs://cluster \
  --conf spark.executor.extraJavaOptions="-Dfile.encoding=GBK" \  # ⭐全局编码
  --conf spark.driver.extraJavaOptions="-Dfile.encoding=GBK" \
  your_app.jar
```

---

#### 三、编码检测技巧
1. **Linux 文件编码检测**  
   ```bash
   file -i input.csv  # 输出示例：input.csv: text/plain; charset=gbk
   ```
   
2. **Python 自动检测**  
   ```python
   import chardet
   with open("local.csv", "rb") as f:
       result = chardet.detect(f.read(10000))
   print(result["encoding"])  # 输出：GBK
   ```

---

#### 四、避免 BOM 问题
在方案2基础上添加 BOM 头处理：
```scala
rawRDD.map { line =>
  if(line.startsWith("\uFEFF")) line.substring(1)  // 移除UTF-8 BOM头
  else line
}
```

---

#### 五、根本解决方案建议
1. **源文件转码**：  
   使用 `iconv` 批量转换编码（适合静态数据）：
   ```bash
   iconv -f GBK -t UTF-8 source.csv > target_utf8.csv
   ```
2. **统一数据管道**：  
   在数据接入层强制所有 CSV 转为 UTF-8 编码存储（推荐生产环境使用）。

---

### 相关问题
1. Spark 读取 JSON 文件时出现乱码如何解决？  
2. 如何批量检测 HDFS 上文件的编码类型？  
3. Spark 读取 Excel 文件时如何避免中文乱码？  
4. 分布式环境下如何统一所有节点的文件编码配置？[^2][^3]

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

  
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值