Spark hello word(加载本地文件和加载hdfs文件)

本文介绍如何使用Spark加载本地文件系统及HDFS中的文件,并演示了从这些位置读取文件的具体步骤,同时展示了如何将处理后的结果保存回本地或HDFS。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

本节内容主要完成:
使用sparkshell记载本地文件和hdfs文件

spark处理的文件可能存在于本地文件系统中,也可能存在分布式文件系统中

本地文件加载

创建一个测试文件

[root@sandbox home]# cd /home/guest/

// 在guest 目录下创建一个文件夹
[root@sandbox guest]# mkdir erhuan
// 在 新建的文件夹中创建一个测试文件
[root@sandbox guest]# cd erhuan/
[root@sandbox erhuan]# vi hellospark

启动sparkshell

[root@sandbox erhuan]# spark-shell
Spark assembly has been built with Hive, including Datanucleus jars on classpath
17/04/12 14:45:41 INFO SecurityManager: Changing view acls to: root
17/04/12 14:45:41 INFO SecurityManager: Changing modify acls to: root
17/04/12 14:45:41 INFO SecurityManager: SecurityManager: authentication disabled; ui acls disabled; users with view permissions: Set(root); users with modify permissions: Set(root)
17/04/12 14:45:41 INFO HttpServer: Starting HTTP Server
17/04/12 14:45:41 INFO Utils: Successfully started service 'HTTP class server' on port 47623.
Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /___/ .__/\_,_/_/ /_/\_\   version 1.2.1
      /_/

// 省略一堆输出

加载本地文件

Spark context available as sc.
//使用sc.textFile()方法记载文件
scala>  val textFile = sc.textFile("file:///home/guest/erhuan/hellospark")

// 省略一堆输出
textFile: org.apache.spark.rdd.RDD[String] = file:///home/guest/erhuan/hellospark MappedRDD[1] at textFile at <console>:12
//执行一次action操作
scala> textFile.first()
// 省略一堆输出
17/04/12 14:53:27 WARN DomainSocketFactory: The short-circuit local reads feature cannot be 
17/04/12 14:53:27 INFO DAGScheduler: Job 0 finished: first at <console>:15, took 0.306226 s
res0: String = this is a hello word txt
// spark 会记录之前所有的动作但是并不会进行操作,执行action动作后才会启动之前的操作

将结果保存到本地
scala> textFile.saveAsTextFile("file:///home/guest/erhuan/wordres")
17/04/12 14:59:31 INFO DefaultExecutionContext: Starting job: saveAsTextFile at <console>:15
17/04/12 14:59:31 INFO DAGScheduler: Got job 6 (saveAsTextFile at <console>:15) with 2 output partitions (allowLocal=false)
// 省略一堆输出

退出spark-shell,查看"/home/guest/erhuan/hellospark"文件夹下面内容

//退出spark-shell
scala> exit
[root@sandbox erhuan]# cd wordres/
[root@sandbox wordres]# ll
total 4
-rw-r--r-- 1 root root 25 2017-04-12 14:59 part-00000
-rw-r--r-- 1 root root  0 2017-04-12 14:59 part-00001
-rw-r--r-- 1 root root  0 2017-04-12 14:59 _SUCCESS
[root@sandbox wordres]# more part-00000
this is a hello word txt
// 完成spark 对本地文件的加载和写入

加载hdfs文件

//首先向文件拷贝到hdfs上,避免权限问题将 先将文件拷贝到tmp目录下
[root@sandbox tmp]# mv /home/guest/erhuan/hellospark /tmp
[hdfs@sandbox tmp]$ hadoop fs -mkdir -p /user/erhuan
[hdfs@sandbox tmp]$ hadoop fs -put /tmp/hellospark /user/erhuan
//创建一个文件夹然后将本地文件推到hdfs上
[root@sandbox erhuan]# spark-shell
Spark assembly has been built with Hive, including Datanucleus jars on classpath
17/04/12 14:45:41 INFO SecurityManager: Changing view acls to: root
17/04/12 14:45:41 INFO SecurityManager: Changing modify acls to: root
17/04/12 14:45:41 INFO SecurityManager: SecurityManager: authentication disabled; ui acls disabled; users with view permissions: Set(root); users with modify permissions: Set(root)
17/04/12 14:45:41 INFO HttpServer: Starting HTTP Server
17/04/12 14:45:41 INFO Utils: Successfully started service 'HTTP class server' on port 47623.
Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /___/ .__/\_,_/_/ /_/\_\   version 1.2.1
      /_/

// 省略一堆输出

加载HDFS文件

Spark context available as sc.
//使用sc.textFile()方法记载文件
scala> val textFile = sc.textFile("/user/erhuan/hellospark")
17/04/12 15:33:29 INFO MemoryStore: ensureFreeSpace(277063) called with curMem=684755, // //省略一堆输出

// 执行一次action 查看是否执行成功
scala> textFile.first()
// 省略一堆输出
17/04/12 15:33:32 INFO DAGScheduler: Job 0 finished: first at <console>:15, took 0.543566 s
res3: String = this is a hello word txt

//写入回来

scala> textFile.saveAsTextFile("/user/erhuan/res")
17/04/12 15:36:34 INFO DefaultExecutionContext: Starting job: saveAsTextFile at <console>:15
17/04/12 15:36:34 INFO DAGScheduler: Got job 1 (saveAsTextFile at <console>:15) with 2 output partitions (allowLocal=false)
// 省略一堆输出

//退出spark-shell
//查看结果
[hdfs@sandbox tmp]$ hadoop fs -ls /user/erhuan/res
Found 3 items
-rw-r--r--   1 hdfs hdfs          0 2017-04-12 15:36 /user/erhuan/res/_SUCCESS
-rw-r--r--   1 hdfs hdfs         25 2017-04-12 15:36 /user/erhuan/res/part-00000
-rw-r--r--   1 hdfs hdfs          0 2017-04-12 15:36 /user/erhuan/res/part-00001
[hdfs@sandbox tmp]$ hadoop fs -cat /user/erhuan/res/part-00000
this is a hello word txt
### 回答1: Spark可以通过以下两种方式读取本地文件HDFS文件: 1. 读取本地文件 可以使用SparkContext的textFile()方法读取本地文件,例如: ``` val sc = new SparkContext("local", "read local file") val rdd = sc.textFile("file:///path/to/local/file") ``` 其中,"file://"表示读取本地文件,"/path/to/local/file"是本地文件的路径。 2. 读取HDFS文件 可以使用SparkContext的textFile()方法读取HDFS文件,例如: ``` val sc = new SparkContext("local", "read hdfs file") val rdd = sc.textFile("hdfs://namenode:port/path/to/hdfs/file") ``` 其中,"hdfs://"表示读取HDFS文件,"namenode"是HDFS的名称节点,"port"是HDFS的端口号,"/path/to/hdfs/file"是HDFS文件的路径。 ### 回答2: Spark是一个开源的分布式计算引擎,可以快速处理大量数据。Spark可以读取本地文件HDFS文件,下面分别介绍一下。 1、读取本地文件 Spark可以通过本地文件系统读取文件,可以使用以下代码: val inputFile = "file:///path/to/file" val data = sc.textFile(inputFile) 其中,inputFile是要读取的文件的路径,可以是绝对路径或相对路径。file://表示文件协议,可以在路径前加上file://来指定文件协议。sc是SparkContext对象,用于与Spark集群进行通信。 2、读取HDFS文件 Spark也可以通过Hadoop分布式文件系统(HDFS)读取文件,可以使用以下代码: val inputFile = "hdfs://namenode:port/path/to/file" val data = sc.textFile(inputFile) 其中,inputFile是要读取的文件的路径,namenode是HDFS的名称节点,port是HDFS的端口号,可以在路径前加上hdfs://来指定HDFS协议。 需要确保Spark集群HDFS集群之间的网络连接是可用的。如果Hadoop配置过程中设置了HADOOP_CONF_DIR环境变量,则Spark会自动加载Hadoop配置文件,否则需要在SparkConf对象中指定Hadoop配置文件的路径。 以上是关于Spark读取本地文件HDFS文件的介绍,Spark可以快速处理大规模数据,有很好的分布式计算能力。如果想进一步学习Spark,可以深入研究RDD、DataFrame、Spark SQL等模块,掌握Spark的高级功能。 ### 回答3: Spark是一个广泛使用的分布式计算引擎,支持从本地磁盘读取文件从分布式文件系统HDFS读取文件。本文将详细介绍Spark如何读取本地文件HDFS文件。 1. 读取本地文件Spark中,可以使用以下语句读取本地文件: ``` val textFile = spark.read.textFile("file:///path/to/your/local/file") ``` 其中,"file://"是协议头,表示文件协议,"path/to/your/local/file"是本地文件的路径。在实际应用中,可以使用绝对路径或相对路径。 2. 读取HDFS文件 读取HDFS文件需要先在Spark环境中配置Hadoop的相关参数。在Spark程序中配置Hadoop参数可以通过以下两种方式: (1) 通过SparkConf配置 ``` val conf = new SparkConf().setAppName("ReadHdfsFile") conf.set("fs.defaultFS", "hdfs://namenode:9000") val sc = new SparkContext(conf) val textFile = sc.textFile("hdfs://namenode:9000/path/to/your/hdfs/file") ``` 其中,fs.defaultFS是Hadoop文件系统的默认URI,用于在Hadoop集群中访问HDFS文件。本例中,将fs.defaultFS设置为"hdfs://namenode:9000",其中namenode代表的是HDFS的名称节点的主机名,9000是HDFS的默认端口。 (2)spark-defaults.conf或yarn-site.xml文件中添加参数 在spark-defaults.conf中添加: ``` spark.hadoop.fs.defaultFS hdfs://namenode:9000 ``` 在yarn-site.xml中添加: ``` <property> <name>yarn.resourcemanager.hostname</name> <value>node1</value> </property> ``` 通过以上配置,我们就可以通过以下代码在Spark中读取HDFS文件: ``` val textFile = spark.read.textFile("hdfs://namenode:9000/path/to/your/hdfs/file") ``` 以上就是Spark读取本地文件HDFS文件的方法。无论是读取本地文件还是读取HDFS文件Spark都提供了简便、高效的接口,使开发人员能够轻松地处理大量数据,进行分布式计算。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值