spark统计文件行数

最新推荐文章于 2023-11-19 22:41:18 发布

风筝中有风

最新推荐文章于 2023-11-19 22:41:18 发布

阅读量1w

点赞数 1

CC 4.0 BY-SA版权

分类专栏： Spark 大数据

本文链接：https://blog.youkuaiyun.com/Fighingbigdata/article/details/78971177

本文记录了使用Spark在IntelliJ IDEA中复习Spark基础知识的过程，特别是如何统计HDFS上的文件行数。作者提醒注意Spark版本和Scala版本的匹配，以及在分布式环境下本地文件可能无法被所有执行节点访问的问题，建议将文件上传到HDFS。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

虽然接触大数据2年了，以前对spark使用都是和solr建索引任务，由于目前的工作很少涉及spark了，为了不遗忘，从头开始复习一下spark，不同的是这次记录下来，一来方便自己查阅，二来对于刚入门的同行也算个案例。PS.高手勿喷

1、spark读取文件，统计行数

Intellj idea 开发工具环境就不在介绍了，网上很多教程，唯一需要注意的是你的spark或者scala版本与本地一致即可。

我这里的spark 2.0.0 scala 2.10.6

package com.kite.spark.demo

import org.apache.spark.{SparkConf, SparkContext}

/**
  * Created by z.guang on 2018/1/4.
  * ./spark-submit --master spark://xxx:7077 --executor-memory 1G --executor-cores 4 --class com.kite.spark.demo.SparkDemo /home/hdfs/test/sparkdemo/SparkLearningDemo.jar /user/spark/samples/word_sparkexample.txt > sparkdemo.log
  */
object SparkDemo {

  def main(args: Array[String]): Unit = {
    //设置spark的序列号方式
    System.setProperty("spark.serializer","org.apache.spark.serializer.KryoSerializer")
    //初始化spark
    val conf = new SparkConf().setAppName("SparkDemo")
    val sc = new SparkContext(conf)

    val fileRdd = sc.textFile(args(0))
    println(args(0)