Spark基础知识系列一（从hdfs获取文件）

最新推荐文章于 2025-06-07 14:09:32 发布

walker_storage

最新推荐文章于 2025-06-07 14:09:32 发布

阅读量3.6k

点赞数

CC 4.0 BY-SA版权

分类专栏： Spark 文章标签： spark

本文链接：https://blog.youkuaiyun.com/microsoft2014/article/details/68216918

Spark 专栏收录该内容

6 篇文章

订阅专栏

本文介绍如何使用Apache Spark从HDFS中读取文件，并通过简单的文本处理来演示基本操作，如过滤包含特定字符的行并计数。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Spark获取文件

spark可以从本地，hdfs文件系统，s3，及hadoop支持的文件系统获取文件。从本地：file:///usr/local/xx.txt.

import org.apache.spark.{SparkConf, SparkContext}

/**
  * Created by Damon on 3/29/17.
  */
object HelloScala {
  def main(args: Array[String]): Unit = {
    val logFile ="hdfs://localhost:9000/user/spark/word.txt" // Should be some file on your system
    val conf = new SparkConf().setAppName("Simple Application")
    val sc = new SparkContext(conf)
    val logData = sc.textFile(logFile, 2).cache()
    val numAs = logData.filter(line => line.contains("a")).count()
    val numBs = logData.filter(line => line.contains("b")).count()
    println("Lines with a: %s, Lines with b: %s".format(numAs, numBs))
  }
}