IDEA读取本地文件进行处理的方式

本文链接：https://blog.youkuaiyun.com/legotime/article/details/51039452

本文详细介绍了如何使用 Spark 进行 WordCount 操作，包括配置环境、编写代码及运行流程，并通过实例展示了具体应用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

第一种方式：

利用main中参数args方式，程序如下：

package algorithm
import org.apache.spark.{SparkContext, SparkConf}

object WordCount {
  def main(args: Array[String]) {
    //第一步：spark运行的环境，这个是必须的步骤
    val conf = new SparkConf().setAppName("WordCount").setMaster("local[2]")
    //第二步：创建SparkContext，它是spark程序的唯一入口
    val sc = new SparkContext(conf)

    val count=sc.textFile(args(0)).filter(line => line.contains("Spark")).count()
    //val count = sc.textFile("E://软件//BigData//spark-1.6.0-bin-hadoop2.6//spark-1.6.0-bin-hadoop2.6//README.md ").filter{
    //  line =>line.contains("Spark")
   // }.count()
    //打印结果
    println("count="+count)
    //结束进程
    sc.stop()
  }
}