海豚调度器初次使用 .......

黄瓜炖啤酒鸭

于 2021-09-08 11:09:46 发布

阅读量3.8k

点赞数

分类专栏： spark 文章标签： spark big data 海豚调度器 dolphin Scheduler

本文链接：https://blog.youkuaiyun.com/qq_31866793/article/details/120175636

版权

本文档介绍了如何使用海豚调度器首次运行Spark的WordCount案例，包括代码编写、jar包上传、任务执行、任务查询等步骤。重点强调了配置Spark环境变量以及理解海豚调度器中主程序参数、选型参数和自定义参数的区分。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一，部署部分省略，官网有详细的教程，顺着步骤做就好了。

二，先说说调用spark运行wordcount案例流程

1，编写代码

package com.sjb.example


import org.apache.log4j.Logger
import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.sql.SparkSession


 //  com.sjb.example.WordCount
object WordCount {
   var LOGGER:Logger = Logger.getLogger(WordCount.getClass)
  def main(args: Array[String]): Unit = {
//    val wordFile = "file:\\C:\\Users\\Administrator\\Desktop\\test.txt"
//    val wordFile = "file:/wyyt/software/flink-1.11.2/test.txt"
//    val wordFile = "/spark/test/data/test.txt"
    val wordFile = "/dolphinscheduler/test/resources/spark_jar/word.txt"
    System.setProperty("HADOOP_USER_NAME", "hive")
//    System.setProperty("HADOOP_USER_NAME", "test")
//    System.setProperty("HADOOP_USER_NAME", "dolphinschedu

最低0.47元/天解锁文章