Spark的DEMO演示

Spark编程入门:Python与Scala实战DEMO
本文通过Python和Scala两个版本的实例,演示了Spark的基本操作,包括环境搭建、Maven工程配置、主函数创建以及如何提交Spark任务。

Python版本筛选的例子

>>> lines = sc.textFile("../README.md")
>>> pythonLines = lines.filter(lambda line:"Python" in line)
>>> pythonLines.first()
u'high-level APIs in Scala, Java, Python, and R, and an optimized engine that'

Scala版本筛选的例子

scala> var lines = sc.textFile("../README.md")
var phythonLines = lines.filter(line => line.contains("Python"))
scala> phythonLines.first()
res1: String = high-level APIs in Scala, Java, Python, and R, and an optimized engine that

创建一个应用放在spark环境运行

首先建一个maven工程,在pom.xml中引入以下包

<dependency> <!-- Spark dependency -->
      <groupId>org.apache.spark</groupId>
      <artifactId>spark-sql_2.12</artifactId>
      <version>2.4.3</version>
      <scope>provided</scope>
    </dependency>

新建一个main函数

import org.apache.spark.sql.Dataset;
import org.apache.spark.sql.SparkSession;

public class SimpleApp {
    public static void main(String[] args) {
        String logFile = "./README.md"; // Should be some file on your system
        SparkSession spark = SparkSession.builder().appName("Simple Application").getOrCreate();
        Dataset<String> logData = spark.read().textFile(logFile).cache();

        long total = logData.count();

        System.out.println("总行数: " + total);

        spark.stop();
    }
}

在工程目录下执行

mvn package

执行spark提交任务命令

spark-submit \
--class com.spark.demo.SimpleApp \
--master local \
./target/sparkdemo-1.0.0.jar \
./README.md ./wordcounts

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值