Spark 阶段总结 1

最新推荐文章于 2024-04-18 15:00:20 发布

原创最新推荐文章于 2024-04-18 15:00:20 发布 · 673 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#spark

大数据专栏收录该内容

6 篇文章

订阅专栏

1. 概述

本文描述的是 spark 学习的第一阶段知识点，包括spark 下载安装、IDE 下载与编译，以及spark 程序在虚拟机环境中的部署与运行。

2. 安装准备

下载安装spark 之前，需要在虚拟机中先安装配置好 HADOOP，具体安装HADOOP 的方法，可参考下面的链接。

参考链接

HADOOP 安装： http://www.iteye.com/topic/1135085

3. Spark安装

首先需要下载 spark，官网上只有 spark 的源码，bin 需要自己编译，我在虚拟机中编译没成功，就在别的网站直接下来了 bin 来使用。

然后就是安装spark 了，具体可看参考书或者网上教程。

需要注意的是，spark 在虚拟机中运行很吃内存和硬盘，运行 ./spark-shell 时经常会出错，启动时间也非常长，需要一点耐心。

参考链接

Spark 官网： http://spark.apache.org/downloads.html

Bin 下载： http://mirror.bit.edu.cn/apache/spark/

安装教程：http://www.aboutyun.com/thread-8160-1-1.html

4. IDE安装

参考书中推荐的IDE 是 IntelliJIDEA，它有免费版可在其官网直接下载。

Windows 下 IDEA 的安装可参考如下链接，不过，链接中的例子我没跑通，我用的是自己写的测试程序来编译测试的。

参考代码

package com.sparkTest

import org.apache.spark.{SparkContext, SparkConf}
import org.apache.spark.SparkContext._

/** Computes an approximation to pi */
object SparkPi {
def main(args:Array[String]) {
    val conf =new SparkConf().setAppName("Spark Pi")
    val sc = new SparkContext(conf)
    val file =sc.textFile("hdfs://localhost:9000/user/root/README.md")
    val spark= file.filter(line => line.contains("Spark"))
    println("leon's first spark app : " + spark.count())
    sc.stop()
}
}