Spark1.6.0 Hadoop2.6.0 单机win7下配置（Intellij IDEA）

最新推荐文章于 2019-05-23 17:11:21 发布

原创

最新推荐文章于 2019-05-23 17:11:21 发布 · 4.7k 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#spark #hadoop #Intellij #idea #win7

本文详细介绍了在Windows 7环境下，如何使用Intellij IDEA配置Spark 1.6.0与Hadoop 2.6.0的步骤，包括下载对应版本的IDEA、Scala、Spark和Hadoop，配置环境变量，以及在IDEA中添加依赖，并进行了SparkPI测试。

1. 首先需要注意的

Scala版本要与Spark相应版本对应
比如Spark1.6.0，官网上给出了依赖
Spark runs on Java 7+, Python 2.6+ and R 3.1+. For the Scala API, Spark 1.6.0 uses Scala 2.10. You will need to use a compatible Scala version (2.10.x).

否则会报错

Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.refArrayOps([Ljava/lang/Object;)Lscala/collection/mutable/ArrayOps;

2. 下载Intellij IDEA

下载后只需要注意两点

安装scala插件
新建工程的时候，选择正确的scala版本，如果如果没有，creat一个

3. 下载spark-1.6.0-bin-hadoop2.6

下载地址：

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

zekizz

关注关注

3
点赞
踩
5

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

spark 2.1.1安装（hadoop 2.6.0）

lovebomei的博客

09-13

1686

　spark分布式搭建方式大致分为三种：standalone、yarn、mesos。三种分类的区别这里就不一一介绍了，不明白可自行了解。standalone是官方提供的一种集群方式，企业一般不使用。yarn集群方式在企业中应用是比较广泛的，这里也是介绍yarn的集群安装方式。mesos安装适合于超大型集群。...

基于Intellij IDEA的Spark(Scala)开发

Charles.L的博客

09-28

909

一、实验预备环境： 1.JDK1.8.0 2.Windows 7 64位系统二、准备工具： 1.Intellij IDEA 2017.2.5 Ultimate版 2.Scala 2.10 3.spark-1.6.0-bin-hadoop2.6 三、主要步骤： 1.安装spark； 2.安装scala； 3.安装IDEA； 4.编写一个scala程序。四、详细过程： 1...

参与评论您还未登录，请先登录后发表或查看评论

spark-assembly-1.6.1-hadoop2.6.0.jar

06-11

spark-assembly-1.6.1-hadoop2.6.0.jar,欢迎下载，，，，，，，，，，，，，，，，，，，，

spark-assembly-1.6.0-cdh5.9.2-hadoop2.6.0-cdh5.9.2.jar

05-24

spark-assembly-1.6.0-cdh5.9.2-hadoop2.6.0-cdh5.9.2.jar

scala eclipse导入spark-assembly-1.6.0-hadoop2.6.0.jar工程出现红色叉

热门推荐

BrotherDong90的专栏

04-20

1万+

今天在用eclipse编写spark代码的时候发现只要是导入了spark-assembly-1.6.0-hadoop2.6.0.jar就报错，不能编译运行了。也没查到资料，突然想起来Spark1.6.0官网上的包好像是基于scala2.10编译好的。如果scala2.11需要自己编译。我下载的是编译好的。然后工程上右键->Properties->scala Compiler-然后调成2.10，然后

重新编译spark1.6 增加spark-sql适配CDH，成功生成的spark-assembly-1.6.0-cdh5.16.1-hadoop2.6.0-cdh5.16.1.jar包

qq_28156035的博客

04-19

1089

这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Ma...

IntelliJ IDEA开发与运行Spark程序入门指南

在本项目中，提到“项目中缺这个包，请读者自行补上，在SPARK_HOME/lib下面有spark-assembly-1.6.0-hadoop2.6.0”，这揭示了一个重要的历史背景：在Spark 1.x版本时期，官方提供了名为`spark-assembly`的JAR包，它是...

IntelliJ Idea开发spark程序及运行

08-25

IntelliJ Idea开发spark程序及运行文章的源码，程序简单入门。项目中缺这个包，请读者自行补上，...spark-assembly-1.6.0-hadoop2.6.0 代码指导文章地址： http://blog.csdn.net/jameshadoop/article/details/52313229

使用IntelliJ IDEA配置Spark应用开发环境及源码阅读环境

蓁蓁尔的博客

10-19

3389

在本地搭建好Spark 1.6.0后，除了使用官方文档中的sbt命令打包，spark-submit提交程序外，我们可以使用IntelliJ IDEA这个IDE在本地进行开发调试，之后再将作业提交到集群生产环境中运行，使用IDE可以提升我们的开发效率。转载请注明博客原文地址：http://blog.tomgou.xyz/shi-yong-intellij-ideapei-zhi-sparkying-y

spark 1.6.0 安装与配置（spark1.6.0、Ubuntu14.04、hadoop2.6.0、scala2.10.6、jdk1.7）

weixin_30606461的博客

12-06

271

前几天刚着实研究spark，spark安装与配置是入门的关键，本人也是根据网上各位大神的教程，尝试配置，发现版本对应最为关键。现将自己的安装与配置过程介绍如下，如有兴趣的同学可以尝试安装。所谓工欲善其事必先利其器，下面咱们将进入安装教程。 2016-12-06 10:17:07 环境本教程使用了Ubuntu 14.04 64位作为系统环境，用到的安装程序有：jdk 1.7、spark-1...

spark-assembly-1.5.2-hadoop2.6.0jar包

08-14

使用scala开发spark应用时用到的jar包：spark-assembly-1.5.2-hadoop2.6.0jar包

spark-assembly-1.5.2-hadoop2.6.0.jar

05-02

spark-assembly-1.5.2-hadoop2.6.0.jar 在编写spark程序是需要用到

spark-1.6.0-bin-hadoop2.6.tgz

07-13

linux中搭建spark环境使用的spark-1.6.0-bin-hadoop2.6.tgz安装包

spark-assembly-1.5.0-hadoop2.6.0jar包

08-11

spark-assembly-1.5.0-hadoop2.6.0jar包，本地开发Spark应用必须要用到的jar包

spark1.6.0搭建（基于hadoop2.6.0分布式）

天高任鸟飞，海阔凭鱼跃

01-24

323

本文是基于hadoop2.6.0的分布式环境搭建spark1.6.0的分布式集群。 hadoop2.6.0分布式集群可参考：[url]http://kevin12.iteye.com/blog/2273532[/url] 1.解压spark的包，tar -zxvf spark-1.6.0-bin-hadoop2.6.tgz，并将其移到/usr/local/spark目录下面；在~/.bas...

spark1.6.0+Hadoop2.6.0+Scala-2.11.7 搭建分布式集群

积微致著

04-09

2216

昨天又捣鼓了一下，网上有些写得很不错的教程，自己经过尝试后觉得需要整理一下。 spark的运行模式有多种(见官网和Spark的Standalone模式安装部署): local(本地模式)：常用于本地开发测试，本地还分为local单线程和local-cluster多线程; standalone(集群模式)：典型的Mater/slave模式，不过也能看出Master是有单点故障的；Spark支持Zoo

hadoop2.6.0伪分布式+spark1.6.0配置记录

o1101574955的专栏

06-01

1082

1、hdfs-site.xml文件： dfs.name.dir /spark/hadoop-2.6.0/tmp/dfs/name #只需要手动创建/spark/hadoop-2.6.0/tmp目录就好 dfs.data.dir /spark/hadoop-2.6.0/tmp/dfs/data #只需要

spark-1.6.0-cdh5.8.3安装

monitor_bird的博客

05-23

670

下载tar包： spark-1.6.0-cdh5.8.3.tar.gz scala-2.11.7.tgz scala安装：将scala下载到/usr/scala中并解压在/etc/profile export SCALA_HOME=/usr/scala/scala-2.11.7 并将scala的path添加到环境变量中进入到/usr/bin目录中并建立软连接:ln -s /usr/scal...