太多的虚幻

Apache Hadoop: 是Apache开源组织的一个分布式计算开源框架，提供了一个分布式文件系统子项目(HDFS)和支持MapReduce分布式计算的软件架构。 Apache Pig: 是一个基于Hadoop的大规模数据分析工具，它提供的SQL-LIKE语言叫Pig Latin，该语言的编译器会把类SQL的数据分析请求转换为一系列经过优化处理的MapReduce运算。 Ap

http://mirror.bit.edu.cn/apache/hadoop/common/

首先安装jdk设置环境变量下载hadoop修改profile，增加HADOOP_HOME修改hadoop下的4个文件hadoop-env.sh export JAVA_HOME=../../../../home/briup/jdk1.7core-site.xml<property> <name>hadoop.tmp.dir</name> <value>/hadoop<

这里使用IDEA创建项目，其次，在setting-plugins中查找并安装插件Scala开始创建项目 配置sbtname := "spark01"version := "1.0"scalaVersion := "2.11.7"libraryDependencies ++= Seq( "org.apache.spark" %% "spark-core" % "2.0.2")编写代码

启动master./sbin/start-master.sh启动worker./bin/spark-class org.apache.spark.deploy.worker.Worker spark://briup-virtual-machine:7077 提交作业./bin/spark-submit --master spark://briup-virtual-machine:7077