spark1.6.1及scala2.11.8安装配置

我就是喜欢我话多 我就是喜欢我话多 博客等级 墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 2k累计阅读 2.1k平均单平台 已同步平台 优快云 微信公众号 微博 知乎 掘金 百家号 博客园 抖音 小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网 我也要 码龄11年
关注
原创 最新推荐文章于 2026-03-25 01:25:57 发布 2k 阅读 AI 写同款· GEO 优化 ›
最新版scala2.11.8与spark1.6.1一步到位安装 一，scala安装： 先到官网下载一个scala的压缩包，它没有过多的要求，然后在Linux下按照如下步骤操作： 1，解压包： hadoop@master:/mysoftwaretar−zxvfscala−2.11.8.tgz2，配置环境变量（我在两份文件里面都配了）：hadoop@master:  tar -zxvf scala-2.11.8.tgz 2 阅读详情

首先，安装spark之前需要安装配置的软件有：JDK，Scala,ssh,Hadoop这些开发平台的安装配置在我之前的博客中都有详细的攻略，需要的请去看看。
hadoop安装配置

再此提一句，无论是hadoop，hbase，hive，spark都是需要版本适配的，不然就会多很多步的不必要操作，版本的适配官网上都有，这里写者是使用：jdk1.7+hadoop2.6.4+scala2.11.8+spark1.6.1。

由于spark的内核是scala，所以使用spark之前，必先安装scala，那么废话不多说，开始安装。

scala安装配置

  1. 解压scala-2.11.8.tgz

hadoop@master:/software/spark-1.6.1-bin-hadoop2.6$ cd ~
hadoop@master:~$ cd Downloads/ hadoop@master:~/Downloads$ ls

apache-hive-2.0.0-bin.tar.gz scala-2.11.8.tgz hadoop-2.6.4.tar.gz
spark-1.6.1-bin-hadoop2.6.tgz hbase-1.2.1-bin.tar.gz
zookeeper-3.5.0-alpha.tar.gz jdk-7u80-linux-x64.tar.gz
hadoop@master:~/Downloads$ cd /software/ hadoop@master:/software$ tar
-zxvf scala-2.11.8/

2.配置环境变量

hadoop@master:/software$ sudo gedit /etc/profile

里面添加
export SCALA_HOME=/software/scala-2.11.8
export PATH=$SCALA_HOME/bin:$PATH

hadoop@master:/software$ source /etc/profile

3.启动及验证

hadoop@master:/software$ scala
Welcome to Scala 2.11.8 (Java HotSpot(TM) 64-Bit Server VM, Java 1.7.0_80).
Type in expressions for evaluation. Or try :help.

scala> 8*8
res0: Int = 64

scala> ;

安装spark

  1. 解压spark-1.6.1-bin-hadoop2.6.tgz

hadoop@master:/software$ tar -zxvf ~/Downloads/spark-1.6.1-bin-hadoop2.6.tgz

2.配置环境变量

sudo gedit /etc/profile
export SPARK_HOME=/software/spark-1.6.1-bin-hadoop2.6
export PATH=$SPARK_HOME/bin:$PATH

hadoop@master:/software$ source /etc/profile

3.修改spark-env.sh

hadoop@master:~$ cd /software/spark-1.6.1-bin-hadoop2.6/conf/
hadoop@master:/software/spark-1.6.1-bin-hadoop2.6/conf$ ls
Docker.properties.template metrics.properties.template
spark-env.sh.template fairscheduler.xml.template slaves.template
log4j.properties.template spark-defaults.conf.template
hadoop@master:/software/spark-1.6.1-bin-hadoop2.6/conf$ cp
spark-env.sh.template spark-env.sh
hadoop@master:/software/spark-1.6.1-bin-hadoop2.6/conf$ sudo gedit
spark-env.sh

加入
export SCALA_HOME=/software/scala-2.11.8
export JAVA_HOME=/software/jdk1.7.0_80

export SPARK_MASTER_IP=master
export SPARK_WORKER_MEMORY=512m
export master=spark://master:7070

修改slaves
hadoop@master:/software/spark-1.6.1-bin-hadoop2.6/conf$ cp slaves.template slaves
hadoop@master:/software/spark-1.6.1-bin-hadoop2.6/conf$ sudo gedit slaves

loaclhost改为master

4.启动spark

hadoop@master:/software/spark-1.6.1-bin-hadoop2.6$ sbin/start-all.sh
starting org.apache.spark.deploy.master.Master, logging to
/software/spark-1.6.1-bin-hadoop2.6/logs/spark-tg-org.apache.spark.deploy.master.Master-1-master.out
master: starting org.apache.spark.deploy.worker.Worker, logging to
/software/spark-1.6.1-bin-hadoop2.6/logs/spark-tg-org.apache.spark.deploy.worker.Worker-1-master.out

jps查看进程 多了Worker，Master

5.进入spark-shell

hadoop@master:/software/spark-1.6.1-bin-hadoop2.6$ bin/spark-shell
log4j:WARN No appenders could be found for logger
(org.apache.hadoop.metrics2.lib.MutableMetricsFactory). log4j:WARN
Please initialize the log4j system properly. log4j:WARN See
http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.
Using Spark’s repl log4j profile:
org/apache/spark/log4j-defaults-repl.properties To adjust logging
level use sc.setLogLevel(“INFO”) Welcome to
__
/ / _ _/ /__
\ \/ \/ _ `/ / ‘/ // ._/_,// //_\ version 1.6.1
/_/

Using Scala version 2.10.5 (Java HotSpot(TM) 64-Bit Server VM, Java
1.7.0_80) Type in expressions to have them evaluated. Type :help for more information. Spark context available as sc. 16/05/31 05:58:36
WARN Connection: BoneCP specified but not present in CLASSPATH (or one
of dependencies) 16/05/31 05:58:37 WARN Connection: BoneCP specified
but not present in CLASSPATH (or one of dependencies) 16/05/31
05:58:45 WARN ObjectStore: Version information not found in metastore.
hive.metastore.schema.verification is not enabled so recording the
schema version 1.2.0 16/05/31 05:58:46 WARN ObjectStore: Failed to get
database default, returning NoSuchObjectException 16/05/31 05:58:50
WARN Connection: BoneCP specified but not present in CLASSPATH (or one
of dependencies) 16/05/31 05:58:51 WARN Connection: BoneCP specified
but not present in CLASSPATH (or one of dependencies) 16/05/31
05:58:57 WARN ObjectStore: Version information not found in metastore.
hive.metastore.schema.verification is not enabled so recording the
schema version 1.2.0 16/05/31 05:58:58 WARN ObjectStore: Failed to get
database default, returning NoSuchObjectException SQL context
available as sqlContext.

scala>

可以通过浏览器访问查看：url为maste的Ip:4040,master的Ip:7077

收录于
学习日志

当前文章被收录于：

学习日志
10 篇文章 0 人学习
订阅专栏 查看详情
标签
#spark #scala
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
hadoop2.7.6和spark-2.3.0以及scala环境搭建 1 java1.8环境配置 安装目录不要有空格，否则后面配置hadoop很麻烦   参考 jdk1.8配置 2 scala环境配置   scala的版本很多，但是spark的官网告诉我们spark-2.3.0使用2.11.x   scala下载地址， 我下载的是 scala-2.11.12.msi     新建SCALA_HOME：D:\Soft\scala     Path后面追加: %SCAL... 阅读详情

相关推荐

Scala与Spark的环境搭建版本匹配问题(学习笔记)

最新版本的scala-2.11.8与Spark2.1.0环境搭建

Eclipse+maven+scala2.11.8+spark2.0.0的环境部署

主要在maven-for-scalaIDE纠结了，因为在eclipse版本是luna4.x 里面有自己带有的maven。 根据网上面无脑的下一步下一步，出现了错误，在此讲解各个插件的用途，以此新人看见了，少走一些弯路。 其实主要的问题是自己独立去下载scala插件，把scala依赖包拷贝到eclipse的plugins和features里面，然后maven也是自己下载手动修...

akftunll710077的博客 350

scala-2.12.8-官方正式版.rar

scala-2.12.8版本的安装包，注意需要先安装1.8或以上版本的额JDK，才能正常使用。适合所有需要使用或者需要更新升级版本的人使用。

spark 与 scala 版本对应关系

在开发spark程序的时候，用scala语言进行开发需要考虑sparkspark 版本与scala版本的对应问题 版本对应关系如下： Spark运行在Java 8 +，Python 2.7 + / 3.4 +和R 3.1+上。 对于Scala API，Spark 2.4.3使用Scala 2.12。您需要使用兼容的Scala版本（2.12.x）。 请注意 自Spark 2.2.0起，对2.6.5...

Nice的博客 1万+

用Python的fengwo模块复刻通达信筹码峰（COST/WINNER），选股效率提升10倍

本文介绍了如何使用Python的fengwo模块高效复刻通达信的筹码峰（COST/WINNER）计算，显著提升选股效率。通过C++内核与多线程优化，fengwo模块将传统Python实现的数小时计算压缩至分钟级，解决了量化交易中的性能瓶颈问题。文章详细解析了筹码峰计算原理、fengwo模块的技术架构及实战应用，助力量化开发者构建高效选股系统。

weixin_29062823的博客 438

从打印攻击到视频重放：手把手用OULU-NPU训练你的第一个活体检测模型

本文详细介绍了如何使用OULU-NPU数据集训练活体检测模型，以应对打印攻击和视频重放等安全威胁。通过PyTorch框架，从环境准备、数据加载、预处理到模型架构设计，手把手教你构建一个高效的双流网络，结合CNN和LSTM技术，提升模型在多种攻击场景下的检测准确率。

weixin_29092031的博客 384

spark与scala的对应版本查看

https://mvnrepository.com/artifact/org.apache.spark/spark-core 总结

Knight 2556

微信内置浏览器抓包全攻略：从ADB配置到Chrome调试（附常见问题解决）

本文提供了一套完整的微信内置浏览器抓包与调试解决方案。从ADB工具的深度配置与稳定性连接开始，详细讲解了如何开启X5内核调试开关，并利用Chrome DevTools建立远程连接。文章重点剖析了Network面板进行网络请求抓取、性能分析和问题定位的实战技巧，并附带了设备连接失败、无网络请求等常见问题的排查指南，帮助开发者高效解决微信H5页面调试难题。

gitlab7runner的博客 543

（6）Spark 2.0.0 伪分布安装

引言 Hadoop伪分布安装 Scala安装 Spark伪分布安装1.引言      Spark是专为大规模数据处理而设计的快速通用的计算引擎。Spark拥有MapReduce所具有的优点；但不同于MapReduce的是——中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。      在本篇博客中主要介绍一下S

王培晓Carpenter 2605

海康工业相机使用：常见问题及解决方法

工业相机在使用过程中，经常会因为操作不当、使用环境不当等原因出现一些问题，本篇教程，主要针对海康工业相机常见问题及其定位方法做以简单介绍，希望可以帮助大家。 注：该教程对其他品牌工业相机“常见问题”排查，也具备一定的指导意义。 当出现无法通过客户端发现设备或者无法预览图像等问题，先确认当前的运行环境是否满足以下要求： 确认装有相机驱动软件的电脑网卡为千兆网卡（Gige接口相机）； 确认网卡是否已开启巨型帧； 确认电脑与网口相机之间的网络链路为千兆； 确认装有相机驱动软件的USB接口为3...

Cche的博客 3万+

GEE：变异系数法在遥感影像分析中的应用及权重计算

本文介绍了在Google Earth Engine（GEE）平台上基于变异系数法的多指标加权遥感影像分析方法。该方法通过计算每个指标的平均值和标准差，进而计算变异系数来评估指标的变化程度。利用变异系数，我们可以计算每个指标的权重，并将其应用于加权和指数的计算，从而提高遥感影像分析的准确性和可靠性。方法应用于计算Risk-Screening Environmental Indicators (RSEI)，并以此为例。

养乐多的博客 2271

Mac下Spark2.1.0的伪分布式安装配置

Mac下的安装配置可以用一句话概括：下载编译后的文件（或者用brew直接安装），配置环境变量。MAC OS X版本为10.11.6。配置SSH为了确保在远程管理Hadoop以及Hadoop节点用户共享时的安全性, Hadoop需要配置使用SSH协议。SSH原理可见 http://www.ruanyifeng.com/blog/2011/12/ssh_remote_login.html生成SSH k

yxx1173的博客 2371

fasterlio原理及代码框架梳理

Faster-LIO 的优势是在保持同等高精度的前提下，显著提升计算效率，以支持更极端的应用场景（如高速无人机）和更廉价的硬件平台。可以把 Faster-LIO 理解为用一把更快的“空间哈希筛子”（iVox）替换了原来精细的“动态平衡树”（ikd-Tree），从而在精度损失极小的情况下，实现了效率的显著提升。：只在实际有地图点的空间区域动态创建和保留体素单元，形成一个稀疏的体素地图。是关键：将去畸变点云中的每个点，在 iVox 维护的局部地图中搜索近邻（如5个最近点），构建点到面的距离残差。

Studying…… 246

基于virtualbox安装spark-yarn-cluster

打算自己玩玩spark-yarn-cluster，公司的环境是别人装的，没有亲自搞一遍，总觉得心里不踏实。另外一个重要的原因是，公司的服务器性能比较强，这样spark任务不容易暴露性能问题或者内存溢出，反而不便于深入学习spark。0. 环境 hp ProBook, intel core i3-4030u 1.9Ghz,伪四核，实际应该是双核，8G内存; windows7 旗舰版;

What 2234

绕过Cloudflare的两种简便方案

绕过Cloudflare的两种简便方案

自成背后的博客 1万+

NVIDIA Isaac Sim 入门教程（一）

文档分为以下几个部分： 简介、安装指南、API 文档、教程、手册和参考资料。简介部分是对 Omniverse Isaac Sim 的基本概述，以及它如何融入 NVIDIA Omniverse™ 生态系统。它还概述了 Omniverse Isaac Sim 的架构、工作流程和文档布局。

机器人控制与仿真应用 1万+

Centos7 下 spark1.6.1_hadoop2.6 分布式集群环境搭建

摘要 在上一篇博客《Centos7 下 Hadoop 2.6.4 分布式集群环境搭建》  已经详细写了Hadoop 2.6.4 配置过程，下面详细介绍 Spark 1.6.1的安装过程。 Scala 安装 下载 ，解压 下载 Scala-2.11.8.tgz， 解压到 /root/workspace/software/scala-2.10.4t 目录下 修改环境变量

w0823m的博客 803

蓝牙模块HM-10手册

蓝牙模块HM-10手册，该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

Spark的伪分布安装和wordcount测试

一：环境说明              Ubuntu：15.10（不稳定版，建议安装在稳定版，Ubuntu下XX..4是稳定的）              Hadoop：2.6              Scala：2.11.8              Java：1.7.0              Spark：1.6.1 2：hadoop伪分布安装

Thinkgamer博客 5276

NTscan扫描工具

ntscan是一个扫描器，可以扫描没有密码和弱密码的共享，先到配置文件中填写猜测的用户名和密码，扫描过程中右侧出现的是扫描日志。

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

Spark 1.6.1分布式集群环境搭建

一、软件准备 scala-2.11.8.tgz spark-1.6.1-bin-hadoop2.6.tgz 二、Scala 安装 1、master 机器 (1)下载 scala-2.11.8.tgz， 解压到 /opt 目录下，即： /opt/scala-2.11.8。 (2)修改 scala-2.11.8 目录所属用户和用户组。   ? 1 ...

weixin_34315485的博客 86

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的，已经排好版了，而且还是完整的，适合小白

Spark1.6.1单节点环境搭建

本文搭建在Hadoop 一、软件准备 1. scala-2.11.8.tar.gz 2. spark-1.6.1-bin-hadoop2.6.tar.gz 二、ssh设置  1. 安装ssh apt-get install ssh 2. 启动ssh /etc/init.d/ssh start 3. ssh-keygen -t rsa -P "" 4. cat ~/.ssh/id

PanPan的专栏 1022

spark配置：spark集群

http://www.cnblogs.com/onetwo/p/5424377.html1. 软件版本scala-2.11.8.tgzspark-1.6.1-bin-hadoop2.6.tgz2. scala安装2.1 0master机器安装 下载 scala-2.11.8.tgz， 解压到 /usr/scala 目录下，即： /usr/scala/scala-2.11.8。 解压：tar -zx

LandscapeMi 934

搭建 Hadoop2.7.2 + Spark1.6环境

服务器上已经有了 hadoop2.7.2环境，这次只用配置spark1.6就可以。 服务器操作系统为centOS6.5 1、安装Scala       下载地址：http://www.scala-lang.org/download/   注：我下载的是scala-2.11.8.tgz 将压缩上传至/usr/local 目录   解压缩 tar -zxvf scal

weixin_36607803的博客 506

windows下安装spark运行环境

scala运行环境安装 jdk安装 jdk安装1.8，详细安装过程省略，路径最好不带空格，不然会导致后面hadoop安装失败 scala安装 安装scala2.11（2.12spark包maven仓库中找不到） hadoop安装 github地址：https://github.com/sdravida/hadoop2.6_Win_x64/tree/master/b...

ambitionless的专栏 563

Spark安装

1 Spark安装地址 运行环境:CentOS 6.8 Hadoop 2.7.2 JDK 1.8 Scala 2.11.8 Spark 2.1.1 集群以3台机器模拟:hadoop202 hadoop203 hadoop204 1．官网地址 http://spark.apache.org/ 2．文档查看地址 https:/...

azhrrvsfz270786493的博客 246

大数据环境部署-JDK8、Hadoop2.7.1、Spark 1.6 for Hadoop2.6+、Scala2.11.7

JDK8、Hadoop2.7.1、Spark 1.6 for Hadoop2.6+、Scala2.11.7   命令：sudo（普通用户执行root的命令权限）；   参考： http://www.linuxdiyf.com/linux/13027.html http://blog.csdn.net/yeruby/article/details/49805121   修改文件...

xttifqqk的专栏 443

Spark实战环境搭建

安装服务与环境： 系统：centos 6.4 安装包存放目录：~/software 应用服务安装目录：~/app 数据存放目录/data 脚本存放目录：~/shell 安装应用版本：Java 1.8 Scala 2.11.8 Hadoop cdh5.7 Maven 3.3.9 Python3 Spark 1、安装Java 1.8 1.1、安装包：jdk-8u91-linux-x64.tar.gz 1.2、解压到app安装目录

zhaoxiaoba123的博客 341
上一篇： HIVE简单API使用
下一篇： 用Java理解Spark算子之Transformation算子
点赞 4
评论 0
书签 书签 1
我就是喜欢我话多
我就是喜欢我话多
博客等级 码龄11年 15粉丝 24原创
+ 关注 专栏目录 订阅专栏
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值