大数据初步：spark+hadoop的下载与环境变量的配置

最新推荐文章于 2023-04-20 21:49:01 发布
原创 最新推荐文章于 2023-04-20 21:49:01 发布 · 768 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#spark #hadoop

本文详细介绍了如何安装配置Hadoop-2.7.4和Spark-1.4.0，包括从官方网站下载合适版本，环境变量配置，以及安装验证步骤。在配置过程中特别提到了解决因目录名包含空格导致的执行错误问题。

一、安装配置Hadoop-2.7.4:

说明：保证电脑已经安装配置好了1.6或以上的jdk,再进行如下操作。

首先下载：

1 进入hadoop官网：http://hadoop.apache.org/；

2 点击如图所示的Dowload;


3 选择一个镜像；


4 点击如下链接，进入镜像的具体下载页面


5 选择所要下载的hadoop的版本，即可进行下载；


             

6 下载到本地的显示


环境变量配置：

7 将其解压至一个文件夹中，然后分别在环境变量中配置如下内容

最低0.47元/天 解锁文章
中小型企业大数据平台全栈搭建：Hive+HDFS+YARN+Hue+ZooKeeper+MySQL+Sqoop+Azkaban 保姆级配置指南
优快云博客专家，领域包括但不限于：AI、大数据、Python、架构师，有合作、课程、问题、疑惑请私信博主
03-15 1万+
对于中小企业，构建一套完整的本地化大数据平台需兼顾成本、易用性和扩展性。本文基于生产环境实践，详细讲解以下组件的安装、配置与联动；提供全组件官方下载地址‌和 配置模板‌，助您快速搭建企业级数据平台
Spark高清hadoop
01-04
图解Spark 核心技术与案例实战，很好的学习资源，希望大伙喜欢！
spark-2.2.0-bin-hadoop2.7
03-27
spark-2.2.0-bin-hadoop2.7
hadoop和spark配置环境变量
zljzlj1234的博客
05-06 693
vi /etc/profileJAVA_HOME=/usr/java/jdk1.8.0_131 CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar SCALA_HOME=/usr/local/scala-2.10.3/ HADOOP_HOME=/usr/local/hadoop-2.7.3/ SPARK_HOME=/usr/local
大数据第一步：Scala+Hadoop+Spark环境安装
TheShawshank的博客
03-26 1139
（下面所有操作都要建立在安装过JDK的基础上）请到官网下载最新版本的scala、hadoop和spark，移动至/usr/local文件夹。一、安装Scala1、解压2、重命名3、编辑/etc/profile在底部添加export PATH=/usr/local/scala/bin:$PATH4、使更改生效5、验证出现下图即为成功至此Scala安装全部完成。二、安装hadoop1、新增名为hado...
大数据常用的环境变量
荒川之神
04-16 312
以下环境变量可以放到/etc/profile或者相应用户下的profile文件中，路径和文件名以你实际为准： #JAVA export JAVA_HOME=/usr/java export JRE_HOME=/usr/java/jre export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib ...
大数据的环境变量设置
a857553315的博客
04-04 1516
创建 /etc/profile.d/myenv.sh 文件, 内部填写一下内容 # JAVA_HOME export JAVA_HOME=/opt/module/jdk1.8.0 export PATH=$PATH:$JAVA_HOME/bin # hadoop export HADOOP_HOME=/opt/module/hadoop-3.1.3 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin #hive export HIVE_HOM
大数据+Spark+Hadoop+winutils
01-03
描述中提到的“hadoop环境在Windows的winutils环境”，是指在Windows操作系统上配置Hadoop环境时的一个关键步骤。Hadoop最初设计是在Linux环境下运行，但在Windows上运行时，需要一个名为`winutils.exe`的工具，它...
大数据Hadoop+HBase+Spark+Hive集群搭建教程(七月在线)1
08-03
- 安装Hadoop，并配置环境变量，包括设置`HADOOP_HOME`和`PATH`。 2. **HBase**：HBase是一个基于Hadoop的分布式数据库，适合实时读写操作，尤其适合半结构化和非结构化数据。它提供了一个高可靠性、高性能、列式...
手把手教你构建大数据环境：CentOS、Hadoop、Spark安装与配置
- 环境变量配置：设置必要的环境变量，如`JAVA_HOME`、`HADOOP_HOME`、`SPARK_HOME`等。 - 配置文件解析：熟悉各个配置文件的作用以及如何根据实际需求调整配置参数。 - 运行模式选择：了解Spark的本地运行模式和...
spark-2.1.1-bin-hadoop2.4 下载
jonathan_joestar的博客
10-27 719
spark-2.1.1-bin-hadoop2.4 下载。
Scala下载安装和环境变量配置
x976269167的博客
04-24 2711
1、首先从官网上下载Scala SDK 官网地址：https://www.scala-lang.org/ 2、将下载的压缩包解压 3、配置环境变量，新建SCALA_HOME，然后在PATH下新建bin路径的变量 4、打开CMD，验证是否安装成功 scala -version 5、IntelliJ IDEA中配置Scala SDK （1）下载s...
Hadoop,Scala,Spark环境配置
累了就歇一会
03-29 4386
配置Hadoop 修改主机名 修改hosts 配置Java环境 解压安装 修改JAVA环境变量 测试安装是否成功 配置ssh ssh测试 ssh免密码登录 安装Hadoop 260 解压 移到指定目录 配置hadoop 验证 查看集群状态 查看hdfs 查看RM 运行WordCount程序 配置Hadoop环境变量 安装Scala 下载scala2114版本 解压并安装 增加环境变量 验证 copy
windows下配置hadoop和spark环境变量
nihao_pcm的博客
01-25 745
一、下载winutils包 链接一：https://github.com/steveloughran/winutils 链接二：https://download.youkuaiyun.com/download/nihao_pcm/10938773 二、将winutils bin目录下的文件覆盖到本地hadoop的bin目录下 三、hadoop.dll  放到 c:/windows/system32下 ...
Spark 2.0分布式集群环境搭建
sym的博客
06-23 3720
Apache Spark 是一个新兴的大数据处理通用引擎，提供了分布式的内存抽象。Spark 最大的特点就是快，可比 Hadoop MapReduce 的处理速度快 100 倍。本文没有使用一台电脑上构建多个虚拟机的方法来模拟集群，而是使用三台电脑来搭建一个小型分布式集群环境安装。 本教程采用Spark2.0以上版本（比如Spark2.0.2、Spark2.1.0等）搭建集群，同样适用于搭建Spark1.6.2集群。
【Hadoop】hadoop+spark配置
dominic_z的博客
03-28 5632
不是教程，教程请看http://www.cnblogs.com/zyrblog/p/8510506.html 只是个人笔记 准备材料 一台能联网的电脑 VMware 14 Centos 7 1801 64bit 我还是喜欢centos多一些，old fashion，好吧其实是装了一次ubuntu发现里面缺的东西有点多，ifconfig，vim都没有还得自己安，烦 jdk-8u191-linux-...
Spark环境搭建（保姆级教程）
热门推荐
tangyi2008的专栏
02-24 6万+
Spark 是一个大规模数据处理的统一分析引擎 本文主要介绍Spark的相关配置，以及各种模式的代码提交，包括Local,Standalone,YARN。 文末有相应资源下载网盘链接。
python—spark本地安装及环境变量配置
Sun_shine99的博客
04-20 4403
Spark和Hadoop的关系是，Hadoop的MapReduce是大家广为熟知的计算框架，而Spark则是一种新的计算框架。比如，textFile("/usr/local"), textFile("/usr/local/.txt"), textFile("/usr/local/.gz")1.如果使用了本地文件系统的路径，那么，必须要保证在所有的worker节点上，也都能够采用相同的路径访问到该文件，比如，可以把该文件拷贝到每个worker节点上，或者也可以使用网络挂载共享文件系统。（注意最前面的圆点）
spark环境配置
chuanchenyi的博客
05-14 3698
下载完成后进行解压： tar -zxvf spark-2.1.1.tgz #简短的名字易于操作 mv spark-2.1.2-bin-hadoop2.7 ./spark 解压到目标目录即完成安装， spark 解压后主要包含如下子目录： bin/ (工具程序目录) conf/ (配置文件目录) jars/ (scala Jar 包目录) python/ (python package 目录) sbin/ (服
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值