hadoop spark hbase 单机安装

最新推荐文章于 2023-06-02 04:33:49 发布
原创 最新推荐文章于 2023-06-02 04:33:49 发布 · 588 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hadoop #spark #hbase

本文详细介绍如何在三台机器上搭建Hadoop集群，包括关闭防火墙、时间同步、配置HDFS和YARN等关键步骤。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

关闭防火墙

如是在虚拟机或是docker里安装,请一定先关闭防火墙,否则外部系统无法访问.

systemctl status firewalld.service #检查防火墙状态
systemctl stop firewalld.service #关闭防火墙
systemctl disable firewalld.service #禁止开机启动防火墙

vim /etc/hosts

如果没有足够的权限，可以切换用户为root。
三台机器的内容统一增加以下host配置：
可以通过hostname来修改服务器名称为master、slave1、slave2 ,此步也是为将来集群服务的

192.168.71.242 master

时间同步

yum install -y ntp #安装ntp服务
ntpdate cn.pool.ntp.org #同步网络时间

需要开放的外网端口

50070，8088，60010 ，7077

解压安装包

tar -zxvf /usr/jxx/scala-2.12.4.tgz -C /usr/local/

tar -zxvf /usr/jxx/spark-2.2.0-bin-hadoop2.7 -C /usr/local/

tar -zxvf /usr/jxx/hbase-1.3.1-bin.tar.gz -C /usr/local/

tar -zxvf /usr/jxx/hadoop-2.8.2.tar.gz -C /usr/local/
创建文件目录

为了便于管理，给Master的hdfs的NameNode、DataNode及临时文件，在用户目录下创建目录

mkdir -p /data/hdfs/name
mkdir -p /data/hdfs/data
mkdir -p /data/hdfs/tmp

如果是集群那将这些目录通过scp命令拷贝到Slave1和Slave2的相同目录下

设置环境变量

vim /etc/profile 添加

export JAVA_HOME=/usr/local/jdk1.8.0 #jdk如果已有就不用添加
export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin
export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$CLASSPATH
export SCALA_HOME=/usr/local/scala-2.12.4
export PATH=$PATH:$SCALA_HOME/bin
export HADOOP_HOME=/usr/local/hadoop-2.8.2
export PATH=$PATH:$HADOOP_HOME/bin
export HBASE_HOME=/usr/local/hbase-1.3.1
export PATH=$PATH:$HBASE_HOME/bin
export SPARK_HOME=/usr/local/spark-2.2.0-bin-hadoop2.7
export PATH=$PATH:$SPARK_HOME/bin

然后执行

source /etc/profile

修改配置

vim /usr/local/hadoop-2.8.2/etc/hadoop/hadoop-env.sh
修改

export JAVA_HOME=/usr/local/java/jdk1.8.0

vim /usr/local/hadoop-2.8.2/etc/hadoop/core-site.xml

<configuration>
<property>
  <name>hadoop.tmp.dir</name>
  <value>file:/data/hdfs/tmp</value>
  <description>A base for other temporary directories.</description>
</property>
<property>
  <name>io.file.buffer.size</name>
  <value>131072</value>
</property>
<property>
  <name>fs.default.name</name>
  <value>hdfs://master:9000</value>
</property>
<property>
<name>hadoop.proxyuser.root.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.root.groups</name>
<value>*</value>
</property>
</configuration>

vim /usr/local/hadoop-2.8.2/etc/hadoop/hdfs-site.xml


<configuration>
<property>
<name>dfs.replication</name>
  <value>2</value>
</property>
<property>
  <name>dfs.namenode.name.dir</name>
  <value>file:/data/hdfs/name</value>
  <final>true</final>
</property>
<property>
  <name>dfs.datanode.data.dir</name>
  <value>file:/data/hdfs/data</value>
  <final>true</final>
</property>
<property>
  <name>dfs.namenode.secondary.http-address</name>
  <value>master:9001</value>
</property>
<property>
  <name>dfs.webhdfs.enabled</name>
  <value>true</value>
</property>
<property>
  <name>dfs.permissions</name>
  <value>false</value>
</property>
</configuration>

vim /usr/local/hadoop-2.8.2/etc/hadoop/yarn-site.xml

yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.resourcemanager.address</name>
  <value>master:18040</value>
</property>
<property>
  <name>yarn.resourcemanager.scheduler.address</name>
  <value>master:18030</value>
</property>
<property>
  <name>yarn.resourcemanager.webapp.address</name>
  <value>master:18088</value>
</property>
<property>
  <name>yarn.resourcemanager.resource-tracker.address</name>
  <value>master:18025</value>
</property>
<property>
  <name>yarn.resourcemanager.admin.address</name>
  <value>master:18141</value>
</property>
<property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
</property>
</configuration>

cp mapred-site.xml.template mapred-site.xml
vim mapred-site.xml

<configuration>

<property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
</property>

</configuration>

vim /usr/local/hbase-1.3.1/conf/hbase-site.xml

<property>

<name>hbase.rootdir</name>

<!-- 对应于hdfs中配置 micmiu.com -->

<value>hdfs://localhost:9000/hbase</value>

</property>

<property>

<name>hbase.cluster.distributed</name>

<value>true</value>

</property>

vim /usr/local/hbase-1.3.1/conf/hbase-env.sh

export JAVA_HOME=/usr/local/jdk1.8.0 #jdk如果已有就不用添加
export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin
export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$CLASSPATH
export SCALA_HOME=/usr/local/scala-2.12.4
export PATH=$PATH:$SCALA_HOME/bin
export HADOOP_HOME=/usr/local/hadoop-2.8.2
export PATH=$PATH:$HADOOP_HOME/bin
export HBASE_HOME=/usr/local/hbase-1.3.1
export PATH=$PATH:$HBASE_HOME/bin
export SPARK_HOME=/usr/local/spark-2.2.0-bin-hadoop2.7
export PATH=$PATH:$SPARK_HOME/bin
export HBASE_MANAGES_ZK=true

mv /usr/local/spark-2.2.0-bin-hadoop2.7/conf/spark-env.sh.template /usr/local/spark-2.2.0-bin-hadoop2.7/conf/spark-env.sh

mv /usr/local/spark-2.2.0-bin-hadoop2.7/conf/spark-defaults.conf.template /usr/local/spark-2.2.0-bin-hadoop2.7/conf/spark-defaults.conf

mkdir -p /disk/spark

vim /usr/local/spark-2.2.0-bin-hadoop2.7/conf/spark-env.sh

export JAVA_HOME=/usr/local/jdk1.8.0
export SCALA_HOME=/usr/local/scala-2.12.4
export HADOOP_HOME=/usr/local/hadoop-2.8.2
export HBASE_HOME=/usr/local/hbase-1.3.1
export SPARK_HOME=/usr/local/spark-2.2.0-bin-hadoop2.7
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export SPARK_LOCAL_DIRS=/disk/spark
export SPARK_DAEMON_MEMORY=256m
export SPARK_HISTORY_OPTS="$SPARK_HISTORY_OPTS -Dspark.history.fs.logDirectory=/tmp/spark -Dspark.history.ui.port=18082"
export STANDALONE_SPARK_MASTER_HOST=localhost

vim /usr/local/spark-2.2.0-bin-hadoop2.7/conf/spark-defaults.conf

spark.master=spark://localhost:7077
spark.eventLog.dir=/dask/spark/applicationHistory

spark.eventLog.enabled=true

spark.yarn.historyServer.address=localhost:18082

初始化环境

格式化namenode
hdfs namenode -format

启动服务

启动hdfs

sh /usr/local/hadoop-2.8.2/sbin/start-dfs.sh

启动hbase

sh /usr/local/hbase-1.3.1/bin/start-hbase.sh

启动spark

sh /usr/local/spark-2.2.0-bin-hadoop2.7/sbin/start-all.sh

7 设置开机启动(这个不太好使)

su - root -c “sh /usr/local/hadoop-2.8.2/sbin/start-dfs.sh”

su - root -c “sh /usr/local/hbase-1.3.1/bin/start-hbase.sh”

su - root -c “sh /usr/local/spark-2.2.0-bin-hadoop2.7/sbin/start-all.sh”

运行Hbase shell时报错：

hbase shell
hbase(main):006:0> list
TABLE
ERROR: Can’t get master address from ZooKeeper; znode data == null

Here is some help for this command:
List all tables in hbase. Optional regular expression parameter could
be used to filter the output. Examples:

解决办法:

重新启动,stop-hbase.sh->start-hbase.sh 即解决

yypiao
关注
linux安装单机版HBase
saonian0929的博客
05-14 2007
linux搭建单机HBase详细过程
Docker本地搭建Hadoop高可用,Hbase,Spark,Flink,Zookeeper集群_基于docker容器,搭建hadoop+spark+hive+hbase+zookeeper sca
2401_89172892的博客
12-20 505
ZOO_SERVERS: server.1=zoo1:2888:3888 server.2=zoo2:2888:3888 server.3=zoo3:2888:3888 # zookeeper节点列表。#或者直接拷贝过去scp -r /usr/local/hadoop-2.8.5/tmp masterstandby:/usr/local/hadoop-2.8.5。external_links: # 连接本compose文件以外的container。#拉取Kafka镜像和kafka-manager镜像。
Hadoop,Spark,Hbase单机安装
u013385018的专栏
06-04 650
SparkHiveContext和直接Spark读取hdfs上文件然后再分析效果区别直接Spark读取hdfs上文件然后再分析快20倍https://www.cnblogs.com/Kaivenblog/p/7777596.hthadoop-hbase-spark单机版安装https://www.cnblogs.com/jixiangxiang/p/5520851.htmlSSH的详细安装步骤及登...
hadoop - hbase 单机版的安装部署
weixin_34226706的博客
04-27 204
　　1. 下载安装包。 http://www.apache.org/dyn/closer.lua/hbase/ 选择版本，单机进入以下页面 2. tar xfz hbase-1.2.6-bin.tar.gz 3. cd hbase-1.2.6, cd conf 4. hbase-env.s...
hadoop-hbase-spark单机版安装
weixin_30445169的博客
05-23 129
0需要开放的外网端口 50070，8088，60010，7077 1设置ssh免密码登录 ssh-keygen-tdsa-P''-f~/.ssh/id_dsa cat~/.ssh/id_dsa.pub>>~/.ssh/authorized_keys chmod0600~/.ssh/authorized_keys 2解压安装包 tar-zxv...
单机安装Hbase
小学生
05-12 280
HBase是一个分布式的、面向列的开源数据库。hbase有二种安装方式，单机安装，分布式安装【分布式又分伪分布式和分布式，伪分布式指的是进程都运行在一台机子上】。今天在单机上安装，主要用来学习其语法。分布式安装，需要至少三台机子并安装hadoop zookeeper等。 系统：Linux version 2.6.22.6-1 (root@builder2.redflag-linux.com) (...
zookeeper+hadoop+hbase+hive(集成hbase)安装部署教程（超详细）.docx
06-01
jdk1.8.0_131、apache-zookeeper-3.8.0、hadoop-3.3.2、hbase-2.4.12 mysql5.7.38、mysql jdbc驱动mysql-connector-java-8.0.8-dmr-bin.jar、 apache-hive-3.1.3 2.本文软件均安装在自建的目录/export/server/下 ...
Hadoop+HBase环境搭建(单机版伪分布式)
见贤思齐
04-16 1859
一、准备工作 下载Hadoop：https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/ 下载HBase:https://mirrors.tuna.tsinghua.edu.cn/apache/hbase/ Linux版本：任选（我选择的是Centos7） 下载时，注意查看官方HBase版本与Hadoop版本两者支持的版本，然后...
HBase2.2.2安装（单机、伪分布）
WZRbeliever的博客
06-02 1209
查看HBase版本，确定hbase安装成功,命令如下。再次查看HBASE版本，没有问题了。jps测试，成功啦！
基于docker搭建hadoop+spark+hive+hbase集群的过程
阿啄debugIT
01-07 2935
目录 1.安装docker 1.1.安装docker 1.2.更改为公司本地镜像源，或者阿里镜像源 1.3.设置为默认启动 1.4.重启docker,测试hello-world 1.5.安装docker-compose 1.6.关闭selinux 1.7下载各种安装包 2.安装centos+jdk镜像 3.安装hadoop...
centos7 安装 hbase单机版
01-20
首先下载hbase安装包 wget http://mirror.bit.edu.cn/apache/hbase/stable/hbase-2.2.3-bin.tar.gz 解压压缩包 tar -zxvf hbase-2.2.3-bin.tar.gz 修改/opt/hbase-2.2.3/conf/hbse-env.sh文件 第一步 设置javahome export JAVA_HOME=/usr/local/java/jdk1.8.0_144 第二部 设置zookeeper选择 为true为hbase自带zookeeper ，false为自己部署的zookeeper export H
Hbase单机配置超详细版本（图）
04-26
Linux环境下Hbase单机配置超详细版本，图文教程
Hadoop+Hbase+Spark+Hive搭建
08-12
全套的Hadoop+Hbase+Spark+Hive搭建指导手册
Spark集群构建:第一步：搭建 Hadoop,单机和伪分布式环境；
10-29
对于 90%以上想学习 Spark 的人而言，如何构建 Spark 集群是其最大的难点之一， 为了解决大家构建 Spark 集群的一切困难，家林把 Spark 集群的构建分为了四个步骤，从 零起步，不需要任何前置知识，涵盖操作的每一个细节，构建完整的 Spark 集群。
HBASE单机安装
weixin_30399797的博客
08-07 136
单机模式安装 特点：不依赖于Hadoop的HDFS，配置完既可使用，好处是便于测试。坏处是不具备分布式存储数据的能力。 安装配置 1.安装JDK及配置环境变量 2.上传解压Hbase安装包 3.修改Hbase的配置文件，（修改安装目录下的conf/hbase-site.xml） 配置示例： <property> <name>...
Hbase安装（单机安装）
小兔子乖乖
04-08 138
安装Hbase前提准备（将以下的压缩包拖到root/software下）一.安装文件`tar -zxf hbase-1.2.0-cdh5.14.2.tar.gz`解压`rm -rf hbase-1.2.0-cdh5.14.2.tar.gz`删除压缩包`mv hbase-1.2.0-cdh5.14.2 hbase` 改名二.修改配置文件`vi hbase-env.sh``vi hbase-site.xml``vi /etc/profile`配置环境变量`source /etc/profile`使环境变量生效
hbase单机版安装
优快云_Hzx的博客
02-25 1635
最近需要用到hbase做测试，想在本地搭建一个单机版的hbase，上网上找了很多例子，只能说坑很多，但还是爬出来了，在这儿给大家做个参考： 1.安装jdk 这个对于开发人员来说应该不是什么问题，安装完成之后在/etc/profile下配置一下环境变量 export JAVA_HOME=/usr/local/java/jdk1.8.0_191 export PATH=$JAVA_HOME/b...
HBase的安装（单机版）
皮埃尔的博客
04-29 4530
HBase的安装（单机版）
[ Hbase ] 单机独立安装
爪白白的个人博客
11-27 1912
文章目录下载 Hbase安装 Hbase启动 HbaseJava API 连接 下载 Hbase http://apache.mirror.cdnetworks.com/hbase/ cd ~/software wget http://apache.mirror.cdnetworks.com/hbase/2.3.7/hbase-2.3.7-bin.tar.gz 安装 Hbase 解压安装包 tar -zxvf hbase-2.3.7-bin.tar.gz 设置 jdk 安装路径，启动自带的 z
hadoop spark大数据实战分析
最新发布
03-11
<think>好的，用户需要关于Hadoop和Spark在大数据处理方面的实战分析资料，比如教程和案例。首先，我得确认用户的具体需求是什么。可能他们正在处理大数据项目，需要实际的指导。Hadoop和Spark都是大数据处理的核心工具，但各有侧重。Hadoop的HDFS适合分布式存储，而MapReduce用于批处理。Spark则以内存计算见长，适合迭代任务，比如机器学习和实时处理。 接下来，我要检查已有的引用资料。引用[1]提到用Spark进行数据读取、清洗、预处理和分析，引用[2]解释了Hadoop的基础架构，引用[3]和[4]提供了实战书籍的章节内容，包括Hadoop单节点集群的测试和Spark RDD的操作。这些引用应该能帮助用户找到需要的实战案例。 用户可能需要的不仅仅是资料推荐，还有具体的应用场景和操作步骤。比如，如何结合Hadoop和Spark，或者如何处理实际的数据分析任务。根据引用[3]和[4]，实战书籍里有整合开发和RDD操作的实例，这对用户来说应该很有用。此外，引用[1]中的Spark SQL和数据仓库应用也是一个关键点，可以指导用户进行数据查询和整合分析。 可能需要生成相关问题，引导用户深入思考。例如，如何搭建Hadoop和Spark环境，或者优化性能的方法。另外，用户可能对实际案例中的数据处理流程感兴趣，比如日志分析或推荐系统，这些都可以从引用中找到相关案例。 最后，确保回答结构清晰，分点列出参考资料和实战案例，帮助用户逐步解决问题。同时，提醒用户注意版本兼容性，比如Hadoop和Spark的版本匹配，避免环境配置问题。总结来说，用户需要的是结合理论和实践的指导，引用提供的书籍和章节正好能满足这一点。</think>### Hadoop与Spark大数据实战分析资料推荐 #### 一、核心参考资料推荐 1. **《Hadoop+Spark大数据巨量分析与机器学习整合开发实战》** - 包含Hadoop单节点集群搭建（基于Debian系统）和Spark RDD弹性分布式数据集操作[^3] - 实战案例覆盖数据存储、清洗、MapReduce计算和机器学习模型部署 - 第9章重点讲解Spark RDD的转换与行动操作（如`map`, `reduceByKey`），第10章演示IDE环境下的WordCount案例[^4] 2. **Apache官方文档** - Hadoop HDFS文件系统管理与MapReduce编程范式[^2] - Spark SQL结构化数据处理（如`DataFrame`操作）与流式计算（Spark Streaming）[^1] #### 二、典型实战场景与案例 1. **日志分析系统** - 使用Hadoop存储TB级日志数据，通过Spark进行实时聚合分析（例如用户行为模式挖掘） - 技术栈示例： ```scala val logRDD = sc.textFile("hdfs://path/to/logs") val errorCount = logRDD.filter(_.contains("ERROR")).count() ``` 2. **推荐系统数据预处理** - 基于Spark MLlib实现协同过滤算法，结合Hadoop存储用户画像数据 - 关键步骤：特征工程$\rightarrow$模型训练$\rightarrow$结果存储到HBase 3. **金融风控实时计算** - 使用Spark Streaming处理Kafka流式数据，Hadoop归档历史交易记录 - 实现异常交易检测（如滑动窗口统计：$$ \sum_{t=T-5}^{T} \text{TransactionAmount}_t > \text{Threshold} $$） #### 三、环境搭建建议 1. **单机伪分布式环境** - Hadoop 3.x + Spark 3.x + JDK 11（兼容性需验证） - 配置示例： ```xml <!-- core-site.xml --> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> ``` 2. **集群部署要点** - 数据本地化优化：HDFS块大小设置为128MB - Spark资源分配策略：`spark.executor.memory`与`spark.driver.memory`比例建议2:1
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值