hadoop——完全分布式搭建(apache)

已于 2022-02-17 10:12:16 修改
阅读量97 收藏
点赞数
文章标签： hadoop 分布式 apache
于 2022-02-17 10:10:53 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/m0_61276219/article/details/122976789
版权

集群运行服务规划

192.168.52.102

192.168.52.103

192.168.52.104

zookeeper

zk

zk

zk

HDFS

JournalNode

JournalNode

JournalNode

NameNode（active）

NameNode

（standBy）

ZKFC

ZKFC

DataNode

DataNode

DataNode

YARN

ResourceManager

standBy

ResourceManager

active

NodeManager

NodeManager

NodeManager

MapReduce

JobHistoryServer

开始之前，请确保三台机器已搭建zookeeper集群

第一步：安装包解压

使用lrzsz上传安装包至/opt/software 

解压压缩包

第一台机器执行以下命令进行解压

cd /opt/software

tar -zxvf hadoop-2.7.5.tar.gz -C ../module/

配置文件的修改

cd /opt/module/hadoop-2.7.5/etc/hadoop

修改core-site.xml

<configuration>
<!-- 指定NameNode的HA高可用的zk地址  -->
	<property>
		<name>ha.zookeeper.quorum</name>
		<value>hadoop102:2181,hadoop103:2181,hadoop104:2181</value>
	</property>
 <!-- 指定HDFS访问的域名地址(逻辑名称ns，这个逻辑名称下面挂载了两个namenode，
 一个是active，一个是standby)  -->
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://ns</value>
	</property>
 <!-- 临时文件存储目录  -->
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/opt/module/hadoop-2.7.5/data/tmp</value>
	</property>
	 <!-- 开启hdfs垃圾箱机制，指定垃圾箱中的文件七天之后就彻底删掉
			单位为分钟
	 -->
	<property>
		<name>fs.trash.interval</name>
		<value>10080</value>
	</property>
</configuration>

修改hdfs-site.xml

<configuration>
<!--  指定命名空间  -->
	<property>
		<name>dfs.nameservices</name>
		<value>ns</value>
	</property>
<!--  指定该命名空间下的两个机器作为我们的NameNode  -->
	<property>
		<name>dfs.ha.namenodes.ns</name>
		<value>nn1,nn2</value>
	</property>

	<!-- 配置第一台服务器的namenode通信地址  -->
	<property>
		<name>dfs.namenode.rpc-address.ns.nn1</name>
		<value>hadoop102:8020</value>
	</property>
	<!--  配置第二台服务器的namenode通信地址  -->
	<property>
		<name>dfs.namenode.rpc-address.ns.nn2</name>
		<value>hadoop103:8020</value>
	</property>
	<!-- 所有从节点之间相互通信端口地址 -->
	<property>
		<name>dfs.namenode.servicerpc-address.ns.nn1</name>
		<value>hadoop102:8022</value>
	</property>
	<!-- 所有从节点之间相互通信端口地址 -->
	<property>
		<name>dfs.namenode.servicerpc-address.ns.nn2</name>
		<value>hadoop103:8022</value>
	</property>
	
	<!-- 第一台服务器namenode的web访问地址  -->
	<property>
		<name>dfs.namenode.http-address.ns.nn1</name>
		<value>hadoop102:50070</value>
	</property>
	<!-- 第二台服务器namenode的web访问地址  -->
	<property>
		<name>dfs.namenode.http-address.ns.nn2</name>
		<value>hadoop103:50070</value>
	</property>
	
	<!-- journalNode的访问地址，注意这个地址一定要配置 -->
	<property>
		<name>dfs.namenode.shared.edits.dir</name>
		<value>qjournal://hadoop102:8485;hadoop103:8485;hadoop104:8485/ns1</value>
	</property>
	<!--  指定故障自动恢复使用的哪个java类 -->
	<property>
		<name>dfs.client.failover.proxy.provider.ns</name>
		<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
	</property>
	
	<!-- 故障转移使用的哪种通信机制 -->
	<property>
		<name>dfs.ha.fencing.methods</name>
		<value>sshfence</value>
	</property>
	
	<!-- 指定通信使用的公钥,如果集群用的是普通用户启动，那么这里就得指定普通用户的私钥存放地址  -->
	<property>
		<name>dfs.ha.fencing.ssh.private-key-files</name>
		<value>/root/.ssh/id_rsa</value>
	</property>
	<!-- journalNode数据存放地址  -->
	<property>
		<name>dfs.journalnode.edits.dir</name>
		<value>/opt/module/hadoop-2.7.5/data/dfs/jn</value>
	</property>
	<!-- 启用自动故障恢复功能 -->
	<property>
		<name>dfs.ha.automatic-failover.enabled</name>
		<value>true</value>
	</property>
	<!-- namenode产生的文件存放路径 -->
	<property>
		<name>dfs.namenode.name.dir</name>
		<value>file:///opt/module/hadoop-2.7.5/data/dfs/nn/name</value>
	</property>
	<!-- edits产生的文件存放路径 -->
	<property>
		<name>dfs.namenode.edits.dir</name>
		<value>file:///opt/module/hadoop-2.7.5/data/dfs/nn/edits</value>
	</property>
	<!-- dataNode文件存放路径 -->
	<property>
		<name>dfs.datanode.data.dir</name>
		<value>file:///opt/module/hadoop-2.7.5/data/dfs/dn</value>
	</property>
	<!-- 关闭hdfs的文件权限 -->
	<property>
		<name>dfs.permissions</name>
		<value>false</value>
	</property>
	<!-- 指定block文件块的大小 -->
	<property>
		<name>dfs.blocksize</name>
		<value>134217728</value>
	</property>
</configuration>

修改yarn-site.xml，注意hadoop104与hadoop103配置不同

<configuration>
<!-- Site specific YARN configuration properties -->
<!-- 是否启用日志聚合.应用程序完成后,日志汇总收集每个容器的日志,这些日志移动到文件系统,例如HDFS. -->
<!-- 用户可以通过配置"yarn.nodemanager.remote-app-log-dir"、"yarn.nodemanager.remote-app-log-dir-suffix"来确定日志移动到的位置 -->
<!-- 用户可以通过应用程序时间服务器访问日志 -->

<!-- 启用日志聚合功能，应用程序完成后，收集各个节点的日志到一起便于查看 -->
	<property>
			<name>yarn.log-aggregation-enable</name>
			<value>true</value>
	</property>
 

<!--开启resource manager HA,默认为false--> 
<property>
        <name>yarn.resourcemanager.ha.enabled</name>
        <value>true</value>
</property>
<!-- 集群的Id，使用该值确保RM不会做为其它集群的active -->
<property>
        <name>yarn.resourcemanager.cluster-id</name>
        <value>mycluster</value>
</property>
<!--配置resource manager  命名-->
<property>
        <name>yarn.resourcemanager.ha.rm-ids</name>
        <value>rm1,rm2</value>
</property>
<!-- 配置第一台机器的resourceManager -->
<property>
        <name>yarn.resourcemanager.hostname.rm1</name>
        <value>hadoop104</value>
</property>
<!-- 配置第二台机器的resourceManager -->
<property>
        <name>yarn.resourcemanager.hostname.rm2</name>
        <value>hadoop103</value>
</property>

<!-- 配置第一台机器的resourceManager通信地址 -->
<property>
        <name>yarn.resourcemanager.address.rm1</name>
        <value>hadoop104:8032</value>
</property>
<!--任务调度的通信地址-->
<property>
        <name>yarn.resourcemanager.scheduler.address.rm1</name>
        <value>hadoop104:8030</value>
</property>
<!--资源定位追踪通信地址-->
<property>
        <name>yarn.resourcemanager.resource-tracker.address.rm1</name>
        <value>hadoop104:8031</value>
</property>
<!--resourceManager管理地址-->
<property>
        <name>yarn.resourcemanager.admin.address.rm1</name>
        <value>hadoop104:8033</value>
</property>
<!--resourceManager的web界面查看地址-->
<property>
        <name>yarn.resourcemanager.webapp.address.rm1</name>
        <value>hadoop104:8088</value>
</property>

<!-- 配置第二台机器的resourceManager通信地址 -->
<property>
        <name>yarn.resourcemanager.address.rm2</name>
        <value>hadoop103:8032</value>
</property>
<property>
        <name>yarn.resourcemanager.scheduler.address.rm2</name>
        <value>hadoop103:8030</value>
</property>
<property>
        <name>yarn.resourcemanager.resource-tracker.address.rm2</name>
        <value>hadoop103:8031</value>
</property>
<property>
        <name>yarn.resourcemanager.admin.address.rm2</name>
        <value>hadoop103:8033</value>
</property>
<property>
        <name>yarn.resourcemanager.webapp.address.rm2</name>
        <value>hadoop103:8088</value>
</property>
<!--开启resourcemanager自动恢复功能-->
<property>
        <name>yarn.resourcemanager.recovery.enabled</name>
        <value>true</value>
</property>
<!--在node1上配置rm1,在node2上配置rm2,注意：一般都喜欢把配置好的文件远程复制到其它机器上，但这个在YARN的另一个机器上一定要修改，其他机器上不配置此项-->
	<property>       
		<name>yarn.resourcemanager.ha.id</name>
		<value>rm1</value> 
       <description>If we want to launch more than one RM in single node, we need this configuration</description>
	</property>
	   
	   <!--用于持久存储的类。尝试开启-->
<property>
        <name>yarn.resourcemanager.store.class</name>
        <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
</property>
<property>
        <name>yarn.resourcemanager.zk-address</name>
        <value>hadoop103:2181,hadoop104:2181,hadoop102:2181</value>
        <description>For multiple zk services, separate them with comma</description>
</property>
<!--开启resourcemanager故障自动切换，指定机器--> 
<property>
        <name>yarn.resourcemanager.ha.automatic-failover.enabled</name>
        <value>true</value>
        <description>Enable automatic failover; By default, it is enabled only when HA is enabled.</description>
</property>
<property>
        <name>yarn.client.failover-proxy-provider</name>
        <value>org.apache.hadoop.yarn.client.ConfiguredRMFailoverProxyProvider</value>
</property>
<!-- 允许分配给一个任务最大的CPU核数，默认是8 -->
<property>
        <name>yarn.nodemanager.resource.cpu-vcores</name>
        <value>4</value>
</property>
<!-- 每个节点可用内存,单位MB -->
<property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>512</value>
</property>
<!-- 单个任务可申请最少内存，默认1024MB -->
<property>
        <name>yarn.scheduler.minimum-allocation-mb</name>
        <value>512</value>
</property>
<!-- 单个任务可申请最大内存，默认8192MB -->
<property>
        <name>yarn.scheduler.maximum-allocation-mb</name>
        <value>512</value>
</property>
<!--多长时间聚合删除一次日志 此处-->
<property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>2592000</value><!--30 day-->
</property>
<!--时间在几秒钟内保留用户日志。只适用于如果日志聚合是禁用的-->
<property>
        <name>yarn.nodemanager.log.retain-seconds</name>
        <value>604800</value><!--7 day-->
</property>
<!--指定文件压缩类型用于压缩汇总日志-->
<property>
        <name>yarn.nodemanager.log-aggregation.compression-type</name>
        <value>gz</value>
</property>
<!-- nodemanager本地文件存储目录-->
<property>
        <name>yarn.nodemanager.local-dirs</name>
        <value>/opt/module/hadoop-2.7.5/yarn/local</value>
</property>
<!-- resourceManager  保存最大的任务完成个数 -->
<property>
        <name>yarn.resourcemanager.max-completed-applications</name>
        <value>1000</value>
</property>
<!-- 逗号隔开的服务列表，列表名称应该只包含a-zA-Z0-9_,不能以数字开始-->
<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
</property>

<!--rm失联后重新链接的时间--> 
<property>
        <name>yarn.resourcemanager.connect.retry-interval.ms</name>
        <value>2000</value>
</property>
</configuration>

修改mapred-site.xml.template为mapred-site.xml

<configuration>
<!--指定运行mapreduce的环境是yarn -->
<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
</property>
<!-- MapReduce JobHistory Server IPC host:port -->
<property>
        <name>mapreduce.jobhistory.address</name>
        <value>hadoop104:10020</value>
</property>
<!-- MapReduce JobHistory Server Web UI host:port -->
<property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>hadoop104:19888</value>
</property>
<!-- The directory where MapReduce stores control files.默认 ${hadoop.tmp.dir}/mapred/system -->
<property>
        <name>mapreduce.jobtracker.system.dir</name>
        <value>/opt/module/hadoop-2.7.5/data/system/jobtracker</value>
</property>
<!-- The amount of memory to request from the scheduler for each map task. 默认 1024-->
<property>
        <name>mapreduce.map.memory.mb</name>
        <value>1024</value>
</property>
<!-- <property>
                <name>mapreduce.map.java.opts</name>
                <value>-Xmx1024m</value>
        </property> -->
<!-- The amount of memory to request from the scheduler for each reduce task. 默认 1024-->
<property>
        <name>mapreduce.reduce.memory.mb</name>
        <value>1024</value>
</property>
<!-- <property>
               <name>mapreduce.reduce.java.opts</name>
               <value>-Xmx2048m</value>
        </property> -->
<!-- 用于存储文件的缓存内存的总数量，以兆字节为单位。默认情况下，分配给每个合并流1MB，给个合并流应该寻求最小化。默认值100-->
<property>
        <name>mapreduce.task.io.sort.mb</name>
        <value>100</value>
</property>
 
<!-- <property>
        <name>mapreduce.jobtracker.handler.count</name>
        <value>25</value>
        </property>-->
<!-- 整理文件时用于合并的流的数量。这决定了打开的文件句柄的数量。默认值10-->
<property>
        <name>mapreduce.task.io.sort.factor</name>
        <value>10</value>
</property>
<!-- 默认的并行传输量由reduce在copy(shuffle)阶段。默认值5-->
<property>
        <name>mapreduce.reduce.shuffle.parallelcopies</name>
        <value>25</value>
</property>
<property>
        <name>yarn.app.mapreduce.am.command-opts</name>
        <value>-Xmx1024m</value>
</property>
<!-- MR AppMaster所需的内存总量。默认值1536-->
<property>
        <name>yarn.app.mapreduce.am.resource.mb</name>
        <value>1536</value>
</property>
<!-- MapReduce存储中间数据文件的本地目录。目录不存在则被忽略。默认值${hadoop.tmp.dir}/mapred/local-->
<property>
        <name>mapreduce.cluster.local.dir</name>
        <value>/opt/module/hadoop-2.7.5/data/system/local</value>
</property>
</configuration>

修改slaves

hadoop102
hadoop103
hadoop104

修改hadoop-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_251

集群启动过程

将第一台机器的安装包发送到其他机器上

第一台机器执行以下命令：

cd /opt/module

scp -r hadoop-2.7.5/ node02:$PWD

scp -r hadoop-2.7.5/ node03:$PWD

三台机器上共同创建目录

三台机器执行以下命令

mkdir -p /opt/module/hadoop-2.7.5/data/dfs/nn/name
mkdir -p /opt/module/hadoop-2.7.5/data/dfs/nn/edits
mkdir -p /opt/module/hadoop-2.7.5/data/dfs/nn/name
mkdir -p /opt/module/hadoop-2.7.5/data/dfs/nn/edits

更改hadoop103的rm2

第二台机器执行以下命令

cd /opt/module/hadoop-2.7.5/etc/hadoop

vim  yarn-site.xml
<property>       
		<name>yarn.resourcemanager.ha.id</name>
		<value>rm2</value>
       <description>If we want to launch more than one RM in single node, we need this configuration</description>
	</property>

启动HDFS过程

  • hadoop102机器执行以下命令
cd   /export/servers/hadoop-2.7.5

格式化zk

bin/hdfs zkfc -formatZK

sbin/hadoop-daemons.sh start journalnode

格式化namenode上面所有的数据

bin/hdfs namenode –format

初始化我们元数据信息

bin/hdfs namenode -initializeSharedEdits -force

sbin/start-dfs.sh
  • hadoop103上面执行
cd   /export/servers/hadoop-2.7.5

同步元数据信息，并且设置namenode为standBy状态

bin/hdfs namenode -bootstrapStandby

sbin/hadoop-daemon.sh start namenode

启动yarn过程

  • hadoop104上面执行
cd   /opt/module/hadoop-2.7.5

sbin/start-yarn.sh
  • hadoop103上执行
cd   /opt/module/hadoop-2.7.5

sbin/start-yarn.sh

查看resourceManager状态

  • hadoop104上面执行
cd   /opt/module/hadoop-2.7.5

bin/yarn rmadmin -getServiceState rm1

hadoop103上面执行

cd   /opt/module/hadoop-2.7.5
bin/yarn rmadmin -getServiceState rm2

hadoop104启动jobHistory

hadoop104机器执行以下命令启动jobHistory

cd /opt/module/hadoop-2.7.5

sbin/mr-jobhistory-daemon.sh start historyserver

hdfs状态查看

hadoop102机器查看hdfs状态

http://192.168.52.100:50070/dfshealth.html#tab-overview

hadoop103机器查看hdfs状态

http://192.168.52.110:50070/dfshealth.html#tab-overview

yarn集群访问查看

http://hadoop104:8088/cluster

历史任务浏览界面

页面访问：

http://192.168.52.104:19888/jobhistory

彼山有桥
关注
Apache Hadoop集群搭建
zhangyihaoooo的博客
03-25 524
Apache Hadoop安装详细步骤 Hadoop介绍 狭义上Hadoop指的是Apache软件基金会的一款开源软件。 用java语言实现，开源 允许用户使用简单的编程模型实现跨机器集群对海量数据进行分布式计算处理 2Hadoop核心组件 Hadoop HDFS（分布式文件存储系统）：解决海量数据存储 Hadoop YARN（集群资源管理和任务调度框架）：解决资源任务调度 Hadoop MapReduce（分布式计算框架）：解决海量数据计算 Hadoop现状...
apache方式搭建hadoop集群
strelizia
08-21 604
*0.前言* Apache模式搭建非常繁琐，需要配置很多配置文件，仅供学习使用，因为apache的hadoop是开源的，方便学习其内部的实现原理。实际生产中效率低，更推荐CDH等其他方式进行配置，CDH拥有自己的WEB管理页面，更方便对组件进行管理。 *1.集群准备* 虚拟机使用vmware。其实啥都一样，电脑性能跟不上的租阿里云腾讯云都可以，一定要支持CPU虚拟化。 先准备至少三个节点，要根据不同性能安排不同的进程。我这里分配的是hadoop01,4G内存 Hadoop0203都是2G内存，以hadoop
Hadoop分布式环境搭建练习
qq_15083919的博客
06-30 252
1、集群规划 集群运行服务规划 192.168.88.3 192.168.88.4 192.168.88.5 zookeeper zk zk zk HDFS JournalNode JournalNode JournalNode NameNode (active) NameNode (standBy) ZKFC ZKFC DataNode DataNode DataNode YARN
Hadoop完全分布式安装（centos下）
zmqgeek的博客
10-22 478
Hadoop完全分布式安装 （注：本教程简单的使用两个节点作为集群环境: 一个作为 Master 主节点，另一个作为 Slave1 从节点。） 一、准备工作 useradd -m hadoop -s /bin/bash   # 创建新用户hadoop，这条命令创建了可以登陆的 hadoop 用户，并使用 /bin/bash 作为shell。   passwd hadoop    #修改密
Apache Hadoop 完全分布式集群搭建（自备三台虚拟机，仅供学习使用）
weixin_49741990的博客
07-12 674
Apache Hadoop 完全分布式集群搭建 环境搭建准备 软件和操作系统版本 Hadoop框架是采用Java语言编写，需要java环境（jvm） JDK版本：JDK8版本 Hadoop搭建方式 单机模式：单节点模式，非集群，生产不会使用这种方式 单机伪分布式模式：单节点，多线程模拟集群的效果，生产不会使用这种方式 完全分布式模式：多台节点，真正的分布式Hadoop集群的搭建（生产环境建议使用这种方式） 三台虚拟机（静态IP，关闭防火墙，修改主机名，配置免密登录，集群时间同步）可以自己去百
Hadoop3.0.0完全分布式集群搭建
qq_38332453的博客
06-25 1501
Hadoop3.0.0完全分布式集群搭建1、前言2、准备工作3、环境准备4、集群搭建步骤5 修改每台机器主机名(hostname)6、配置ssh，实现无密码登录7、开始配置hadoop8、 启动Hadoop 1、前言 Hadoop环境搭建分为三种形式：单机模式、伪分布式模式、完全分布模式 单机模式—— 在一台单机上运行，没有分布式文件系统，而是直接读写本地操作系统的文件系统。 伪分布式—— 也是在一台单机上运行，但不同的是Java进程模仿分布式运行中的各类节点。即一台机器上，既当NameNode，又当Dat
Hadoop集群的搭建——完全分布式的安装配置（6节点）
咕噜君的博客
04-12 2280
Hadoop集群的搭建 节点分布的分析 下图是一个典型的HA集群架构图，通过简单分析可以看出，NameNode会被配置在两台独立的机器上（图中两个FailoverController作为NN）。在任何时间上，一个NameNode处于活动状态（图中FailoverController——Active），而另一个NameNode处于备份状态（图中FailoverController—...
Hadoop完全分布式集群搭建
weixin_36995355的博客
01-22 336
1. 集群搭建形式 Hadoop环境搭建分为三种形式：单机模式、伪分布式模式、完全分布模式 单机模式—— 在一台单机上运行，没有分布式文件系统，而是直接读写本地操作系统的文件系统。 伪分布式—— 也是在一台单机上运行，但不同的是Java进程模仿分布式运行中的各类节点。即一台机器上，既当NameNode，又当DataNode，或者说既是JobTracker又是TaskTracker。没有所谓的在多台机器上进行真正的分布式计算，故称为“伪分布式”。 完全分布式——真正的分布式，由3个及以上的实体机或者.
基于Hadoop架构的分布式计算和存储技术及其应用.pdf
08-11
Hadoop作为Apache软件基金会研发的分布式基础架构，自2005年推出以来，被广泛应用于各大公司的数据处理中，成为大数据处理领域的重要技术之一。Hadoop利用廉价的硬件设备组成的集群，通过其分布式文件系统HDFS，提供...
Hadoop集群的搭建——完全分布式的安装配置（3节点）
咕噜君的博客
07-07 1009
目录 集群节点分配 准备工作 hadoop安装配置 配置hadoop-env.sh 配置core-site.xml 配置hdfs-site.xml 配置mapred-site.xml 配置yarn-site.xml 配置slaves文件 配置hadoop的环境变量 集群启动 集群节点分配 hadoop01 hadoop02 hadoop03 HDFS NameNode DataNode DataNode S.
2021-04-16
Zerorhero的博客
04-16 299
数据来源：拉钩教育大数据高薪开发训练营 Hadoop学习第三部分：Hadoop 完全分布式集群搭建 第一节 软件和操作系统版本 Hadoop框架是采用Java语言编写，需要java环境（jvm） JDK版本：JDK8版本 linux操作系统：Centos7 hadoop版本：hadoop-2.9.2 Hadoop搭建方式 单机模式：单节点模式，非集群，生产不会使用这种方式 单机伪分布式模式：单节点，多线程模拟集群的效果，生产不会使用这种方式 完全分布式模式：多台节点，真正的分布式Hadoop集群的搭建（生产
【Hadoop】完全分布式安装
最新发布
ht15177518806的博客
06-23 930
这个是最后改好的样子。
Hadoop的完全分布式安装
Maqiuqiu520的博客
10-24 255
Hadoop的安装 一、准备工作 1.创建三台虚拟机； 2.ip addr查看三台虚拟机的ip; 3.用hostname修改主机名； 4.三台主机都修改/etc/hosts文件： 文件内容为： 172.18.74.59 cow1 172.18.74.61 cow2 172.18.74.65 cow3 5.查看三台主机是否可以ping通： 命令：ping -c 3 cow2 二、配置ssh免...
Hadoop完全分布式安装
SUNJDL的博客
12-20 604
Hadoop完全分布式安装在此主要介绍hadoop完全分布式的安装配置。
Hadoop完全分布式安装教程
denghe4720的博客
03-31 206
一、软件版本 Hadoop版本号：hadoop-2.6.0.tar； VMWare版本号：VMware-workstation-full-11.0.0-2305329 Ubuntu版本号：ubuntu-14.04.1-desktop-i386 其他版本也可 Jdk版本号：jdk-6u45-linux-i586.bin 后三项对版本要求不严格，如果使用Hbase1....
HBase完全分布式集群搭建指南
在构建HBase完全分布式集群之前，首先需要理解其依赖的基础架构——Hadoop。Hadoop是一个开源的分布式系统框架，主要由HDFS（Hadoop Distributed FileSystem）和MapReduce两大部分组成。HDFS为大规模数据提供了高...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值