CDH分布式环境搭建

hadoop机架感知配置——HDFS 编辑core-site.xml配置文件,将脚本配置为topology.script.file.name的值 进入到 /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop 的位置编辑core-site.xml配置文件,将下面的代码添加到文件的末尾并保存 topology.script.file.name /home/bigdata/apps/hadoop/etc/hadoop/RackAware.py 最后进入到 /export/servers/hadoop- 阅读详情

环境:hadoop-2.6.0-cdh5.14.0
cdh所有软件下载地址:
http://archive.cloudera.com/cdh5/cdh/5/

一、CDH版本hadoop重新编译

为什么要编译hadoop?
由于CDH的所有安装包版本都给出了对应的软件版本,一般情况下是不需要自己进行编译的,但是由于cdh给出的hadoop的安装包没有提供带C程序访问的接口,所以我们在使用本地库(本地库可以用来做压缩,以及支持C程序等等)的时候就会出问题,好了废话不多说,接下来看如何编译

二、CDH版本的zookeeper环境搭建

下载地址为:
http://archive.cloudera.com/cdh5/cdh/5/
我们这里也下载对应版本的CDH5.14.0这个版本的zookeeper的压缩包即可

2.1 修改配置文件

node01修改配置文件

1)创建zk数据存放目录

mkdir -p /export/servers/zookeeper-3.4.5-cdh5.14.0/zkdatas

2)修改zk配置文件

cd /export/servers/zookeeper-3.4.5-cdh5.14.0/conf 
cp zoo_sample.cfg zoo.cfg
vim  zoo.cfg
dataDir=/export/servers/zookeeper-3.4.5-cdh5.14.0/zkdatas
autopurge.snapRetainCount=3
autopurge.purgeInterval=1
server.1=node01:2888:3888
server.2=node02:2888:3888
server.3=node03:2888:3888

3)创建myid文件并写入内容

echo 1 > /export/servers/zookeeper-3.4.5-cdh5.14.0/zkdatas/myid

4)将安装包分发到其他机器
node01执行以下命令

cd /export/servers
scp -r zookeeper-3.4.5-cdh5.14.0/ node02:$PWD
scp -r zookeeper-3.4.5-cdh5.14.0/ node03:$PWD

node02修改配置文件

1)node02执行以下命令

cd /export/servers/zookeeper-3.4.5-cdh5.14.0/conf
vim  zoo.cfg
dataDir=/export/servers/zookeeper-3.4.5-cdh5.14.0/zkdatas
autopurge.snapRetainCount=3
autopurge.purgeInterval=1
server.1=node01:2888:3888
server.2=node02:2888:3888
server.3=node03:2888:3888

2)创建myid文件并赋值

echo 2 > /export/servers/zookeeper-3.4.5-cdh5.14.0/zkdatas/myid

node03修改配置文件

node03执行以下命令

cd /export/servers/zookeeper-3.4.5-cdh5.14.0/conf
vim  zoo.cfg
dataDir=/export/servers/zookeeper-3.4.5-cdh5.14.0/zkdatas
autopurge.snapRetainCount=3
autopurge.purgeInterval=1
server.1=node01:2888:3888
server.2=node02:2888:3888
server.3=node03:2888:3888

创建myid文件并赋值

echo 3 > /export/servers/zookeeper-3.4.5-cdh5.14.0/zkdatas/myid

2.2 启动zk服务

三台服务器启动zookeeper,三台机器都执行以下命令启动zookeeper

cd  /export/servers/zookeeper-3.4.5-cdh5.14.0
bin/zkServer.sh start

三、CDH 伪分布式环境搭建

安装环境服务部署规划
在这里插入图片描述

第一步:上传压缩包并解压

将我们重新编译之后支持snappy压缩的hadoop包上传到第一台服务器并解压。

第一台机器执行以下命令

cd /export/softwares/
mv hadoop-2.6.0-cdh5.14.0-自己编译后的版本.tar.gz hadoop-2.6.0-cdh5.14.0.tar.gz
tar -zxvf hadoop-2.6.0-cdh5.14.0.tar.gz -C ../servers/

第二步:查看hadoop支持的压缩方式以及本地库

第一台机器执行以下命令

cd /export/servers/hadoop-2.6.0-cdh5.14.0
bin/hadoop checknative

如果出现openssl为false,那么所有机器在线安装openssl即可,执行以下命令,虚拟机联网之后就可以在线进行安装了。

yum -y install openssl-devel

第三步:修改配置文件

修改core-site.xml

第一台机器执行以下命令
cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim core-site.xml

<configuration>
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://node01:8020</value>
	</property>
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/tempDatas</value>
	</property>
	<!--  缓冲区大小,实际工作中根据服务器性能动态调整 -->
	<property>
		<name>io.file.buffer.size</name>
		<value>4096</value>
	</property>

	<!--  开启hdfs的垃圾桶机制,删除掉的数据可以从垃圾桶中回收,单位分钟 -->
	<property>
		<name>fs.trash.interval</name>
		<value>10080</value>
	</property>
</configuration>

修改hdfs-site.xml

第一台机器执行以下命令
cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim hdfs-site.xml

<configuration>
	<!-- NameNode存储元数据信息的路径,实际工作中,一般先确定磁盘的挂载目录,然后多个目录用,进行分割   --> 
	<!--   集群动态上下线 
	<property>
		<name>dfs.hosts</name>
		<value>/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/accept_host</value>
	</property>
	
	<property>
		<name>dfs.hosts.exclude</name>
		<value>/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/deny_host</value>
	</property>
	 -->
	 
	 <property>
			<name>dfs.namenode.secondary.http-address</name>
			<value>node01:50090</value>
	</property>

	<property>
		<name>dfs.namenode.http-address</name>
		<value>node01:50070</value>
	</property>
	<property>
		<name>dfs.namenode.name.dir</name>
		<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/namenodeDatas</value>
	</property>
	<!--  定义dataNode数据存储的节点位置,实际工作中,一般先确定磁盘的挂载目录,然后多个目录用,进行分割  -->
	<property>
		<name>dfs.datanode.data.dir</name>
		<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/datanodeDatas</value>
	</property>
	
	<property>
		<name>dfs.namenode.edits.dir</name>
		<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/edits</value>
	</property>
	<property>
		<name>dfs.namenode.checkpoint.dir</name>
		<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/snn/name</value>
	</property>
	<property>
		<name>dfs.namenode.checkpoint.edits.dir</name>
		<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/snn/edits</value>
	</property>
	<property>
		<name>dfs.replication</name>
		<value>3</value>
	</property>
	<property>
		<name>dfs.permissions</name>
		<value>false</value>
	</property>
    <property>
		<name>dfs.blocksize</name>
		<value>134217728</value>
	</property>
</configuration>

修改hadoop-env.sh

第一台机器执行以下命令
cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim hadoop-env.sh
export JAVA_HOME=/export/servers/jdk1.8.0_141

修改mapred-site.xml

第一台机器执行以下命令
cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim mapred-site.xml

<configuration>
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>

	<property>
		<name>mapreduce.job.ubertask.enable</name>
		<value>true</value>
	</property>
	
	<property>
		<name>mapreduce.jobhistory.address</name>
		<value>node01:10020</value>
	</property>

	<property>
		<name>mapreduce.jobhistory.webapp.address</name>
		<value>node01:19888</value>
	</property>
</configuration>

修改yarn-site.xml

第一台机器执行以下命令
cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim yarn-site.xml

<configuration>
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>node01</value>
	</property>
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
	
	<property>
		<name>yarn.log-aggregation-enable</name>
		<value>true</value>
	</property>
	<property>
		<name>yarn.log-aggregation.retain-seconds</name>
		<value>604800</value>
	</property>
</configuration>

修改slaves文件

第一台机器执行以下命令
cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim slaves
node01
node02
node03

第四步:创建文件存放目录

第一台机器执行以下命令
node01机器上面创建以下目录

mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/tempDatas
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/namenodeDatas
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/datanodeDatas 
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/edits
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/snn/name
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/snn/edits

第五步:安装包的分发

第一台机器执行以下命令

cd /export/servers/
scp -r hadoop-2.6.0-cdh5.14.0/ node02:$PWD
scp -r hadoop-2.6.0-cdh5.14.0/ node03:$PWD

第六步:配置hadoop的环境变量

三台机器都要进行配置hadoop的环境变量
三台机器执行以下命令

vim  /etc/profile
export HADOOP_HOME=/export/servers/hadoop-2.6.0-cdh5.14.0
export PATH=:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

配置完成之后生效

source /etc/profile

第七步:集群启动

要启动 Hadoop 集群,需要启动 HDFS 和 YARN 两个集群。
注意:首次启动HDFS时,必须对其进行格式化操作。本质上是一些清理和准备工作,因为此时的 HDFS 在物理上还是不存在的。
bin/hdfs namenode -format或者bin/hadoop namenode –format

单个节点逐一启动

在主节点上使用以下命令启动 HDFS NameNode:

hadoop-daemon.sh start namenode 

在每个从节点上使用以下命令启动 HDFS DataNode:

hadoop-daemon.sh start datanode 

在主节点上使用以下命令启动 YARN ResourceManager:

yarn-daemon.sh  start resourcemanager 

在每个从节点上使用以下命令启动 YARN nodemanager:

yarn-daemon.sh start nodemanager 

以上脚本位于$HADOOP_PREFIX/sbin/目录下。如果想要停止某个节点上某个角色,只需要把命令中的start 改为stop 即可。

脚本一键启动

如果配置了 etc/hadoop/slaves 和 ssh 免密登录,则可以使用程序脚本启动所有Hadoop 两个集群的相关进程,在主节点所设定的机器上执行。
启动集群:
node01节点上执行以下命令
第一台机器执行以下命令

cd /export/servers/hadoop-2.6.0-cdh5.14.0/
sbin/start-dfs.sh
sbin/start-yarn.sh
sbin/mr-jobhistory-daemon.sh start historyserver

停止集群:没事儿不要去停止集群

sbin/stop-dfs.sh
sbin/stop-yarn.sh
sbin/mr-jobhistory-daemon.sh start historyserver

第八步:浏览器查看启动页面

hdfs集群访问地址
http://192.168.52.100:50070/dfshealth.html#tab-overview
yarn集群访问地址
http://192.168.52.100:8088/cluster
jobhistory访问地址:
http://192.168.52.100:19888/jobhistory

大数据环境搭建篇 CDH分布式环境搭建 (支持snappy) 准备: 1.配置好java环境变量 2.配置好主机名/etc/sysconfig/network 3.配置好hosts /etc/hosts 4.配置好免密登录ssh 5.关闭selinux以及防火墙 第一步:上传压缩包并解压 将我们重新编译之后支持snappy压缩的Hadoop包上传到第一台服务器并解压(我会在片尾留下链接,大家可自行下载) 第一台机器执行以下命令 cd /export/soft... 阅读详情

相关推荐

【NCBI】SRA toolkit安装及使用-Windows&Linux版本

由于市面上的文章介绍SRA toolkit基本上都是基于Linux,而在windows下运行SRA toolkit基本上可以达到相同的效果且更为方便,故本文将分别阐明在Windows和Linux环境下SRA toolkit的安装及使用。

weixin_48076899的博客 2万+

cdh中修改配置 包括:hive-site.xml、hbase-site.xml、core-site.xml等

CDH的配置文件放置于/var/run/cloudera-scm-agent/process/目录下。如:/var/run/cloudera-scm-agent/process/193-hdfs-NAMENODE/core-site.xml。这些配置文件是通过Cloudera Manager启动相应服务(如HDFS)时生成的,内容从数据库中获得(即通过界面配置的参数)。 在CM界面上更改配置是不会立即反映到配置文件中,这些信息会存储于数据库中,等下次重启服务时才会生成配置文件。且每次启动时都会产生新的配置文

fairynini的博客 6530

光伏5G多合一融合终端|光伏多合一融合终端|光伏多合一群调群控网关|分布式光伏群控群调|光伏AGC/AVC系统这几者之间什么技术关系,多少钱一套预算?

RCL-0923光伏电站电压\功率自动控制装置(光伏AVC/AGC),能够接收调度DMS下发的调节目标(电压或无功),按既定策略的调节目标计算光伏电站无功功率出力需求,支持总有、无功,最大可调范围、逆变器个数等数据的上送,通过选择控制设备并进行无功功率出力分配,并将最终控制指令自动下达给被控制设备,最终实现光伏电站无功功率控制,实现无功功率、并网点电压的监测和控制,跟踪调度中心下发的电压或无功调节目标值,实现分布式电源的可观可测,可调可控。光伏5G多合一融合终端的功能:群调群控/AGC/AVC功能。

分布式DTU物联网DTU 2609

Hadoop CDH四种安装方式总结及实例指导

CDH安装有四种方式 Cloudera manager Tarball Yum Rpm 下面是四种方式分别介绍: Cloudera manager 安装 Cloudera Manager和CDH4.1的安装 Cloudera Manager的安装需要先修改机器的三个配置:关闭防火墙:service iptables stop;关闭selinux:setenforce...

soledede 524

综合能源系统多时间尺度优化调度!诸多创新点让你抓住审稿人的心!

主要介绍综合能源系统的设备组成结构,并针对屋顶光伏系统、冷-热-电联供系统中的燃气轮机、燃气锅炉、光伏溴化锂制冷机、卡琳娜余热发电、中央空调系统,以及外网交互系统的配电网与天然气管网交互关系进行数学建模。1) 源-荷-储协同调度:研究屋顶光伏、燃气轮机、燃气锅炉等源侧设备,中央空调、电-热-冷负荷、可平移电负荷、可削减温控负荷等负荷侧资源,以及储能系统、电动汽车等储能侧设备的协同调度,以提高风光消纳能力,满足社会能源需求。通过电转热、电转冷、电转气等多能耦合方式,可进一步促进可再生能源的应用与发展。

weixin_48747334的博客 1490

从零搭建openEuler ARM64开发测试环境:手把手教你用libvirt+KVM配置虚拟机(含VNC远程安装)

本文详细介绍了如何在ARM64平台上从零搭建openEuler开发测试环境,涵盖libvirt和KVM配置虚拟机的完整流程,包括环境准备、存储配置、网络优化、XML配置详解以及VNC远程安装。特别针对华为欧拉(openEuler)系统进行了优化,帮助开发者快速构建高效的ARM架构虚拟化环境。

weixin_30545945的博客 587

Hadoop core-site.xml 配置项列表

core-default.xml与core-site.xml的功能是一样的,如果在core-site.xml里没有配置的属性,则会自动会获取core-default.xml里的相同属性的值 官方文档:http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/core-default.xml 以下表格中专业词简...

weixin_30492047的博客 549

展会客流统计的客流统计系统,WiFi客流每时每客

一般展会的举行时间都在3-7天之间,展会作为市场部门一项重要工作,一直以来没有一项有效的工具能够提供数据支持。 展会最重要的是通过活动和产品来吸引参展者的参观,如何统计展会期间的客流量呢?如何通过将数据转化成为活动数据的支撑呢? 目前成熟的解决方案有,视频客流统计、WiFi客流统计、红外线客流统计等方式。由于展会通常的时间都比较短,视频、红外线客流统计采购及安装价格都比较高,需

isentech的博客 3998

hadoop搭建四个配置文件(core-site.xml hdfs-site.xml mapred-site.xml yarn-site.xml )的简单介绍

一 、core-site.xml &amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;lt;configuration&amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;gt; &amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;lt;!--指定namenode的地址--&amp;amp;amp;amp;amp;amp;

u013429010的博客 3万+

STM32 使用IQmath实现SVPWM

文章目录SVPWMIQMATHIQmathLib测试部分程序附件 SVPWM SVPWM是空间矢量脉宽调制(Space Vector Pulse Width Modulation)的简称,通常由三相逆变器的六个功率开关管组成,经过特定的时序和换相所所产生的脉冲宽度调制波,最终输出的波形可能会十分接近理想的正弦波形。 具体如下图所示;左侧为复平面,即空间矢量,右侧为时域的正弦波形; 关于SVPWM原理的文章非常多,这里可以推荐一下网上一个非常不错的教程《SVPWM的原理及法则推导和控制算法详解第五修改版》,

一名热爱技术的工程师的博客。分享技术干货,记录美好生活。永远相信美好的事情即将发生。 2万+

2025.05.28【读书笔记】|如何用SILVA和RFAM数据库高效去除rRNA污染

摘要: 在Ribo-seq等测序数据分析中,清除rRNA污染对结果准确性至关重要。仅使用SILVA数据库可能遗漏5S rRNA污染,建议结合RFAM数据库(特别是RF00001家族)全面清除。操作要点包括:下载两库序列、将RNA碱基U替换为DNA的T、合并序列建立索引,使用bowtie2过滤rRNA reads。注意U/T转换是关键,否则会导致比对失败。该方法能有效提升数据清洁度,为后续分析奠定基础。

980

CDH 分布式环境搭建集群

安装环境服务部署规划 第一步:上传压缩包并解压 将我们重新编译之后支持snappy压缩的Hadoop包上传到第一台服务器并解压 第一台机器执行以下命令 mkdir -p /export/softwares/ mkdir -p /export/servers/ 将Hadoop 的压缩包上传到/export/softwares/目录下(注意 一定要是编译后的压缩包) cd /export/s...

weixin_45774195的博客 360

YOLO26涨点改进 | 细节涨点篇 | 源自SCI一区 | YOLO26引入HWD小波下采样模块,而不会显著增加计算开销,(适合小目标分割任务、小目标检测任务)

本文提出了一种基于Haar小波变换的下采样模块HWD,用于改进YOLO26目标检测性能。HWD模块通过小波变换降低特征图分辨率,同时将空间信息编码到通道维度,有效保留了关键信息。相比传统下采样方法,HWD能显著减少信息不确定性,提升小目标检测精度。实验表明,该模块可无缝集成到CNN架构中,不增加计算开销。文章详细介绍了HWD的实现原理、代码结构以及在YOLO26中的集成方法,并提供了两种改进版yaml配置文件。该创新模块已在多种数据集上验证有效,特别适合语义分割和目标检测任务。

Ai缝合怪、助力小伙伴高效发论文 405

CDH分布式环境的搭建

目标:搭建基于CDH的分布式集群 安装环境服务部署规划 服务器IP 192.168.52.100 192.168.52.110 192.168.52.120 HDFS NameNode SecondaryNa...

L15593445790的博客 519

最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版

Part-E1-SDIO-Specification-Ver4.00-Final-120220.pdf:最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版,包括SDIO 接口的外设,SDIO 接口官方协议等。

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

Hadoop(CDH)分布式环境搭建(简单易懂,绝对有效!)

        这篇博客,小菌分享的是大数据集群的安装部署,超级有效,希望能够帮助到大家!         在部署之前,我们需要做一些准备工作。 准备好三台虚拟机,ip分别为192.168.100.100,192.168.100.110,1...

大数据梦想家 8793

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

CDH 分布式环境搭建

CDH 分布式环境搭建 目标:搭建基于CDH的分布式集群 安装环境服务部署规划 第一步:上传压缩包并解压 将我们重新编译之后支持snappy压缩的Hadoop包上传到第一台服务器并解压 第一台机器执行以下命令 cd /export/softwares/ mv hadoop-2.6.0-cdh5.14.0-自己编译后的版本.tar.gz hadoop-2.6.0-cdh5.14.0.tar.gz ...

Malu_的博客 389

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

Hadoop CDH 分布式环境搭建

Hadoop CDH 分布式环境搭建1.上传压缩包并解压2.查看Hadoop支持的压缩方式以及本地库3.修改配置文件修改core-site.xml修改hdfs-site.xml修改Hadoop-env.sh(如果配置了JDK1.8就不用修改)修改mapred-site.xml修改yarn-site.xml修改slaves文件4.创建文件存放目录5.安装包的分发6.配置Hadoop的环境变量7.集群启动单个节点逐一启动脚本一键启动HDFS、Yarn脚本一键启动所有8.浏览器查看启动页面 1.上传压缩包并解压

LeeBoolean的博客 1658

Hadoop安装 -- CDH分布式环境搭建

目标: 搭建基于CDH的分布式集群 安装环境服务部署计划 准备工作 1.关闭防火墙/etc/init.d/iptables stop chkconfig iptables off 2.关闭selinux 3.修改主机名 4.ssh无密码拷贝数据 特别说明(在主节点无密码访问到从节点) ssh-keygen ssh-copy-id 192.168.100.201 ssh...

weixin_45749011的博客 2万+

Hadoop-2.3.0-cdh5.0.1分布式环境搭建

Hadoop-2.3.0-cdh5.0.1分布式环境搭建(NameNode,ResourceManagerHA) 2014/6/25 12:07:32 说明        本文搭建Hadoop CDH5.0.1 分布式系统,包括NameNode ,ResourceManger HA,忽略了Web Application Proxy 和Job His

狐狸叫 870

hadoop项目实战之分布式集群环境搭建(CDH5)-杨帅-专题视频课程

1、具实战性:全程实战演练实际生产环境部署、实验环境部署、CDH源码安装的各个细节。 2、具系统性:从机器和软件的规划、选型,相关软件的安装,核心文件的配置,到文件系统的初始化、系统环境的检查和验证,HDFS的UI介绍和shell操作,再到CDH源码安装。各个章节环环相扣,逻辑性极强。...

djt_20180507的博客 381

大数据入门--CDH 分布式环境搭建(集群的搭建)

集群的搭建 第一步:配置jdk(三台)

Mr_Yang888的博客 1万+

Hadoop(CDH)分布式环境搭建(简单易懂,绝对有效)

大数据技术与架构点击右侧关注,大数据开发领域最强公众号!暴走大数据点击右侧关注,暴走大数据!本文是由alice菌发表在:https://blog.csdn.net/weixin_4431...

微信搜:import_bigdata,大数据领域硬核原创作者 776

大数据集群搭建(CDF分布式环境搭建)

目标:搭建基于CDH的分布式集群 安装环境服务部署规划 2013年说大数据只包括HDFS,MapReduce,2019年说大数据包括HDFS,YARN,MapReduce

qq_45739020的博客 722

大数据环境搭建篇 CDH分布式环境搭建 (支持snappy)-大萝卜博客

准备: 1.配置好java环境变量 2.配置好主机名/etc/sysconfig/network 3.配置好hosts /etc/hosts 4.配置好免密登录ssh 5.关闭selinux以及防火墙 ##第一步:上传压缩包并解压 将我们重新编译之后支持snappy压缩的Hadoop包上传到第一台服务器并解压(我会在片尾留下链接,大家可自行下载) 第一台机器执行以下命令 cd /ex...

大萝卜博客 548
上一篇: 大数据集群环境准备
下一篇: hive 与mysql 日期操作
ashencode
博客等级 码龄10年 26粉丝 53原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值