hadoop安装配置

[实验]Hadoop集群安装与配置 8、SSH免密登录测试,在hadoop01节点中使用命令 ssh hadoop02,在hadoop02节点中使用命令 ssh hadoop03,在hadoop03节点中使用命令 ssh hadoop01,或直接在hadoop01节点中使用,效果如下。4、和JDK一样,我们安装完成后都需要配置环境变量,使用命令vi /etc/profile进入到该文件后,依旧在最后一行进行配置,参数如下(以下两行参数一定要把地址写对,如果你的地址是自己修改的,需要把第一行中的地址写为你修改的地址)修改完成后保存退出。 阅读详情

最近研究hadoop,建议下载hadoop0.19版本,相对稳定些。故我们就使用hadoop0.19版本来 安装学习。网上有几篇文章讲解如何安装,但都有这样那样的问题,下面就以我们的安装步骤来说明
1、硬件环境
    我们采用了3台机器来构建,都安装的是Ubuntu8.04系统,并且都有一个名为“quan“的帐号,如下:
           主机名称:360quan-1    ip:192.168.0.37        功能:NameNode,JobTracker
           主机名称:360quan-2    ip:192.168.0.43        功能:DataNode,TaskTracker
           主机名称:360quan-3    ip:192.168.0.53        功能:DataNode,TaskTracker
    重点:修改3台机器的/etc/hosts,让彼此的主机名称和ip都能顺利解析
          127.0.0.1       localhost
          192.168.0.37    360quan-1
          192.168.0.43    360quan-2
          192.168.0.53    360quan-3
2、每台机器都要安装java环境,我们的路径统一为“/opt/jdk1.6.0_03“,并添加到系统环境变量 sudo gedit /etc/profile

Xml代码
  1.       JAVA_HOME=/opt/jdk1.6.0_03  
  2. CLASSPATH=$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:.  
  3. PATH=$JAVA_HOME/bin:$PATH  
  4. export JAVA_HOME  
  5. export CLASSPATH  
  6. export PATH  
       JAVA_HOME=/opt/jdk1.6.0_03
	CLASSPATH=$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:.
	PATH=$JAVA_HOME/bin:$PATH
	export JAVA_HOME
	export CLASSPATH
	export PATH

 3、下载hadoop0.16.3,hbase0.12版本到"360quan-1",将hadoop解压到/home/quan/opt /hadoop,hbase解压到hadoop/contrib/hbase。建议最好也将hadoop的目录添加到环境变量里面去:

Xml代码
  1.       HADOOP_HOME=/home/quan/opt/hadoop #这是hadoop的主目录  
  2. export HADOOP_HOME  
  3. HADOOP_CONF_DIR=$HADOOP_HOME/conf   #这是hadoop的配置文件目录  
  4. export HADOOP_CONF_DIR  
  5. HADOOP_LOG_DIR=/home/quan/hadoop/log    #存放运行日志目录  
  6. export HADOOP_LOG_DIR  
  7. HADOOP_SSH_OPTS="-p 22"         #SSH的端口号,其实默认就是22  
  8. export HADOOP_SSH_OPTS    
       HADOOP_HOME=/home/quan/opt/hadoop	#这是hadoop的主目录
	export HADOOP_HOME
	HADOOP_CONF_DIR=$HADOOP_HOME/conf	#这是hadoop的配置文件目录
	export HADOOP_CONF_DIR
	HADOOP_LOG_DIR=/home/quan/hadoop/log	#存放运行日志目录
	export HADOOP_LOG_DIR
	HADOOP_SSH_OPTS="-p 22"			#SSH的端口号,其实默认就是22
	export HADOOP_SSH_OPTS	

 4、安装ssh,这里注意ubuntu8.04下面是ssh2,如果是ssh1的话,请升级,安装完后,建立ssh通道,使用空密码(生产环境可不能使用空密码啊),这里使用“360quan-1”这台机器为例说明:

Xml代码
  1.       sudo apt-get install ssh  
  2. ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa   
  3. cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys  
       sudo apt-get install ssh
	ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa 
	cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

      以上配置完成后,执行一下ssh localhsot,确认你的每台机器都可以使用ssh(不需要密码)连接,连接成功后会输出以下信息:

Xml代码
  1.       Linux zhangqiaohui-desktop 2.6.24-19-generic #1 SMP Wed Jun 4 16:35:01 UTC 2008 i686  
  2. The programs included with the Ubuntu system are free software;  
  3. the exact distribution terms for each program are described in the  
  4. individual files in /usr/share/doc/*/copyright.  
  5. Ubuntu comes with ABSOLUTELY NO WARRANTY, to the extent permitted by  
  6. applicable law.  
  7. To access official Ubuntu documentation, please visit:  
  8. http://help.ubuntu.com/  
  9. Last login: Thu Jun 12 10:40:50 2008 from localhost  
       Linux zhangqiaohui-desktop 2.6.24-19-generic #1 SMP Wed Jun 4 16:35:01 UTC 2008 i686
	The programs included with the Ubuntu system are free software;
	the exact distribution terms for each program are described in the
	individual files in /usr/share/doc/*/copyright.
	Ubuntu comes with ABSOLUTELY NO WARRANTY, to the extent permitted by
	applicable law.
	To access official Ubuntu documentation, please visit:
	http://help.ubuntu.com/
	Last login: Thu Jun 12 10:40:50 2008 from localhost

     ok后,我们将“360quan-1”机器上产生的这个空密钥拷贝到另外2台机器上,作为公共密钥,让namenode也可以不需要密码访问2台datanode:

Xml代码
  1.       sudo scp authorized_keys 360quan-2:/home/quan/.ssh/   
  2. sudo scp authorized_keys 360quan-3:/home/quan/.ssh/   
  3. ssh 360quan-2  
  4. ssh 360quan-3  
       sudo scp authorized_keys 360quan-2:/home/quan/.ssh/ 
	sudo scp authorized_keys 360quan-3:/home/quan/.ssh/ 
	ssh 360quan-2
	ssh 360quan-3

 5、接下来,我们要修改hadoop的相关设定了。修改"360quan-1"上面的hadoop的[conf/masters]、[conf/slaves]这2个文件:

       Master设置(<HADOOP_HOME>/conf/masters) :360quan-1
       Slave设置(<HADOOP_HOME>/conf/slaves) L:360quan-2 360quan-3
6、修改[conf/hadoop-env.sh]:

       export JAVA_HOME=/opt/jdk1.6.0_03

7、修改[conf/hadoop-site.xml],这里只是几个常用的属性配置,有关hadoop的性能优化调整,需要研究hadoop-default.xml:

Xml代码
  1. <configuration>  
  2.         <property>  
  3.             <name>fs.default.name</name>  
  4.             <value>360quan-1:9000</value>  
  5.             <description>指定NameNode的IP地址和端口号,缺省值是file:///, 表示使用本地文件系统, 用于单机非分布式模式</description>  
  6.         </property>  
  7.         <property>  
  8.             <name>mapred.job.tracker</name>  
  9.             <value>360quan-1:9001</value>  
  10.             <description>指定 JobTracker的IP地址和端口号。缺省值是local, 表示在本地同一Java进程内执行JobTracker和TaskTracker, 用于单机非分布式模式</description>  
  11.         </property>  
  12.         <property>  
  13.             <name>dfs.replication</name>  
  14.             <value>1</value>  
  15.             <description>指定HDFS中每Block被复制的次数,起数据冗余备份的作用。在典型的生产系统中,这个数常常设置为3。</description>  
  16.         </property>  
  17.         <property>  
  18.             <name>hadoop.tmp.dir</name>  
  19.             <value>/home/quan/opt/hadoop/tmp/</value>  
  20.         </property>  
  21.     </configuration>  
<configuration>
		<property>
			<name>fs.default.name</name>
			<value>360quan-1:9000</value>
			<description>指定NameNode的IP地址和端口号,缺省值是file:///, 表示使用本地文件系统, 用于单机非分布式模式</description>
		</property>
		<property>
			<name>mapred.job.tracker</name>
			<value>360quan-1:9001</value>
			<description>指定 JobTracker的IP地址和端口号。缺省值是local, 表示在本地同一Java进程内执行JobTracker和TaskTracker, 用于单机非分布式模式</description>
		</property>
		<property>
			<name>dfs.replication</name>
			<value>1</value>
			<description>指定HDFS中每Block被复制的次数,起数据冗余备份的作用。在典型的生产系统中,这个数常常设置为3。</description>
		</property>
		<property>
			<name>hadoop.tmp.dir</name>
			<value>/home/quan/opt/hadoop/tmp/</value>
		</property>
	</configuration>

 8、修改hbase的[hbase-evn.sh]:
        export JAVA_HOME=/opt/jdk1.6.0_03
9、修改hbase的[hbase-site.xml]:

Xml代码
  1. <configuration>  
  2.         <property>  
  3.             <name>hbase.master</name>  
  4.             <value>360quan-1:60000</value>  
  5.         </property>  
  6.         <property>  
  7.             <name>hbase.rootdir</name>  
  8.             <value>hdfs://360quan-1:9000/hbase</value>  
  9.         </property>  
  10. </configuration>  
<configuration>
		<property>
			<name>hbase.master</name>
			<value>360quan-1:60000</value>
		</property>
		<property>
			<name>hbase.rootdir</name>
			<value>hdfs://360quan-1:9000/hbase</value>
		</property>
</configuration>

 10、然后将hadoop的整体环境拷贝到360quan-2、360quan-3上面去
          scp -r /home/quan/hadoop 360quan-2:/home/hdp/
          scp -r /home/quan/hadoop 360quan-3:/home/hdp/
11、在360quan-1这个namenode上面格式化一个新的分布式文件系统HDFS,就是hadoop-site.xml文件中指定的hadoop.tmp.dir路径
         <HADOOP_HOME>/bin/hadoop namenode -format
    
到此大致上就完成了属于你自己的Cloud Computing环境了
        启动hadoop:<HADOOP_HOME>/bin/start-all.sh
        启动hbase:<HADOOP_HOME>/contrib/hbase/bin/start-hbase.sh
        停止hbase:<HADOOP_HOME>/contrib/hbase/bin/stop-hbase.sh
        停止hadoop:<HADOOP_HOME>/bin/stop-all.sh
说明:
    (1) 执行 $ bin/start-all.sh启动Hadoop进程后,会启动5个java进程,同时会在/tmp目录下创建五个pid文件记录这些进程ID号。通过 这五个文件,可以得知namenode,datanode,secondary namenode,jobtracker,tasktracker 分别对应于哪一个Java进程。当你觉得 Hadoop 工作不正常时,可以首先查看这5个java进程是否在正常运行,运行jps命令也可以查看。
    (2) 访问 http://360quan-1:50030 可以查看JobTracker的运行状态。访问 http://360quan-1:50060可以查看 TaskTracker的运行状态。访问 http://360quan-1:50070可以查看NameNode以及整个分布式文件系统的状态,浏览分布式文件系统中的文件以及log等。
    (3) 查看 ${HADOOP_HOME}/logs目录下的log文件,namenode,datanode,secondary namenode,jobtracker, tasktracker各有一个对应的log文件,每一次运行的计算任务也有对应用log文件。分析这些log文件有助于找到故障原因。

Hadoop和Hadoop集群的安装和配置 hadoop和hadoop集群的安装和配置 文章目录hadoop和hadoop集群的安装和配置一、安装centos7.0二、hadoop安装前配置三、安装以及配置Hadoop环境四、启动Hadoop四、测试五、Hadoop集群配置 一、安装centos7.0 安装方式详见:https://blog.youkuaiyun.com/little_sloth/article/details/106785511 二、hadoop安装前配置 安装完虚拟之后,使用moba进行后续操作 1 . 配置免登录: 1) 生成密钥:ss 阅读详情

相关推荐

Ubuntu环境Hadoop安装总结

1 ssh连接失败 1.0 连接测试 ssh localhost 1.2 问题 ssh: connect to host localhost port 22: Connection refused 1.3 原因 未安装ssh-server. 测试: # 命令 ps -e | grep ssh # 结果 1153 ? 00:00:07 ssh-agent 1.4 解决 安装ss...

天然玩家的博客 647

2025年第十六届蓝桥杯省赛C/C++大学B组 个人题解

也是写了写部分题解,朱波也是狠狠水了个省二┭┮﹏┭┮,毕竟许多算法知识没怎么学。

2301_80173664的博客 2432

修改ubuntu登录信息【转】

 看到烦人的登录声明提示,真不很爽,本来自己开个SSH 窗口就不大,还硬被塞这些没用的东西: Linux ubuntu 2.6.24-24-virtual #1 SMP Tue Jul 7 20:55:36 UTC 2009 i686The programs included with the Ubuntu system are free software;the exact dist

敟當柒秒哋魚 5346

避坑指南:锐浪报表PictureBox打印图像常见的5大问题及解决方案

本文深入剖析了锐浪报表(Grid++Report)中PictureBox控件打印图像时常见的五大难题,包括图像源加载机制、拉伸失真、动态加载失败、跨平台兼容性及性能优化。文章提供了从原理理解到实战解决方案的完整指南,帮助开发者有效规避图像打印中的常见陷阱,确保报表输出的稳定与高质量。

water的专栏 1148

每天一个优秀提示词学习收藏 - 文本去AI化(四)

宝子们,今天不藏私啦!我把这段时间四处搜罗、潜心钻研出来的文本去AI化Prompt 提示词大礼包双手奉上,这可都是能让你的 AI 创作水平原地起飞的干货!走过路过不要错过,赶紧码住,开启你的 AI 创作进阶之旅吧!

2446

ubuntu安装ssh无法连接解决日志(已解决,可连接)-转

网上有很多介绍在Ubuntu下开启SSH服务的文章,但大多数介绍的方法测试后都不太理想,均不能实现远程登录到Ubuntu上,最后分析原因是都没有真正开启ssh-server服务。最终成功的方法如下: sudo apt-get install openssh-server Ubuntu缺省安装了openssh-client,所以在这里就不安装了,如果你的系统没有安

xp5xp6的博客 6881

基于CatBoost回归模型的完整预测分析:从建模到SHAP可解释性分析

本文介绍了使用CatBoost回归模型进行完整预测分析的流程。首先导入必要的Python库并加载数据,进行数据预处理包括训练测试集划分和归一化处理。然后通过网格搜索优化CatBoost超参数,使用最优参数训练模型并评估预测性能。结果显示模型具有较高的决定系数(R²=0.9944)和较低的误差指标(RMSE=0.0696)。接着进行残差分析和正态性检验,发现残差基本服从正态分布。最后通过SHAP分析实现模型可解释性,识别关键特征影响。该方法为梯度提升树在回归问题中的应用提供了完整解决方案。

fx666_的博客 747

hadoop单机,ubuntu

官网: 文档;   书: Hadoop基础教程;   文章: 单机:   http://shaurong.blogspot.com/2013/11/hadoop-220-single-cluster-centos-64-x64_7.html(内容已过:看过,使用)   Yarn使用,(hadoop2.3.0,) https://www.digitalocean.com/co

天空仰望 5934

GXHT40温湿度传感器:I2C通信与CRC校验实战解析

本文详细解析GXHT40温湿度传感器的I2C通信协议与CRC校验机制,涵盖硬件连接、时序控制、数据读取及加热功能应用。通过实战案例分享优化技巧与异常处理,帮助开发者提升嵌入式系统中传感器数据的准确性与可靠性。

rgv234567的博客 242

海康威视嵌入式最全面试题及参考答案(3万字长文)

主营业务:提供包括前端摄像头、后端存储设备、显示控制设备等在内的全方位视频监控解决方案。市场地位:在全球范围内享有较高的市场份额,在安防领域具有较强的竞争力。技术创新:持续投入研发,拥有多项核心技术和专利,特别是在视频处理算法、人工智能等方面取得了显著成果。社会责任:积极参与公共安全项目,为智慧城市、交通管理等领域提供技术支持和服务。国际业务:除了国内市场外,海康威视的产品和服务也销往全球多个国家和地区。面向对象编程。

大模型大数据攻城狮的专栏 1765

在Ubuntu 桌面版 12.04 LTS安装并运行SSH

第一步:安装openssh-server #sudo apt-get install openssh-server 第二步:查看ssh服务是否已经运行,执行 #ps -e | grep ssh 执行完后可以看到ssh-agent和sshd都运行了。 第三步:重启shh服务 #service sshd restart 第四步:从别的机器上用secureCRT登录Ubundu机器,输入用...

weixin_34384915的博客 267

addBumpConnectTargetConstraint 命令详解

本文介绍了Cadence Innovus中用于倒装芯片设计的addBumpConnectTargetConstraint命令的核心功能和使用方法。该命令主要用于为凸点(Bump)添加连接目标约束,通过绑定实例、引脚/网络和端口号等属性,实现凸点与电源/信号网络的精准映射。文章详细解析了命令语法结构、参数说明及使用场景,包括必选参数(指定凸点方式)、分支选择(实例连接或电源连接类型)以及互斥参数(引脚名与网络名)等重要注意事项,并提供了典型应用示例。该命令特别适用于倒装芯片设计中凸点与PG网络、IO实例的连接

u013620135的博客 394

Hadoop安装与配置

第一步:装虚拟机 1.新建虚拟机 2.典型,下一步,选择你的iso镜像文件,给你的虚拟机命名,选择安装文件位置 3.选择一下磁盘大小,最后点完成。 安装完成之后和跟下面的步骤来 当然你也可以选择中文,需要选择中文就在下面搜索栏中搜ch选择简体中文即可。 选择自动分区 root密码设置123456,尽量设置简单的,为了方便后面的步骤。 user用户可以创建也可以不创建,如果是gui图形界面就必须要创建了。 最后点击重启 上面的步骤在slave...

qq_52289797的博客 2万+

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

虚拟机设置及Hadoop安装配置

虚拟机设置及Hadoop安装配置启动HDFS

2203_75380029的博客 7347

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

Hadoop之Hbase安装和配置

Hadoop之Hbase安装和配置

leoatliang的博客 4万+

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

hadoop的安装和配置步骤

hadoop的安装 本次安装是建立在之前安装完jdk以及mysql的基础上,如果其他朋友们想了解的可以查看下之前的安装步骤,这里是传送门 本次安装使用MobaXterm 辅助工具,先把对应的hadoop压缩包上传到 root/software文件夹内备用 1、解压hadoop免安装压缩包 进入root/software文件夹内后,输入解压命令 tar -zxvf hadoop-2.6.0-cdh5.14.2.tar.gz 执行如下: 2、修改文件夹名称 为了后面方便,先把hadoop的文件名修改的短一点

giantleech的博客 1万+

安装配置hadoop

若有不足之处,请求指点一二,谢谢!(*^__^*) 所需配置及版本: Vmware workstation 14 Pro Ubuntu 16.04 openjdk 1.8.0_191 hadoop-1.2.1 1.首先需要安装jdk,并配置环境 1.1 检查是否存在jdk,若无,则在root用户下输入以下命令 apt install openjdk-8-jdk-headless...

Yetmoon的博客 387

Hadoop安装及eclipse配置

Hadoop安装 彻底关闭防火墙 chkconfig iptables off 查看主机名 hostname 修改主机名 vim /etc/sysconfig/network 修改之后不会立即执行需要重启才会生效,重启指令reboot 临时生效hostname Hadoop01 修改host文件 vim /etc/hosts 将主机ip与主机名进行映射 设置免密登录 ssh-keyge...

qq_40603408的博客 3206

hadoop安装和配置 详解

伪分布式安装 关闭防火墙:学习环境可以直接把防火墙关闭掉。用root用户登录后,执行查看防火墙状态。 查看防火墙状态 firewall-cmd --state 停止防火墙 [root@localhost ~]# systemctl stop firewalld.service 禁止防火墙开机自启 [root@localhost ~]# systemctl disable firewalld.service 关闭selinux:selinux是Linux一个子安全机制,学习环境可以将它禁用。

xiao__wangzi的博客 7184

Hadoop的安装和配置

hadoop的安装和配置 1.新建linux虚拟机 在安装完VMware Workstation后,点击新建虚拟机。按图中所示逐步进行选择。 此处点击“浏览”选择程序光盘映像文件。 为你所创建的虚拟机命名并指定安装位置。 点击“完成”你就成功新建一个虚拟机啦。 记得在这里设置用户的密码。 设定语言为“汉语”后,一切都已就绪,可以使用Linux虚拟机啦。 在创作...

Vaeccdrj的博客 202

hadoop和zookeeper的安装与配置

hadoop和zookeeper的安装与配置 1. 安装好linux虚拟机、Xshell、Xftp 2. 解压安装jdk、hadoop、zookeeper的压缩包 3. 配置linux主机设置与环境 4. 编写并添加hadoop的配置 5. 编写zookeeper的配置 6. 克隆机器(奇数) 7. 启动集群 ...

G_GUi的博客 4664

CentOS中Hadoop的安装配置简略教程

http://主节点IP地址:808//cluster。重启三台电脑,重启后在终端Shell。中区分三台主机,修改其显示的主机名,执行如下命令。http://主节点IP地址:9870。三台机器的名称和IP。如果出现如下图,说明连接成功。无密码登录本机和访问集群机器。自动跳转到cluster页面。来测试三台电脑的连通性。中才会看到机器名的变化。

weixin_55280439的博客 5101

Hadoop安装配置

Hadoop的安装与配置Hadoop安装新的改变 Hadoop安装 和jdk安装一样,下载、解压、配置环境变量、验证是否安装成功 python@python-bao:~$ tar -zxvf hadoop-2.7.3 为了后面更简单的操作过程,我们把解压名改成hadoop python@python-bao:~$ mv hadoop-2.7.3 hadoop python@python...

qq_34955491的博客 326

hadoop的安装配置

链接: https://pan.baidu.com/s/1BvS0aZDkPnOmbi8n_qii8Q 提取码: x2wa 下载上面百度网盘分享的hadoop安装包 hadoop环境依赖jdk所以需要提前配置好jdk环境:配置jdk环境看 https://blog.youkuaiyun.com/qq_41813208/article/details/100268044 第1步:创建文件夹 上传jdk...

诗水人间 11万+
上一篇: JAVA反射机制及CLASS.FORNAME的作用及含义
下一篇: 为什么要使用反射机制
AlextoWarson
博客等级 码龄17年 33粉丝 12原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值