
hadoop
阁下大名
这个作者很懒,什么都没留下…
展开
-
retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)
1.查看防火墙是否关闭1)查看防火墙状态firewall-cmd --state2)停止:systemctl stop firewalldstart3)开机禁用systemctl disablefirewalld原创 2019-04-04 10:22:51 · 4522 阅读 · 3 评论 -
hadoop
1)hadoop介绍Hadoop是一个生态圈,由Apache基金会提供,是一个分布式处理系统,可以解决海量数据存储和计算分析问题2)Hadoop优势1)高可靠性:数据非常重要,数据在存储或者计算过程中出现问题之后可以还原再次处理。2)高扩展性:节点的上线或者下线不影响集群的正常使用3)高效性:处理数据的速度很快4)高容错性:数据存到Hadoop中后有备份,多个节点发生故障容...原创 2019-04-01 21:14:13 · 616 阅读 · 0 评论 -
分布式系统搭建
一、特点多个节点一起运行。二、分析1)准备3台客户机(关闭防火墙、静态ip、主机名称)2)安装jdk3)配置环境变量4)安装hadoop5)配置环境变量6)安装ssh7)配置集群8)启动测试集群三、虚拟机准备克隆三个虚拟机,修改IP,主机名和IP映射即可四、scp命令说明:scp可以实现服务器与服务器之间的数据拷贝。实操:将zhiyo...原创 2019-04-02 21:02:28 · 2606 阅读 · 0 评论 -
Hadoop高可用配置
一、何为高可用1.HA存在的背景Hadoop2.0之前,在HDFS集群中NameNode存在单点故障(SPOF),对于只有一个NameNode的集群,若NameNode出现故障,则整个集群将无法使用,直到NameNode重启。NameNode主要在以下两个方面影响集群NameNode机器出现意外,如宕机,集群将无法使用,直到管理员重启NameNode机器需要升级,包括软件,硬件...原创 2019-04-09 21:59:35 · 1185 阅读 · 0 评论