大数据集群修改服务器ip

本文介绍了一个HDFS集群中更改节点IP地址的过程及遇到的问题。具体包括修改IP配置文件、重启网络服务、更新集群配置等步骤。在完成IP变更后,发现无法与NameNode建立连接并进行了故障排查与解决。

【背景】

因为下周要对大数据开放式平台的服务器进行机房搬迁,开放式平台有90台物理机,其中24台服务器是后来扩容新增的,ip段为19.126.66.*,与另外一个集群共用了同一个网段。根据机房的物理部署规划,搬迁是要对同一个网段批量进行的,因此在搬迁前需要对这24台服务器的ip进行修改。

修改ip的变更本周四实施,因此今天在测试环境进行方案验证,对一台计算节点进行ip修改。源ip:146.32.19.25,目标ip:146.32.18.100

【零、CM上停止该节点角色】

【一、修改ip配置文件】

将老的ip配置文件移动到/tmp目录下

d0305001:/etc/sysconfig/network # cat ifcfg-vlan119

BOOTPROTO='static'

BROADCAST=''

ETHERDEVICE='bond0'

ETHTOOL_OPTIONS=''

IPADDR='146.32.19.25/24'

MTU=''

NAME=''

NETWORK=''

REMOTE_IPADDR=''

STARTMODE='auto'

USERCONTROL='no'

VLAN_ID='119'

d0305001:/etc/sysconfig/network # mv ifcfg-vlan119 /tmp/

新建ip配置文件ifcfg-vlan118

d0305001:/etc/sysconfig/network # cat ifcfg-vlan118

BOOTPROTO='static'

BROADCAST=''

ETHERDEVICE='bond0'

ETHTOOL_OPTIONS=''

IPADDR='146.32.18.100/24'

MTU=''

NAME=''

NETWORK=''

REMOTE_IPADDR=''

STARTMODE='auto'

USERCONTROL='no'

VLAN_ID='118'

【二、修改路由配置文件】

d0305001:/etc/sysconfig/network # vi routes

default 146.32.19.254 - -

修改为

default 146.32.18.254 - -

【三、重启网络服务】

service network restart

d0305001:/etc/sysconfig/network # ip a|grep global

    inet 146.32.18.100/24 brd 146.32.18.255 scope global vlan118

    inet 146.33.18.100/24 brd 146.33.18.255 scope global vlan218

【四、修改ntp配置】

修改/etc/ntp.conf文件中的146.32.19.254网关地址为新ip对应的网关146.32.18.254,并重启ntp服务

d0305001:/etc/sysconfig/network # service ntp restart

Shutting down network time protocol daemon (NTPD)                                                                        done

Starting network time protocol daemon (NTPD)                                                                            done

【五、修改整个集群、客户端的/etc/hosts文件】

cp /etc/hosts /etc/hosts.0107

sed -i 's/19.25/18.100/g' /etc/hosts

【六、重启该节点agent服务】

service cloudera-scm-agent restart

cm上启动该节点角色

【七、验证】

该节点角色服务启动后,报错失去namenode连接

查看日志:Datanode denied communication with namenode because the host is not in the include-list: DatanodeRegistration(146.32.18.100……

d0305001:/var/log/hadoop-hdfs # tail -100 hadoop-cmf-hdfs-DATANODE-d0305001.log.out

        at javax.security.auth.Subject.doAs(Subject.java:415)

        at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1714)

        at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2135)

2019-01-07 10:50:21,141 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Block pool BP-1060838331-146.249.31.13-1489136106065 (Datanode Uuid 5538360a-f138-42f2-b219-2b4993c6d

### 大数据集群搭建与管理 #### 一、大数据Hadoop生态圈概述 大数据Hadoop生态系统是一个由多个工具和技术组成的框架集合,旨在处理大规模的数据集。其中,Apache Hadoop 是核心组成部分之一,它提供了分布式文件系统 (HDFS) 和 MapReduce 计算引擎来存储和处理海量数据[^1]。 此外,在构建稳定的大规模集群时,还需要依赖其他组件来进行管理和协调工作节点之间的通信。例如 Apache ZooKeeper 被广泛应用于维护配置信息以及提供分布式同步功能,从而帮助管理系统中的各个服务器实例并确保它们之间的一致性和可靠性。 #### 二、大数据应用分类及其意义 对于企业而言,部署大数据集群不仅仅是为了满足基本的数据存储需求;更重要的是通过数据分析挖掘出隐藏的价值所在。具体来说,这类应用场景主要分为两大类别: - **数据统计分析**:这一领域涵盖了诸如生成报表、绘制图表甚至制作可视化大屏幕展示等内容形式,目的是为企业管理层制定战略规划或者调整运营策略时能够依据可靠的事实依据做出明智决定; - **数据价值挖掘**:除了简单的汇总之外还可以运用高级算法比如机器学习模型进一步探索未知模式或趋势,并据此建立预测机制提前防范风险或将来的机遇转化为实际收益[^2]。 因此可以看出无论是哪一种用途都离不开高效能计算平台的支持——而这正是我们讨论如何正确实施这些解决方案之前所需要考虑清楚的前提条件! #### 三、基于Cloudera Distribution Including Apache Hadoop(CDH) 的环境准备工作指南 当计划采用 Cloudera 提供的产品线作为基础设施建设方案时,则需遵循官方文档指示完成必要的前期设置步骤以保障后续安装过程顺利进行。以下是几个关键环节摘要说明: ##### (1)虚拟机基础环境配置 为了模拟真实生产环境下多台物理主机互联组成网络拓扑结构的情况, 可先利用 VMware Workstation Pro 或 Oracle VirtualBox 创建若干独立运行的操作系统镜像副本充当不同角色的服务端点(如 NameNode/DataNode/YARN ResourceManager/HistoryServer 等)[^3] 。 每台虚拟设备都需要具备如下属性设定: - 静态 IP 地址分配以便于相互识别定位; - 开启 SSH 远程访问权限方便跨节点间自动化脚本执行操作 ; - 安装 JDK 并验证 JAVA_HOME 环境变量已正确定义指向相应目录路径下. ##### (2)定义临时目录位置参数 在正式开始编译源码包之前 , 应该预先指定好一些常用资源存放地址 . 比如说可以通过修改 core-site.xml 文件内的 fs.defaultFS 属性值指明默认文件系统的 URI ; 同样也可以新增一项名为 hadoop.tmp.dir 的键值对用来声明全局范围内所有中间产物产生的目标容器空间范围 [^4]. ```xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://namenode-host:8020</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/export/servers/hadoop-3.1.3/tmp</value> </property> </configuration> ``` 以上代码片段展示了如何自定义 Hadoop 中使用的临时目录的位置。这一步骤有助于保持系统整洁有序的同时也便于后期维护清理作业成果残留物等问题发生几率降到最低限度之内 . #### 四、总结 综上所述 , 成功组建起一套完整的适用于特定业务场景下的大数据处理架构并非易事 —— 不仅要熟悉掌握各种开源软件的功能特性还要综合考量硬件资源配置状况等因素共同作用才能达到预期效果最佳状态 。 建议初学者可以从最简单的小型实验项目起步逐步积累实践经验直至完全胜任复杂工程项目开发任务为止 。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值