Cloudera-Manager修改集群主机的IP

ClouderaManager修改IP与HostName 背景 公司搬迁新到新大楼IP地址发生变化以及需要搭建线上数据中心需要重新规划主机名称,需要线下与线上保持一致方便开发。2.操作系统CentOS6.5 CentOS7.4 梳理修改相关IP与HostName信息 停止相关服务 1. 登录ClouderaManager停止所有的CDH服务 2. service cloudera-scm-agent stop #需要停止所有的agent 3. servi 阅读详情

1、业务需求说明:由于公司网络进行了整改,随之而来的就是对应的ip网段发生了变化,其中我的hadoop的集群各主机的ip也相应的发生了改变,因此需要对各主机进行修改ip。

2、具体操作:

  首先停止cdh各组件的服务,修改各主机的ip。修改完后,本以为完事儿了,启动Cloudera Management Service时,发现启动失败,无法启动。那么问题就来了,如何通过cloudera-manager来修改主机的ip呢?郁闷的是Cloudera-Manager并没有提供修改集群ip的方法,因此,需要修改主机的ip只能另辟蹊径了。

3、柳暗花明又一村。

  通过在网上搜索,发现很多网友也遇到了我同样的问题,其中有些人说只能重装,个人感觉这肯定不会这样子,因此这个方法抛弃。于是功夫不负有心人,在网上看到了有人通过命令行的方式来修改主机的ip。这个可以。下面将该方法步骤详细介绍一下:方法的主要思想是:由于cloudera-manager在安装的时候,会配置相应的数据库,该数据库是用来存储集群的所有的配置信息。cloudera-mamanger每次启动的时候,都会从数据库中读取这些配置信息,因此想修改主机的ip,只需要修改存在数据库中的主机的ip即可。

4、具体方法

(1)首先在安装cloudera-manager的主机上,停止所有的cloudera管理进程

  service cloudera-scm-agent stop  

  service cloudera-scm-server stop

(2)查看postgresql 的scm用户的密码

  grep password /etc/cloudera-scm-server/db.properties

(3)登陆postgresql 数据库

  输入命令:psql -h localhost -p 7432 -U scm

  提示你输入密码,密码就是上面步骤(2)的密码。

(4)修改postgresql数据库中的数据(即主机的ip)

    1) 查看pg中存储情况

      select host_id, host_identifier, name, ip_address from hosts;

      查询的结果如下:

        host_id |   host_identifier   |             name           |   ip_address
         ----------------------------------------------------------------------------
                3         |   hadoop.slave1   |           hadoop1         |  192.10.1.217

    2)修改各主机的ip(分别修改各主机的ip)

      update hosts set (ip_address) = ('192.10.2.217') where name='hadoop1';

    3)退出postgresql数据库

      输入命令: \q 即可

(5)修改所有机器的cloudera-scm-agent的配置文件

    1)打开cloudera-scm-agent的配置文件

      vi /ect/cloudera-scm-agent/config.ini

    2)修改server_host的值(这个是指定cloudera-scm-server的ip)

      将该值设置为cloudera-scm-server的ip即可。

(6)修改各主机的 /etc/hosts文件,将现在的hostname与IP地址对应上

(7)重启服务

    service cloudera-scm-agent start
    service cloudera-scm-server start

  注:如果agent启动失败,查看是否9000或9001端口被占用

    netstat -nap | grep 9000

    netstat -nap | grep 9001

  如果被占用,kill –9 相关进程,再重新启动agent服务即可.

(8)重启cloudera-manager上的服务即可。

Cloudera Manager CDH 离线安装 注:离线安装只是针对CM、CDH、数据库等较大的模块,中途如果需要安装其它相关依赖的组件,还是选择的在线安装,这些组件都很小不会有什么影响。如果使用的虚拟机实在没有网络,那么下载到宿主机之后上传安装也可以,只是需要自己处理一些依赖。 一、环境准备 1.1 虚拟机准备 由于环境限制,我这里准备四台虚拟机,并且固定ip为:192.168.0.198、192.168.0.210、192.168.0... 阅读详情

相关推荐

NC65增加自定义参照并且参照数据要根据选择的财务组织过滤

1、首先定义一个参照类 package nc.pub.jzcm.ref; import nc.ui.bd.ref.AbstractRefModel; import nc.ui.bd.ref.IRefDocEdit; import nc.ui.bd.ref.IRefMaintenanceHandler; public class PMPrPayDefaultRefModel extends AbstractRefModel { public PMPrPayDefaultRefModel(){ ...

xyl的博客 3495

Cloudera-Manager修改集群的IP

1、业务需求说明:由于公司网络进行了整改,随之而来的就是对应的ip网段发生了变化,其中我的hadoop的集群各主机的ip也相应的发生了改变,因此需要对各主机进行修改ip。 2、具体操作:   首先停止cdh各组件的服务,修改各主机的ip。修改完后,本以为完事儿了,启动Cloudera Management Service时,发现启动失败,无法启动。那么问题就来了,如何通过cloude...

weixin_30664539的博客 203

wintab开发例程

 タブレットとスタイラスペンを使うと、パソコンに手書きの線を入力できます。筆圧を入力することができるので毛筆のような表現も可能です。ペンの傾きを入力できる機種もあり、アイデア次第で面白いことに使えそうです。  私は昔(94年頃)、WACOMのタブレットを用いたプログラム開発をしたことがあります。当初A3版ほどの大きさのUDというタブレットを使っていて、その後 ArtPad という小さいサイズの

grass168的专栏 3242

cloudera manager的agent的ip地址改变解决方案

1、首先在安装cloudera-manager的主机上,启动所有的cloudera管理进程 [root@node1 ~]# /etc/init.d/cloudera-scm-server-db status [root@node1 ~]# /etc/init.d/cloudera-scm-server status 2、查看postgresql 的scm用户的密码 grep pa...

1158

golang 线上事故

golang 线上事故 最近公司要做大促的一些活动。并且单量,qps持续上涨。之前使用的是django python 语言做的一个服务端。目前已经部署的国家里面最多的国家会有300+个实例。大促期间还可能会增加一个实例数。这么多的实例部署,回滚的时间都会特变长,除了问题也不好定位。并且如此多的一个机器,连接数* 实例数也会导致DB等其他服务扛不住这么大的并发。所以决定上go服务解决性能问题。 ...

lcf枫的博客 1538

海康威视4G摄像头直连实战:不用萤石云,手把手教你用ISUP SDK搞定跨网段视频流

本文详细介绍了如何通过海康威视ISUP SDK实现4G摄像头的直连通信,提供了一套零平台费、自主可控的技术方案。文章涵盖技术选型、设备端配置、服务器端开发及高级应用场景,特别适合中小型安防项目,帮助开发者解决跨网段视频流传输难题,降低长期运营成本。

weixin_27076351的博客 471

Cloudera Manager安装之Cloudera Manager安装前准备(CentOS6.5)(一)

                Cloudera Manager安装前准备 (一)机器准备   192.168.80.148   clouderamanager01  (部署ClouderaManager-server和Mirror server)  (部署Agent)     (分配1G,我这里只是体验过程,当然你可以分配更多或更小)    192.168.80.149  ...

weixin_34253126的博客 488

Python爬虫:无账号无限制获取企查查信息

无限制企查查爬虫 ​通过网上爬虫获取了全国所有企业,然后就需要补充企业信息,首先想到的就是企查查,启信宝等专业网站,最终选择了企查查,尝试了多种方法: 1、selenium爬虫,绕过企查查的登录验证,但账号和IP限制太大,最终放弃 2、通过requests直接请求+cookies,遇到了cookie有效期和限制问题 不断的尝试和修改参数,最终发现一种有效方式selenium+ wep 只需要IP代理,不需要账号,没有限制,因为是没有登录,拿到的信息有限,能展示的都能获取。 一、初始化..

攻城狮的家园 1万+

k8s修改集群IP--不重置集群

背景 公司产品基于k8s开发,到客户现场部署成为费时费力的工作,从安装机器、部署集群环境、安装k8s、拉取应用镜像、启动应用等;中间有任何一个环节出问题,都会导致最终应用跑不起来;为了减轻部署人员工作量,缩短部署时间,还是回到了虚拟机的老路上;k8s的节点部署为虚拟机,调试好后,导出为虚拟机镜像,到客户环境导入启动即可;大大降低工作量,缩减部署时间,降低部署人员技术门槛; 问题 客户环境部署集群后,一般需要修改k8s各个节点的IP地址为客户环境的IP, 本文命令执行环境:CentOS 7.7 1. 修改

椰汁菠萝 9349

UFAST车道线检测 Ultra-Fast-Lane-Detection 从环境搭建到复现完成(一)

UFAST车道线检测 Ultra-Fast-Lane-Detection 从环境搭建到复现完成(一)

m0_46364958的博客 4345

R语言 地理加权随机森林(GWRFC )

随机森林可以产生高准确度的分类器,被广泛用于解决模式识别问题。然而,随机森林赋予每个决策树相同的权重,这在一定程度上降低了整个分类器的性能。该算法引入二次训练过程,提高分类正确率高目前,鲜有中文文章介绍GWRFC的技术文档,作者想使用该方法时会遇到重重困难,因此有必要利用R来建模,通过流程演示,供读者参阅。............

qingchen98的博客 6636

从零搭建生产Hadoop集群(五)——CDH集群修改主机名与IP

从零搭建生产Hadoop集群(五)——CDH集群修改主机名与IP一、概述二、完整步骤1.官网推荐步骤:(1)验证下SSL/TLS认证是否所有服务都有配备,确认创建新的SSL/TLS认证。(2)导出Cloudera Manager配置(3)关闭集群所有服务(4)关闭Cloudera Managerment服务(5)关闭Cloudera Manager Server(6)关闭需要改hostname的服...

lxbalex的博客 3025

任务混部最少服务器数量计算问题

这里的并行度指的是该任务运行时会占用的服务器数量。要注意的是,一个服务器在每个时刻可以被任意任务使用,但同一时刻最多只能被一个任务占用,并且任务运行结束后会立即释放服务器(结束时刻不占用)。最后,我们从字典中找出服务器数量的最大值,这个最大值就是完成这批任务混部最少需要的服务器数量。对于每个任务,我们会遍历其对应的时间区间,将该任务的并行度累加到对应时刻的服务器数量上。任务混部的目标是让这批任务由同一批服务器承载运行,你需要计算完成这批任务混部最少需要多少服务器,以此来最大化控制资源成本。

m0_62153576的博客 108

ClouderaManager修改集群的IP

方法的主要思想是:由于cloudera-manager在安装的时候,会配置相应的数据库,该数据库是用来存储集群的所有的配置信息。 cloudera-mamanger每次启动的时候,都会从数据库中读取这些配置信息,因此想修改主机的ip,只需要修改存在数据库中的主机的ip即可。 具体方法 (1)首先在安装cloudera-manager的主机上,停止所有的cloudera管理进程   servi

邹中凡 2004

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

ClouderaManager修改集群IP步骤

方法的主要思想是:由于cloudera-manager在安装的时候,会配置相应的数据库,该数据库是用来存储集群的所有的配置信息。 cloudera-manager每次启动的时候,都会从数据库中读取这些配置信息,因此想修改主机的ip,只需要修改存在数据库中的主机的ip即可。 步骤如下: step1:首先在安装cloudera-manager的主机上,停止所有的cloudera管理进程

allin_allin的恋爱小屋 4617

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

cloudera manager 恢复_误删clouderascmagent恢复

之前在测试集群在折腾Cloudera Manager,有一次误把cloudera-scm-agent给删了。原因是卸载httpd的时候,没有发现cloudera-scm-agent依赖http服务,卸载的时候连同cloudera-scm-agent一起给删了。那次我重新安装了cloudera-manager-agent,反复折腾,CM就是无法发现这台主机。无奈之下,由于是测试集群,我就重...

weixin_35740814的博客 664

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

Hadoop集群服务器更换IP,集群mngt服务无法使用

 1、由于网络原因,整套Hadoop集群换了新的ip地址,mngt监控服务启动时报错:   2015-11-26 10:40:44,045  WARN [com.mchange.v2.async.ThreadPoolAsynchronousRunner$PoolThread-#2:resourcepool.BasicResourcePool@18

Cyclist's sightseeing 2584

cdh 集群维护 ip变更2

因为 Cloudera Manager(CM)里显示的 IP 地址 并不是实时从操作系统“同步”过来的,而是在安装 Agent 时由主机名解析得到的“首次记录”。因为 Cloudera Manager(CM)里显示的 IP 地址 并不是实时从操作系统“同步”过来的,而是在安装 Agent 时由主机名解析得到的“首次记录”。只要 Agent 心跳持续成功,CM 就不会主动去更新 IP,即使后面系统 IP 变了,它也会继续保留旧的记录。只要主机名解析到的新 IP,再让 Agent 重新心跳,就能刷新。

hxsln11的博客 738

Cloudera Manager安装CDH6教程-(一)虚拟环境安装配置

一 CentOs7安装 1.1选择创建好的虚拟机,”开启此虚拟机“ 1.2选择安装centos7 1.3选择英文版安装 1.4配置时间 1.5软件选择 1.6系统分区设置 这里使用自动也是可以的,就不需要做如下的自定义配置 1.7网关配置 1.8开始安装 1.9修改密码(一定要记住哦),选择是否创建用户(这里没有创建),等待安装完成 1.10同意协议,配置相关信息 二 配置IP 2.1查看原有IP ifconfig 2.2修改网络配置文件 #进入

Carson073的博客 2181

Cloudera Manager开启kafka JMX监控

在Cloudera Manager上创建了3节点的kafka集群服务,想要外部连接kafka JMX监控kakfa数据,需要修改kakfa配置: -Dcom.sun.management.jmxremote.host=192.168.1.125 -Djava.rmi.server.hostname=192.168.1.125 在下图中修改上述两项配置,默认值为127.0.0.1,需要修改为节点的ip,JMX端口默认为9393。 修改完成后重启各个kakfa节点,使用jconsole连接JMX: ———

集北卡卡罗特的博客 1828

Centos6安装CDH5.15.1最详细版-1 环境准备工作

我这里是之前装的三台虚拟机,如下: 192.168.201.81 hadoop-1 192.168.201.82 hadoop-2 192.168.201.83 hadoop-3 准备工作: 配置静态IP vi /etc/sysconfig/network-scripts/ifcfg-eth0 DEVICE=eth0 HWADDR=00:0C:29:AF:65:27 TYPE=Etherne...

蜗牛小将 2035

cdh 6.2.1部署

每台服务器都需要配免秘钥登录,包括本身也需要配置本身的免秘钥 我这是三台服务器部署的 mkdir -p /opt/softwares #创建软件存放目录 tar xf hadoop-3.1.3.tar.gz -C /opt/softwares/ #把hadoop解压到指定目录 tar xf jdk-8u221-linux-x64.tar.gz -C /opt/softwares/ #把JDK解压到指定目录 ln -sv hadoop-3.1.3 hadoop #创建软连接hadoop l

qq_41961206的博客 2141

Hadoop之Cloudera Manager 管理机器的IP

    原本在3台机器中部署了Cloudera CDH4.8的集群环境,运行状况良好,后来由于机房搬迁,导致那3台机器的ip地址被改变(hostname 没有变化)。     再次启动Cloudera-scm-server,登陆进去看时,发现manager根本不认识那3台机器了。     无奈在“主机”的选项中需找修改的方法,发现Cloudera-manager那个鬼东西,根本没有考虑ip...

crazzy_lp的博客 505

CDH6.2.0集群的下载及安装(亲测)

CDH6.2.0集群的下载及安装 1、vmware esxi上克隆虚拟机 1、克隆虚拟机前先关闭虚拟机电源。 2、在左边导航栏 ,存储 项目里 点击 数据存储浏览器 。 3、上边可以看到相关的以虚拟机命名的一些目录,目录下的文件夹名一般是虚拟机名称,创建虚拟机时按虚拟机名称创建了同名文件夹。 4、点击上方“创建目录”按钮,输入文件夹名,建议和想要新建的虚拟机名称一致,便于维护。 5.然后进入需要复制的虚拟机目录(就是刚刚我们关机了的那台机器),将后将缀名为.vmx(虚拟机)和.vmdk(虚拟磁盘)的文件进行

qq_44665283的博客 3392
上一篇: Saprk基本架构原理简介
下一篇: HBase简介与基本原理
AA赵师傅
博客等级 码龄9年 89粉丝 124原创
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值