
大数据之CDH
大数据架构师Pony
不勤于始,将悔于终。
展开
-
CDH安装时报错:/opt/cloudera/parcels/.flood/.../CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel does not exist
原因:磁盘空间不足。解决:优先查看节点的磁盘空间,根目录大小不要小于30G. 根目录空间扩容到30G 以上,(每台都要)。原创 2022-05-25 22:00:00 · 1194 阅读 · 2 评论 -
大数据常用端口汇总
所有端口协议均基于TCPHDFS DataNode 50010 dfs.datanode.address datanode服务端口,用于数据传输HDFS DataNode 50075 dfs.datanode.http.address http服务的端口HDFS DataNode 50475 dfs.datanode.https.address https服务的端口HDFS DataNode 50020 dfs.datanode.ipc.address ipc服务的端口HDFS Nam.原创 2021-06-29 10:50:27 · 1078 阅读 · 1 评论 -
java.lang.RuntimeException: Unable to run quorum server zk启动错误
解决:查看zookeeper的配置文件zoo.cfgvi /opt/cloudera/parcels/CDH/lib/zookeeper/conf/zoo.cfgdataDir=/var/lib/zookeepercd /var/lib/zookeeper/version-2rm -rf *重启集群即可。原创 2022-01-11 14:04:33 · 1229 阅读 · 0 评论 -
CDH组件对应使用的端口(超全!!)
在下表中,每个端口的“访问要求”列通常是“内部”或“外部”。在此上下文中,“内部”表示端口仅用于组件之间的通信;“外部”表示该端口可用于内部或外部通信。Component Service Qualifier Port Access Requirement Configuration Comment Hadoop HDFS DataNode 50010 External dfs.datanode.address DataN..转载 2021-07-22 16:27:14 · 3013 阅读 · 0 评论 -
解决CDH安装时失败的情况(ClouderaManager有安装锁)
如图:CDH安装时,安装失败!原因:这是因为之前安装过CDH环境,有ClouderaManager安装锁存在。解决:删除ClouderaManager安装锁即可!rm -rf /tmp/scm_prepare_node.*rm -rf /tmp/.scm_prepare_node.lock原创 2021-07-22 11:41:27 · 2083 阅读 · 2 评论 -
卸载cdh时,mysql 卸载失败,有依赖。(rpm -e mysql*方式)
如下图,卸载cdh时,rpm -e mysql*方式卸载 mysql 失败,有依赖。解决:使用yum remove mysql*方式卸载!原创 2021-07-20 09:48:26 · 197 阅读 · 0 评论