Hadoop-大数据运维
关注
分享
扫一扫
文章平均质量分 50
Hadoop大数据运维
戒掉贪嗔痴(薛双奇)
10年以上DBA从业经验,Oracle ACE,中国DBA联盟成员,青学会专家顾问，Oracle,MySQL,PostgreSQL DBA,大数据运维工程师。
熟悉20种数据库的运维及管理:横跨关系数据库，NoSQL数据库，搜索引擎，大数据等。
获得IT类认证十几张。
擅长数据库系统架构涉及，容量规划，灾备系统建设，故障诊断及性能优化。
展开
-
22. The Hive Metastore canary failed to create a catalog
大致意思是执行DDL 失败会出现hive metastore canary相关的告警。可以理解为canary 是一个探测hive 是否正常的小功能，如果长时间没有反应，则canary 发出告警，出现红色感叹号。待hive自动恢复后红色的感叹号随即消失。所以出现该告警，没有关系。test数据库很大，里面又很多表。在执行过程中发现hive metastore 服务节点告警变成红色感叹号。进入hive,执行：drop database test cascade;2.点进去后解释如下。原创 2023-07-12 11:11:09 · 610 阅读 · 0 评论 -
21.yarn的NodeManager某个节点无法启动修复
这种权限的变更不确定是什么原因，但是确实发现项目目录权限不对了，一般正常情况下，HDFS,YARN相关的服务只要重启就能正常启动。但是偶尔也会发生权限不对，导致节点的失败的情形，这种情况只要按照正常的节点权限，修改异常节点的权限即可。果然，我们发现权限不对，现在将错误的权限修改为正确的权限。4.继续查看其他的Nodemanager相关的目录权限。继续检查NodeManager的其他配置信息的权限。2.检查yarn的NodeManager的权限。(1)正常的节点的权限。（2）异常的节点的权限。原创 2023-07-11 15:16:30 · 1018 阅读 · 0 评论 -
20.如何关闭Kafka的Kerberos认证
CDP平台安装时设置了kerberos认证，每次使用都需要kerberos 先认证才可以使用。使用java程序连接kafka时总是无法成功。于是关闭kerberos认证。kafka的配置参数：security.inter.broker.protocol。kerberos.auth.enable 后面的kafka(服务范围)，去掉勾选。由sasl_plaintext 修改为：plaintext。点击重写部署客户端配置，然后就会修复。4.发现部分服务需要重写部署。3.重启cdp的集群。需要重写配置这些信息。原创 2023-06-06 16:01:55 · 940 阅读 · 0 评论 -
0.大数据技能盘点
数据同步,Sqoop(英方，九桥，Datapipeline)关系数据库到Hive。数据迁移：oracle to hdfs/hbase/hive。数据迁移：mysql to HDFS/HBASE/HIVE。集群核心架构(HDFS,MR,Yarn)实战。数据迁移：hadoop to oracle。数据迁移：hadoop to mysql。大数据平台CDH/CDP集群规划。分布式集群安装配置tomcat。分布式集群安装配置jetty。集群规划与配置（静态）集群扩容与收缩（静态）集群规划与配置（静态）原创 2023-05-03 16:44:50 · 1306 阅读 · 0 评论 -
18.Ranger里面HDFS路径的权限末尾不要加斜杠
ranger hdfs权限问题原创 2023-03-06 16:16:15 · 162 阅读 · 0 评论 -
17.hive to specified queue : root.sjzt.sjzt is prohibited
hive 不允许设置队列名称原创 2023-02-27 14:59:49 · 305 阅读 · 0 评论 -
16.HiveAccessControlException Permission denied
ranger权限管控原创 2023-02-23 17:11:57 · 2268 阅读 · 0 评论 -
15.CDP平台KAFKA日常
kafka管理原创 2023-02-16 14:24:29 · 194 阅读 · 0 评论 -
14.Kudu时钟同步
kudu 时钟同步原创 2023-02-16 14:20:23 · 196 阅读 · 0 评论 -
12.时区不同导致HDFS,impala,kuduTserver启动失败
时钟偏差原创 2023-02-15 20:17:31 · 211 阅读 · 0 评论 -
13.SQOOP内存溢出问题处理
sqoop 内存溢出原创 2023-02-15 15:59:51 · 302 阅读 · 0 评论 -
12.Flink系统架构图解
Flink系统架构图解原创 2022-12-07 15:33:38 · 558 阅读 · 0 评论 -
11.有Kerberos认证时Kafka如何使用
基于Kerberos认证的kafka的管理原创 2022-12-07 13:36:25 · 566 阅读 · 0 评论 -
10.CDP7.1.5 zookeeper登录报错权限无效
zookeeper报错原创 2022-12-07 13:29:29 · 1347 阅读 · 0 评论 -
9.SPARK架构图解
Spark架构图解原创 2022-12-07 13:24:38 · 395 阅读 · 0 评论 -
8.Hbase架构图解
Hbase架构图解原创 2022-12-07 13:21:49 · 233 阅读 · 0 评论 -
7.Hadoop架构图解
hadoop架构图解原创 2022-12-07 13:18:50 · 260 阅读 · 0 评论 -
6.Sqoop Mysql-to-Hive MBeanTrustPermission/JDODataStoreException/GLOBALPRIVILEGEINDEX
Sqool 将Mysql的数据倒入到Hive原创 2022-04-24 18:05:57 · 229 阅读 · 0 评论 -
4.Hive 查询出错 Exception in thread “main“ java.lang.IncompatibleClassChangeError
Hive查询失败原创 2022-04-23 21:54:47 · 3931 阅读 · 2 评论 -
3.Hadooop 手动修改集群ID对集群有什么影响？
Hadoop 集群ClusterID手工修改实操原创 2022-04-18 09:36:50 · 2852 阅读 · 0 评论 -
2.Hadoop 集群HA Standby Namenode损坏故障修复2
技术让生活更精彩原创 2022-04-17 10:24:36 · 1843 阅读 · 0 评论 -
1.Hadoop集群 Standby Namenode 损坏故障修复1
Standby Namenode 损坏的修复原创 2022-04-17 09:31:49 · 1661 阅读 · 0 评论