- 博客(37)
- 收藏
- 关注
RSS订阅原创 oozie连数据库报错：User can‘t run DDL statements on the specified database. Attempt to create and drop a ta
由于CDH主节点挂了，需要切换一些服务将OOZIE部署到另外一台服务器上后，连接数据库时报错了：User can’t run DDL statements on the specified database. Attempt to create and drop a table failed。可是我Hive连数据库没问题呀，其他的也都正常，没有oozie我Hue就起不来了。回忆了一下，数据库之前是单点的，后面作过一次高可用的部署。oozie也都是正常的。怎么换了个节点就不行了。登录数据库建库建表删库什
2021-04-07 11:28:44
591
原创 Impala卡住问题排查
现象：Impala卡住时整个集群所有任务都会卡住，最基本的查询都无法返回结果排查：1.从调度任务卡住情况判断，预估出问题时间点在8点12分之后。2.查看catalog server 日志，无导致问题的异常日志。3.查看statestore日志，在8:14:13 有一个对bshadoop14的impala节点的元数据更新请求，大小为4.13GB。此处RPC超时。之后一直处于初始化更新元数据状态直到Impala重启。I0317 08:14:15.408370 6762 statestore.cc:
2021-03-19 15:18:17
4781
1
原创 ES磁盘水位参数设置
ES磁盘水位参数设置curl -H “Content-Type: application/json” -XPUT localhost:9200/_cluster/settings -d ‘{“transient” : {“cluster.routing.allocation.disk.watermark.low” : “60%”,“cluster.routing.allocation.disk.watermark.high” : “70%”,“cluster.info.update.interva
2020-11-09 10:59:55
2284
原创 IMPALA-SyntaxError: Missing parentheses in call to ‘print‘
安装中遇到的问题impala-shellFile “/opt/cloudera/parcels/CDH-5.8.0-1.cdh5.8.0.p0.42/bin/…/lib/impala-shell/impala_shell.py”, line 210print ‘\tNo options available.’^SyntaxError: Missing parentheses in call to ‘print’报错1：由于python3的启动问题[root@8e6ba95470a5 hdfs-
2020-09-24 15:08:46
406
原创 HADOOP给定一个表的列表，输出删除原数据脚本和重新拉数的脚本
给定一个表的列表tables.list，输出删除原数据脚本location_rm.sh，和重新拉数的脚本location_distcp.shtables.listcat tables.list |awk ‘{print "impala-shell -B -q “show create table “$0"”|grep nameservice1 >> location_pre.txt”}’|bashcat location_pre.txt |awk -F’nameservice1’ ‘{pr
2020-09-24 15:06:39
184
原创 CDH 帧错误
所有受监控的网络接口在过去 15 分钟内传入的网络数据包的 0.09 中的网络帧错误数。 警告阈值：任意。问题定位：ifconfig 发现errors:25734bond0 Link encap:Ethernet HWaddr F8:F2:1E:A7:16:A0inet addr:10.x.x.x Bcast:10.3.0.255 Mask:255.255.255.0inet6 addr: fe80::faf2:1eff:fea7:16a0/64 Scope:LinkUP BROAD
2020-09-24 15:04:50
2323
7
原创 CENTOS6 时区调整
date显示UTC:mv /etc/localtime /etc/localtime.bakln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtimedate显示：Asia：Wed Jul 22 00:55:43 Asia 2020vim /etc/sysconfig/clockvim .bashrc检查TZ是否为TZ=‘Asia/Shanghai’ZONE=“Asia/Shanghai”TZ=‘Asia/Shanghai’export
2020-09-24 15:01:58
673
原创 CDH-HBASE启动报错
问题：2020-08-10 20:10:09,475 INFO org.apache.hadoop.hbase.coordination.ZkOpenRegionCoordination: Opening of region {ENCODED => 62aad16825cc68dbb15c7eb5ed3d01ad, NAME => 'invbiaos170411,04444444,1491878211908.62aad16825cc68dbb15c7eb5ed3d01ad.', STARTKE
2020-08-18 10:30:32
611
原创 CDH主机网络接口似乎未以全速运行
CDH主机网络接口似乎未以全速运行主机网络接口似乎未以全速运行 Cloudera Manager Agent 无法确定双工模式或接口速度分两种情况：情况一：排查：ethtool eth0发现Speed: 10Mb/s[root@hadoop6 ~]# ethtool eth0Settings for eth0: Supported ports: [ TP ] Supported link modes: 10baseT/Half 10baseT/Full
2020-08-18 10:26:18
3162
原创 KUDU同步数据到Hive报错
KUDU同步数据到Hive报错一：现象Azkaban每晚任务：将KUDU数据写入Hive偶尔出现连接kudu报错：Exception in thread “main” java.sql.SQLException: Unable to open scanner: Timed out: Client connection negotiation failed: client connection to 10.x.x.158:7050: BlockingWrite timed out: Timed out
2020-07-08 14:34:47
2775
2
原创 居然两个NameNode都是备用，见了鬼了
@解决NameNode切换过程中出现两个备用先来看图：版本：CDH:5.7.1起因：1.一周前，ZK出现无缘无故的抖动，导致HBase一个计算节点挂掉了紧接着，这周出现该节点Redis频繁告警：查看服务器CPU,内存使用均正常。怀疑是磁盘IO。果然磁盘IO 100%想装个iotop看下具体哪个进程引起的，结果yum的时候直接没响应那么先把该服务器上重要的CDH节点先迁移走：NameNode迁移完成之后出现了2个备用，没有主节点。问题肯定是由于该服务器磁盘IO高，导致迁移的时候响应
2020-06-23 18:34:08
1872
原创 Mysql主从同步延时问题
k8s证书过期解决办法步骤如下：如果k8s版本为1.12.1，先升级到1.12.10（如果证书已经过期，先用类似date -s “2019-11-10 10:10:10”命令把机器时间改为过期前几天，然后升级及做后面一些列动作，做完后把时间改回来。）；然后更新k8s证书；最后SEE删除旧证书自动重新拉取新证书。 k8s升级升级须知：本升级文档针对华为专享云网络插件版本的k8s。升级会...
2019-12-04 10:56:00
378
原创 CDH 5.14.2 server启动报错 Can't DROP FOREIGN KEY `FK_SERVICE_CONFIG_REVISION`; check that it exists
CDH 5.14.2 server启动报错现象：启动cloudera-scm-server报错查看cloudera-scm-server.log发现如下报错2019-11-26 16:32:46,303 FATAL main:org.hsqldb.cmdline.SqlFile: SQL Error at 'UTF-8' line 2:"alter table SERVICES ...
2019-11-26 17:25:43
761
原创 CentOS7 使用parted 新增一个分区
CentOS7 使用parted 新增一个分区需求：接手一台服务器，说这台服务器配了2T的磁盘，但是没有看到，让我找一下。具体操作：1.df -h[root@优快云-DEMO /]# df -hFilesystem Size Used Avail Use% Mounted on/dev/mapper/centos-root ...
2019-09-04 10:58:57
2173
原创 MySQL server has gone away 问题排查
MySQL server has gone away 问题排查报错：生产上两个业务都碰到这个问题：python客户端请求时，报错2006, MySQL server has gone away (ConnectionResetError(104, 'Connection reset by peer'))原因分析：两个业务服务都是用的python，报错后服务不可用，但是数据库查询操作都...
2019-08-30 11:52:51
1430
原创 Centos6.5升级openssh至7.4版本
Centos6.5升级openssh至7.4版本：原文链接：https://www.cnblogs.com/guarderming/p/10719941.html基本可用，实际操作过程有些出入, 做了些许修改Centos6.5升级openssh至7.4版本一,备份配置文件,以备升级失败进行回退二,下载安装包wget http://www.zlib.net/zlib-1.2.11.tar...
2019-08-30 11:30:36
719
原创 楚留香武当派--自动做个人日常-按键精灵
楚留香个人日常//江湖缥缈录Delay 3000//活动MoveTo 224, 35Delay 1000LeftClick 1//江湖MoveTo 116, 687Delay 1000LeftClick 1//江湖缥缈录MoveTo 471, 292Delay 1000LeftClick 1Delay 60000//前去打探MoveTo 1185, 474Del...
2019-07-31 00:07:41
874
原创 楚留香自动采矿--按键精灵
楚留香采矿按键精灵：DoWhile TrueDelay 3000nowH = Hour(Now)nowM = Minute(Now)mnowH = nowH mod 6If mnowH = 0 and nowM = 1 Then//确认TracePrint “确认体力”TracePrint nowMTracePrint mnowHDelay 2000MoveTo 680...
2019-07-31 00:06:31
5291
原创 azkaban任务执行情况检查
azkaban任务执行情况检查密码与ip处自行替换#!/bin/shtoday=$(date +%Y%m%d)dir=/opt/scriptssql="SELECT CASEWHEN STATUS = 50 THEN 'success'WHEN STATUS = 70 THEN 'failed'WHEN STATUS = 30 THE...
2019-07-31 00:02:55
2595
原创 删邮件python脚本
删邮件python脚本某人说删公司邮箱很抠门，只能存3天，foxmail设置是7天，分分钟爆掉。于是写了个脚本-- coding: utf-8 --import telnetlibimport time连接Telnet服务器tn = telnetlib.Telnet(‘mail.tedu.cn’,110)tn.read_until(b’+OK Hello there.\r\n’)p...
2019-07-30 14:40:57
1134
原创 CDH5.7.1修改hostname
CDH5.7.1修改hostname1.停CDH集群，不用停cm2.停cloudera-scm-server和agent3.修改hostname修改ClouderaManger资源库表update scm.hosts set NAME=‘manager1’,IP_ADDRESS=‘xxx.xxx.xxx.xxx’ where NAME=‘dw0’;4.修改/etc/cloudera-s...
2019-07-30 14:35:18
783
原创 mariadb-cluster修改数据库配置：
k8s集群mariadb-cluster修改数据库配置：1.停业务：应用管理–应用—kgms–停止2.查看innodb_buffer_pool_sizeshow variables like 'innodb_buff%'; 2147483648 3.修改cpu/memkubectl edit sts mysql-galera-1030087077 -n 0...
2019-07-30 14:34:06
208
原创 python升级jedi
python升级jedi模块需求：将anaconda3的jedi-0.9版本升级到jedi-0.13.2pip install jedi-0.13.2-py2.py3-none-any.whlERROR: Cannot uninstall 'jedi'. It is a distutils installed project and thus we cannot accurately de...
2019-07-30 14:31:59
2870
原创 datanode报错：Premature EOF no length prefix available
datanode报错：Premature EOF: no length prefix available解决：ulimit -n 太小ulimit -n 65536
2019-07-30 14:30:35
5473
原创 kudu报错：Remote error Service unavailable Soft memory limit exceeded
kudu报错：Remote error Service unavailable Soft memory limit exceededKudu都有一个硬性和软性的内存限制。硬存储器限制是Kudu进程允许使用的最大数量，由–memory_limit_hard_bytes标志控制。软内存限制是由硬盘内存限制的一个百分比，由–memory_limit_soft_percentage标志控制，memo...
2019-07-30 14:29:52
1463
原创 hue忘记密码
hue忘记密码简单粗暴一点，直接修改数据库，auth_user表password字段：pbkdf2_sha256120001200012000i1tfRdEFgcnQ$mCwup9RGxgVEHUkJa5JdxuMzUSKx8Z1RYUDLFOndlnA=这个是admin
2019-07-30 14:28:25
993
1
原创 CDH踩坑
CDH踩坑同事在部署时候碰到这个问题，之前同样的部署方式并没有碰到过，所以拿出来记录一下：CDH javax.mail.MessagingException: Could not connect to SMTP host: localhost, port:25解决：去除这个勾...
2019-07-30 14:24:26
787
原创 CDH离线部署5.7.1 on Centos6
nginx定时清理日志脚本欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使...
2019-07-30 13:36:57
595
原创 ssd磁盘扩容
Centos6，ssd磁盘扩容首先使用fdisk创建新磁盘：fdisk /dev/sdc第一步：创建pv[root@h103 ~]# pvcreate /dev/sdc1Physical volume "/dev/sdc1" successfully created第二步：将新的pv加入到vg[root@h103 ~]# vgs VG #PV #LV #SN At...
2019-07-29 10:41:32
1093
原创 filebeat 发送 kafka 配置
filebeat 发送 kafka 坑kafka版本: kafka_2.10-0.9.0.0filebeat配置文件中的hostname要与kafka所在的hostname配置一样filebeat.prospectors:- input_type: log paths: - /opt/nginx_wjl/nginx-green/logs/access.log encodin...
2019-07-22 16:42:05
2734
2
原创 hive命令行有些服务器只能看到default:
CDH的节点执行hive命令，有些节点只能看到default库[root@wjltony ~]# hiveJava HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=512M; support was removed in 8.0Java HotSpot(TM) 64-Bit Server VM warning...
2019-07-22 16:31:22
1565
原创 数梦面试题
数梦面试题面试官：我有一张表，记录了CPU、内存、磁盘、IP地址等等信息，但是具体哪一列对应哪个信息是不固定的。需要得到磁盘使用最高的5个服务器以及它的ip。我：用shell脚本即可完成，思路分3步：1.获取磁盘使用率的列号2.获取IP地址的列号3.对磁盘使用率一列进行排序，获取Top5。然后经过测试给出了以下脚本：由于题目的列是随机的，我造了两个简单的样本1.txt：cp...
2019-07-22 16:20:24
154
原创 Hive Metastore Server 迁移后hive任务执行失败
Hive Metastore Server 迁移后hive任务执行失败启动过程如下：Query ID = root_20190717154242_27560818-a11a-45fa-9ec2-1c524a237169Total jobs = 1Launching Job 1 out of 1Number of reduce tasks not specified. Estimated ...
2019-07-22 16:09:59
663
原创 记一次mysql-galera集群docker容器误操作
记一次mysql-galera集群docker容器误操作血淋淋的教训：请记住，k8s 容器pod的删除pod的操作要一个删除后等待k8s自己将pod拉起来之后再删下一个。这次是连续删除了mysql-galera集群的3个pod所以数据库起不来了，起来两个pod，还有一个k8s都没有拉起来。进入容器后kubectl exec -it mysql-galera-346737554-0 -...
2019-07-17 11:45:13
522
原创 CDH 踩坑之：时钟同步问题
CDH 踩坑之：时钟同步问题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎...
2019-07-17 10:18:01
4476
原创 CDH踩坑记录之：熵不足
CDH 踩坑之：熵不足今天在部署CDH5.14.2的时候，有同学反馈cm上一会儿告警，一会儿变绿，一会儿变黄，系统没有跑任务，简直一个红绿灯。查看告警内容：36 entropy was available. 临界阀值：50解决过程：1.查看系统当前的熵：发现确实很少[root@wjltony ~]#cat /proc/sys/kernel/random/entropy_avail2...
2019-07-16 18:37:56
2461
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人