wulei.cnvip
Now: ByteDance for ByteLake;
Before: NetEase for Arctic/Sloth;
展开
-
启动springboot项目的时候,后台报错 The main resource set specified [/tmp/tomcat-docbase.xx.xx] is not valid...
启动springboot项目的时候,后台报错The main resource set specified [/tmp/tomcat-docbase.xx.xx] is not valid。磁盘满了,把/tmp下的文件删除一部分即可原创 2020-01-13 16:26:00 · 1567 阅读 · 0 评论 -
docker安装GreenPlum
https://my.oschina.net/xiaozhublog/blog/2249525 https://blog.youkuaiyun.com/TN947/article/details/78794297 想重新启动gp报错 删除container sudo docker rm f91cf8a96...原创 2019-08-03 15:47:00 · 1689 阅读 · 0 评论 -
抑制apache.parquet.hadop包大量打印无效日志(Datax-HDFS)
使用datax在同步mysql->hive时发现parquet一直在打印日志,严重影响了正常日志的查看 解决方案如下 step 1 : 修改datax的logback.xml发现无效, 在这里改来改去测试了半天, 后来得出结论, logback.xml根本控制不住这个包下的日志 step 2 : 直接更改hive源码jar包https://www.jians...原创 2019-08-03 15:26:00 · 620 阅读 · 0 评论 -
hadoop启动后jps命令后未找到NameNode服务
如题,按照官方文档启动部署hadoop,https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html或https://www.cnblogs.com/hello-/articles/9600269.html但是在执行‘$ sbin/start-dfs.sh...原创 2020-02-25 18:14:00 · 2947 阅读 · 1 评论 -
定期整理-todo
Failed to rollback to checkpoint/savepoint hdfs. Cannot map checkpoint/savepoint state for operator to the new program, because the operator is not available in the new program. If you want to a...原创 2020-03-24 18:01:00 · 658 阅读 · 0 评论 -
Redis规范
Redis Key 命名规范建议英文字母全部大写key的长度需要权衡,键名长占资源,性能差;短可读性差。建议Key的前缀在2~4个单词单词与单词之间以英文冒号:分开每个DB具有特定的业务块,故Key上无需说明所属模块,如DB1表示直播间,内部Key无需带上‘LiveRoom’Key前缀的最后一个单词说明主键含义,多个字段组成的主键之间用下划线分隔,如X:X:USERID:123,X:...原创 2020-04-17 08:37:14 · 252 阅读 · 0 评论 -
Redis 定期删除ZSet中无效的Member
如果使用redis zset结构,key不能直接设置过期时间,又想对member设置过期删除时,可以使用这个脚本根据score进行过期删除。大家可以参考下,score的格式需要自定义调整下。删除脚本redis-del-keys.sh (main)#!/bin/bash##redis主机IPhost=$1##redis端口port=$2##redis端口password=$3##r...原创 2020-04-17 08:42:57 · 4090 阅读 · 0 评论 -
Azkaban 调研
待验证的问题Azkaban 能否避免一个作业的并发调度,即当前一个作业还在运行中,该作业再次到达调度时间时能否被控制不调度 ?一个作业是否能适配多条调度规则,如每小时调度一次,同时在每天12:30调度一次 ?多条调度规则之间是否可以控制,当调度冲突时的处理策略是什么 ?问题1不可以。确实设置调度规则为串行调度后会按照串行调度,在上一个作业没有运行完毕后,不会再调度相同的作业,哪怕到达了调度时间。 但是需要注意的是,这里的作业执行完毕是指对 Azkaban 而言,如果我们用异步 shell 脚原创 2021-01-19 13:47:57 · 306 阅读 · 0 评论 -
Presto 杂记
~/apache-hive-2.1.1-bin$ bin/hive --service hiveserver2SLF4J: Class path contains multiple SLF4J bindings.SLF4J: Found binding in [jar:file:/home/sloth/apache-hive-2.1.1-bin/lib/log4j-slf4j-impl-2.4.1.jar!/org/slf4j/impl/StaticLoggerBinder.class]SLF4J:原创 2021-01-28 09:12:07 · 218 阅读 · 0 评论