
大数据
蘑菇街-无情
这个作者很懒,什么都没留下…
展开
-
解决NodeManager跑半年左右就频繁触发FULL-GC的内存泄露问题
解决NodeManager跑半年左右就频繁触发FULL-GC的内存泄露问题故障过程故障过程我们的集群用的事2.7.3版本的集群,NodeManager跑半年左右就会频繁触发FULL-GC,然后重启。然后发现这是一个普遍现象,集群里的机器好像都是这个节奏,过了半年之后,就会触发FULL-GC告警,然后重启一下。到底是为什么呢,我们带着这个问题,开始进行排查工作。我们找到一台触发FULL-GC的...原创 2020-03-09 22:54:55 · 27931 阅读 · 2 评论 -
蘑菇街实时计算平台-起源篇
蘑菇街实时计算平台-起源篇今日正在我默默工作时,HR小姐姐突然找到我了,让我把《实时计算平台》搬到内网,好吧,谁让HR小姐姐太漂亮了呢,只能恭敬不如从命了,既然公司内网都已经发布了,那这里也搬一次吧。想着想着思绪又回到了一年半前~~~,大约是2018年的12月份数仓的 申X 同学 兴奋的跑过来:我这边有个需求,要用到实时计算,你们帮忙写一下我们:哦,这个需求么,要写2周吧,申X:WHA...原创 2020-03-07 11:20:39 · 701 阅读 · 2 评论 -
Flink集群抖CPU-LOAD抖动问题排查
Flink集群抖CPU-LOAD抖动问题排查故障经过故障经过原创 2020-03-01 18:30:24 · 27250 阅读 · 0 评论 -
Mac 下编译 Hadoop-2.8
Mac 下编译 Hadoop-2.8系统基本环境准备1. maven:Apache Maven 3.5.42. jdk:1.8.0_2013. brew:Homebrew 2.2.6编译环境准备1.cmake:2.openssl:3.snappy:4.zlib:5.protobuf:编译hadoop下载hadoop源码开始编译编译完成系统基本环境准备由于下面列的东西都比较常规,具体的安装过程就...原创 2020-03-01 18:30:10 · 453 阅读 · 1 评论 -
ZK节点数过大导致不可用,引发ResourceManager挂掉
ZK节点数过大导致不可用,引发ResourceManager挂掉故障经过故障经过晚上8点多突然发现flink任务大面积挂掉重启的告警,然后打开 yarn-ui进行查看发现 ui也挂了根据情况以及日志,初步判定RM挂了,然后查看RM 日志,发现ZK连不上,怀疑ZK有问题, 然后又登录ZK集群,查看ZK日志##ZK日志为了尽快恢复故障,减少故障时间,决定重启RM,但是启动失败,感觉RM启...原创 2020-02-10 18:13:42 · 27921 阅读 · 4 评论