gongzhiyao37390814的博客

最近实时计算平台要搭建指标可视化监控，查阅了网络的搭建方案，大部分都是 flink + pushGateway + prometheus + grafana, 博主也是按照这样的方案进行搭建，从测试环境到线上，刚开始都没有什么问题，但是在越来越多的任务接入了pushGateway 之后，pushGateway 性能急剧下降，flink 程序出现 WARN 报警，连接 pushGateway 超时如下图：然后查看grafana 监控，发现任务指标监控更新缓慢，明显延迟，且有些新任务启动后在..

互联网寒冬，每个公司的数据团队都会面临数据治理，那么什么是数据治理呢？简单来说就是解决集群的存储问题，实际要比这复杂的多。什么样的数据需要治理，需要怎么治理，谁来治理？从治理来说，只有一个目的，安全、稳定、高效的清理无效数据或是使用率较低的数据，节约成本；减少小文件数，降低NameNode压力数据治理不是单独存在的，它依赖着数据资产分析，数据元信息等现在说一下我实现的数据治理方案：1. Hive 表数据压缩归档周期性的对用户设置的压缩周期进行压缩归档，可以减少一定的存储，同时也在一定

Hello ,各位，来晚了，这两年发生了很多的事情，博客没有更新，在接下来的日子里会逐步写下我从事的大数据平台开发的心理历程以及在工作中的设计理念等。希望大家关注！谢谢！...