
大数据
文章平均质量分 66
csa121
这个作者很懒,什么都没留下…
展开
-
StarRocks列转行函数unnest
在使用StarRocks引擎做数据开发时,会遇到一些列转行的场景,可以使用unnest函数原创 2023-03-09 18:05:04 · 2494 阅读 · 0 评论 -
flink checkpoint超时问题排查方法
一般来讲,checkpoint配置10s-60s都是合理的,默认的超时时间是600s,在业务逻辑不复杂的情况下,极少会出现超时的情况 如果发生了超时。就需要先定位到具体的机器和进程。 然后再根据业务场景排查具体是什么问题引起的超时。 flink集群和上下游组件正常运行的情况下,由于业务逻辑处理或者数据问题导致超时的概率应该在99%以上,所以在排除系统问题的情况下,直接从业务逻辑定位问题是正确的方向。 排查思路分3步: 1. 先找到超时的subtask序号 如果超时正在发生,可以直接在 这里看到超时的那一条原创 2021-08-05 15:07:12 · 2847 阅读 · 0 评论 -
flume1.8在线上业务中的使用和总结
什么是flume? flume是一个日志采集、聚合和传输的系统 作用是什么? 作用就是将业务集群上各个机器上的日志收集起来,对数据做集中处理。 部署文档 最新版的flume1.8,请参官网 http://flume.apache.org/FlumeUserGuide.html 的使用说明,真的很详细。 网上也有flume1.7的搭建教程,Google一下就可以,搭建过程...原创 2018-02-27 20:37:05 · 1838 阅读 · 0 评论