- 博客(9)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 flink通过keyby()+reduce做行转列数据格式
初始化部分省略了，下面是转换逻辑作为备忘val ttstream= datastream .map(m=>{ val actype=m._1 var joinroom_uv=0L var waitformic_uv=0L var controlmic_uv=0L var exitroom_uv=0L if(actype.equals("joinroom"))joinroom_uv=m._3 if(actype.equals("waitf..
2020-05-25 16:02:33
1660
转载 亿级数据从 MySQL 到 Hbase 的三种同步方案与实践
亿级数据从 MySQL 到 Hbase 的三种同步方案与实践1.导语2.工欲善其事，必先利其器2.1 环境需知2.2 伪分布式环境部署2.2.1.准备工作2.2.2 伪分布式3.亿级MySQL数据插入3.1 load data infile3.2 Python 批量插入3.3 Python 多线程插入3.4 MySQL数据导入方法...
2019-10-14 14:12:00
810
转载 美团1万台 Hadoop 集群 YARN 的调优之路
背景YARN作为Hadoop的资源管理系统，负责Hadoop集群上计算资源的管理和作业调度。美团的YARN以社区2.7.1版本为基础构建分支。目前在YARN上支撑离线业务、实时业务以及机器学习业务。 离线业务主要运行的是Hive on MapReduce， Spark SQL为主的数据仓库作业。 实时业务主要运行Spark Streaming，Flink为主的实时流计...
2019-10-14 10:34:10
322
原创 flink监控基于pushgateway+prometheus+grafana构建
先上一个架构图Flink App ： 通过report 将数据发出去metric信息Pushgateway : Prometheus 生态中一个重要工具Prometheus :一套开源的系统监控报警框架 （Prometheus 入门与实践）Grafana：一个跨平台的开源的度量分析和可视化工具，可以通过将采集的数据查询然后可视化的展示，并及时通知（可视化工具Grafan...
2019-09-24 19:02:04
10059
转载 Flink Checkpoint超时问题常见排查思路
本文大致理一下checkpoint出现超时问题的排查思路：（本文基于flink-1.4.2）超时判断逻辑jobmanager定时trigger checkpoint，给source处发送trigger信号，同时会启动一个异步线程，在checkpoint timeout时长之后停止本轮 checkpoint，cancel动作执行之后本轮的checkpoint就为超时，如果在超时之前收到了最后...
2019-09-05 19:20:53
4231
原创 flink1.9.0使用blinkSQL自定义UDF报Not support dataType: TIMESTAMP(9)
在使用blinkSQL在输出语句中输出日期是UTC时间少了8小时，所以写了个udf去把时间+8小时，udf写的很简单如下：import org.apache.flink.table.functions.ScalarFunction;import java.sql.Timestamp;public class UTC2Local extends ScalarFunction { ...
2019-09-05 19:01:34
1735
1
原创 flink连接到外部系统Kafka Connector API 代码报错问题org.apache.flink.table.factories.DeserializationSchemaFactory
更多内容参考：https://ci.apache.org/projects/flink/flink-docs-release-1.7/dev/table/connect.html#kafka-connectorpackage org.apache.flink.streaming.scala.examples.kafkaimport org.apache.flink.stream...
2019-06-05 20:04:06
10585
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人