半壁江山009的博客

背景：使用flinkSQL 消费kafka流数据，操作后吸入kafkaflink版本：flink1.13.0样例数据： {"streamTaskId":"1307" ,"channel":"aa" ,"instanceId":"66996" ,"jobName":"flinksqldemo" ,"jobId":"1231213432432423af" ,"timestamp":1630484255363}source表： String sourcecheckpoi

**背景：**自测flink1.13.0性能，并修改了部分源码，然后本地编译（window系统）后，在服务器（centos）上部署。运行Flink测试任务时，启动报错：/usr/bin/env: bash^M: No such file or directory报错原因：sh脚本格式不对。因为在本地idea修改过源码，windows系统下，保存为了dos格式文件，在liunx环境下不识别，所以会报错。报错脚本：local/flink-1.13.0/bin/flink解决方式：1.vi

背景：1.在influxdb中， 经常有时候需要通过命令行多表查询，但是influxdb不提供join这种操作2.如果写入少量脏数据，想要手动删除，多个表方法：使用正则来匹配多个表的表名案例：在table开头的所有表中查询：SELECT * FROM /table*/ LIMIT 1 //正则表达式查询删除table_measurement开头的表delete from /table_measurement*/...

一、背景调研 flink最新版本的功能，使用的版本是flink1.13.1新版本下载编译可参考之前博客：https://blog.youkuaiyun.com/qq_31963719/article/details/114682592?spm=1001.2014.3001.5501起任务为了看到更全面的指标，自定义任务大概：kafkaSource —> filter —> flatMap —> keyby —> kafkaSink二、火焰图火焰图是跟踪堆栈线程然后重复多次采样

背景：在自定义metric report时，实现了MetricReporter，可以在其open方法中做一些初始化操作。 @Override public void open(MetricConfig config) { //todo do something }其中config包含了flink-conf.yaml配置文件中的所有参数，可以通过config方法获取比如：metricConfig.getString(CHANNEL, null)但是为了不影响jar，更灵

背景：需要追Flink部分源码，所以拉git上代码到本地编译1.准备注意： 下载代码的时候一定看清楚自己需要哪个具体版本，不要直接看一下releaseflink1.11就直接 复制url download了flink1.11只是大版本，而且flink1.11是有bug的 ，想要具体的flink1.11.1需要到tag中找；如果配有密钥，可直接 git clone …xxxx.git如果懒得的配git,也没想为社区提pr，单纯临时看一下代码 ，也可直接下载 download .zip然后解压即可

Flink实战（一）：订单支付实时监控一、背景​ 在电商平台中，最终创造收入和利润的是用户下单购买的环节；更具体一点，是用户真正完成支付动作的时候。用户下单的行为可以表明用户对商品的需求，但在现实中，并不是每次下单都会被用户立刻支付。当拖延一段时间后，用户支付的意愿会降低。所以为了让用户更有紧迫感从而提高支付转化率，同时也为了防范订单支付环节的安全风险，电商网站往往会对订单状态进行监控，设置...