weixin_44996457的博客

canal.instance.master.address=192.168.140.1:3306 ###修改为自己的mysql信息。到此，我们可以实时获取到mysql数据库的各种操作日志，接下来需要将数据写到哪里 可以按需实现。本文主要介绍canal采集mysql数据的tcp、datahub(kafka)模式如何实现。启动：bin/startup.sh。到此，canal服务端配置完成。c、canal客户端开发。打开看看即可，不需要调整。2、TCP模式的实现。

本文主要实现数据到datahub的采集过程。datahub插件下载。

【快传】我给你发了 lo...ar.gz, 快来看看 https://www.alipan.com/t/LmKbT2eJ9ELywpcXBLHg 点击链接即可保存。「阿里云盘」APP ，无需下载极速在线查看，视频原画倍速播放。5、logstash timestamp 增量到datahub。3、logstash 全量 mysql到datahub。4、logstash number增量到datahub。本文主要实现logstash到datahub的功能。2、logstash文件到datahub。

主要功能是通过侧数据流 拆分流数据。

Flink+MapState+Ontimer+Enum+Flink去重综合应用

1、把timestamp+“\n”+密钥当做签名字符串，使用HmacSHA256算法计算签名，然后进行Base64 encode，最后再把签名参数再进行urlEncode，得到最终的签名（需要使用UTF-8字符集）。2、在机器人管理页面选择自定义机器人，输入机器人名字并选择要发送消息的群，同时可以为机器人设置机器人头像。例如添加了一个自定义关键词：监控报警，则这个机器人所发送的消息，必须包含监控报警这个词，才能发送成功。1、选择需要添加机器人的群聊，然后依次单击群设置 > 智能群助手。

【代码】Spark on Maxconpute 读取资源 SQL DataFrame Json 转换开发。

1、各组件版本 Blink 3.6.0 Datahub Hologres 0.10 Rds 8.0/5.7 Maxcompute 3.52、维表关联代码2.1Maxcompute维表2.2Rds维表2.3Hologres维表3、维表关联代码4、数据Sink4.1MaxcomputeSink4.2HologresSink4.3DatahubSink5、自定义函数6、DataStreamAPI2.1 Maxcomp......

1、rows between unbounded preceding and current row等，unbounded ，preceding ，following，current row含义详解以下转自：(http://blog.youkuaiyun.com/huozhicheng/article/details/5843782/)作者：Horrison目录=========================================1.窗口函数简介2.窗口函数示例-全统计3.窗口函数进阶-滚

Blink 实时标签体系

1、实时计算Datastream完全兼容开源Flink 1.5.2版本。下载并解压flink-1.5.2-compatible分支到本地。说明下载文件中的datahub-connector中同样实现了DataHub Sink功能，具体实现请参见下载文件中的DatahubSinkFunction.java和DatahubSinkFunctionExample.java。2、在CMD命令窗口，进入alibaba-flink-connectors-flink-1.5.2-compatible目录后，执行.

1、pom.xml注意：<dependency> <groupId>com.alibaba.flink</groupId> <artifactId>datahub-connector</artifactId> <version>0.1-SNAPSHOT</version> <classifier>jar-with-...

1、关于NULL值排序①HIVE时间类型：SELECT idFROM ( SELECT GETDATE() id UNION SELECT NULL id UNION SELECT TO_DATE('20211101','yyyymmdd') id ) tORDER BY id ASC;结果：+------------+| id

1、开启脚本模式from odps import optionsoptions.sql.settings = {"odps.sql.submit.mode" : "script"}o.execute_sql("set odps.sql.default.file.format=aliorc;set odps.storage.force.aliorc=true;create table User_tags(*****)")

1、Hologres 0.8 创建数组类型外部表采坑ODPS:CREATE TABLE `test_clue` ( `id_c` array<bigint>, `name` array<string> ) ;Holo:CREATE FOREIGN TABLE test_clue(id int8[],name text[])SERVER odps_serverOPTIONS(project_name 'itsl_dev', table_name 'test_