- 博客(12)
- 收藏
- 关注
RSS订阅原创 【flink cdc】flink读mysql写clickhouse
1. 使用flink cdc 读mysql 写clickhouse 2. clickhouse使用CollapsingMergeTree sign 1 is a “state” row, -1 is a “cancel” row. 3. 解决时间差8个小时问题
2022-12-12 17:42:42
1170
原创 kafka cause: Record is corrupt (stored crc = 2998702025, computed crc = 1639670923)
Caused by: org.apache.kafka.common.KafkaException: Received exception when fetching the next record from t_vpn-2. If needed, please seek past the record to continue consumption. Caused by: org.apache.kafka.common.KafkaException: Record batch for partition
2021-04-08 13:44:36
3720
原创 适合练习pandas的Tushare
Tushare大数据开放社区,免费提供各类金融数据和区块链数据,助力智能投资与创新型投资。 博主推荐专属链接 https://tushare.pro/register?reg=400954 (成功推荐注册一个有效用户，获得50分) 积分越高, 数据接口权限越大, 基础注册后完善基础信息就可以使用股票历史日行情线, 包括开盘收盘价涨跌额等信息, 大家不用担心,博主想获得上市公司管理层信息需要积分, 望大家助力 同时数据非常适合练习pandas 获取日行情线方法 #!/usr/bin/python3 # -*-
2020-11-13 14:04:20
518
2
原创 Flink 自定义Trigger实现带超时时间的计数窗口
stream.timeWindowAll(Time.seconds(10L)) .trigger(CountTimeoutTrigger(100L,TimeCharacteristic.ProcessingTime)) import org.apache.flink.api.common.functions.ReduceFunction import org.apache.flink.api.common.state.ReducingStateDescriptor import org.apa
2020-10-23 15:58:50
1025
原创 Assigned key must not be null!
Assigned key must not be null! flink报错: Caused by: java.lang.NullPointerException: Assigned key must not be null! 原因 keyBy的字段不能为null
2020-10-12 10:14:21
5274
2
原创 python join拼接字符串
四川,中,成都市,028 四川,中,自贡市,0813 四川,中,泸州市,0830 四川,高,德阳市,0838 四川,中,绵阳市,0816 四川,中,遂宁市,0825 四川,中,内江市,0832 四川,高,南充市,0817 四川,中,宜宾市,0831 四川,中,广安市,0826 四川,中,达州市,0818 file = open(r'C:\Users\ZSIns15-5558\Desktop\ke...
2020-03-16 12:40:05
356
原创 scala版线程安全的日期时间工具(LocalDateTime)
import java.time.format.DateTimeFormatter import java.time.{Instant, LocalDate, LocalDateTime, ZoneId} object DateTimeUtils { // 获取当前日期时间字符串 格式: yyyy-MM-dd HH:mm:ss def getDate: String = { v...
2019-03-28 20:39:03
1154
翻译 zookeeper的简介与安装
zookeeper简介 zookeeper是一个用于降低分布式系统开发过程中节点间协调问题开发难度的工具, 解决分布式系统中，节点和节点之间的动态感知问题 zookeeper提供的功能： 提供数据注册功能 提供数据查询功能 提供数据监听功能 zookeeper的作用: 分布式系统中的主从协调 分布式系统中的名称服务 分布式系统中的分布式共享锁 分布式系统中的配置文件同步 分布式系统中的服...
2018-10-07 19:22:20
272
翻译 azkaban资源下载及简单使用
azkaban工作流调度器 Azkaban是由Linkedin公司推出的一个批量工作流任务轻量级调度器，用于在一个工作流内以一个特定的顺序运行一组工作和流程, 可定时, Azkaban使用job配置文件建立任务之间的依赖关系，并提供一个易于使用的web用户界面维护和跟踪你的工作流 azkaban 的资源下载链接：https://pan.baidu.com/s/1XGSg2rBU3jJruO...
2018-09-12 08:43:41
4533
2
翻译 Linux关于MySql密码过期, (忘记密码)的解决办法
密码过期错误信息如下： ERROR 1862 (HY000): Your password has expired. To log in you must change it using a client that supports expired passwords. // 错误1862 (HY000):您的密码已过期, 要登录，您必须使用支持过期密码的客户端进行更改 用忽略授权表的方法进...
2018-08-25 23:08:34
3359
翻译 Windows安装hadoop2.7.1
Windows伪分布式搭建 1. 下载 hadoop2.7.1.tar.gz, 解压放在磁盘C:\ 2. 新建文件夹 3. 修改C:\hadoop2.7.1\etc\hadoop下文件 hadoop-env.cmd // PROGRA~1为Program Files的软连接 // 因为我的jdk路径, E:\Program Files\Java\jdk1.8.0_17...
2018-08-25 11:51:31
1573
翻译 关于shell显示系统当前日期和时间的简单使用
date +%Y 以四位数字格式打印年份 eg: 2018 date +%y 以二位数字格式打印年份 eg: 18 date +%m 月份 date +%d 日期 date +%H 小时 date +%M 分钟 date +%S 秒 date +%w 星期，如果结果显示0，则表示周日 注意: date后面要有空格 字母区分大小写 date -d "-1 day" +%d 前一天的日期...
2018-08-18 15:37:02
18989
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人