- 博客(11)
- 收藏
- 关注
RSS订阅原创 logstash实现相同数据输出到不同的kafka主题
logstash版本：7.13.3配置一input { beats { port => 5046 ssl => false }}output { if [fields][log_type] == "login" { kafka { bootstrap_servers => "0.0.0.0:9092" topic_id => "login"..
2021-07-17 01:33:27
646
原创 canal 出现异常Cause: org.h2.jdbc.JdbcSQLException: Table “META_HISTORY“ not found
canal版本：1.1.5### The error may exist in spring/tsdb/sql-map/sqlmap_history.xml### The error may involve com.alibaba.otter.canal.parse.inbound.mysql.tsdb.dao.MetaHistoryMapper.findByTimestamp### The error occurred while executing a query### SQL: sel.
2021-07-11 09:35:17
2354
原创 flinksql使用hive内置函数
flink版本：1.13.1TableEnvironment.loadModule("hive",new HiveModule("2.3.5"));
2021-07-10 09:30:02
436
原创 flink api校验建表语句的正确性
import org.apache.flink.table.api.EnvironmentSettings;import org.apache.flink.table.api.SqlDialect;import org.apache.flink.table.api.TableEnvironment;import org.apache.flink.table.api.internal.TableEnvironmentImpl;import org.apache.flink.table.delegat.
2021-07-06 21:00:39
398
2
原创 修改flinksql已经定义表的表结构
flink版本：1.13.1方案一：使用sql-clientFlink SQL> set table.sql-dialect=default;Flink SQL>alter table `hive`.`default`.ods_dsp_kafka set('flink.connector.startup-mode'='timestamp');如果要新增字段，必须同时添加name和data-type，不然会导致表损坏，这个时候要用hive cli修复。alter t.
2021-07-06 20:44:50
1659
3
原创 alink：批式训练和保存模型，流式消费和分类文本
背景：需要对kafka里的聊天内容进行实时判断是否违规还是正常，打上标签后推送到下游系统。版本： alink1.4.0，flink1.12.1 alink文档：https://www.yuque.com/pinshu/alink_doc https://gitee.com/mirrors/Alink训练数据：train.txt1表示违规，0表示正常label|review1|我是折扣后台 请一起折扣玩...
2021-06-30 21:43:58
583
2
原创 flink基于savepoint点的重启脚本
flink版本：1.12.4#!/bin/bashjob_name=start_log=stop_log=savepointpath=#如果之前已经启动,从start_log里面拿到jobid#根据job_name从yarn拿到application id#根据jobid和application id停止任务，注意缺少application id可能停止不了任务#start_log应该可以拿到jobid和application id，要看日志打印全不全#hdfs://emr-c.
2021-06-29 21:50:00
1047
1
原创 关于flink kafkaconsumer的偏移量存储位置测试
偏移量存储位置：1、如果设置了状态后端和checkpoint机制，同时有下面设置： FlinkKafkaConsumer.setCommitOffsetsOnCheckpoints(true) （上面代码表示每次checkpoint的时候把组消费偏移量提交到kafka，默认为true） 那么组消费偏移量会记录到 状态后端 和 kafka2、如果设置了状态后端和checkpoint机制，同时有下面设置： FlinkKafkaConsumer.set...
2021-06-26 15:48:53
1973
原创 docker的理解和简单制作
目录1、定义Dockerfile文件2、构建容器3、查看本地已有容器4、运行容器5、查看正在运行的容器6、停止正在运行的容器7、启动已经关闭的容器8、删除本地已经创建的容器9、 暴露容器内的端口给外部使用10、容器内使用外部的服务1、定义Dockerfile文件 创建任意名字的目录docker-test，进入docker-test目录创建文件Dockerfile，内容如下： FROM java 上面的意思是...
2021-06-23 22:32:55
109
2
原创 关于flink watermark水位线的理解
本文章基于以下两个视频的一点理解：https://www.bilibili.com/video/BV1qy4y1q728?p=51https://www.bilibili.com/video/BV1qy4y1q728?p=52假设以event-time作为时间，延迟2秒，窗口大小是5秒。注意：flink可以同时存在两个窗口的数据在等待计算。理解一：1、时间戳1的数据到来，时间范围在[0,5)内，数据进入桶[0,5)2、时间戳4的数据到来，时间范围在[0,5)内，数据进入桶[0,
2021-06-23 21:34:18
369
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人