分享
扫一扫
超级会员免费看
Better~Me
请已购买优快云专栏的朋友，申请时附加购买账号的优快云昵称，否则，不予通过查看权限
展开
-
Flink: Only supported for operators
union算子和getsideoutput算子，都不能自定义算子名字。原创 2023-10-09 15:01:17 · 821 阅读 · 0 评论 -
flink redis connector需要防止包冲突
【代码】flink redis connector需要防止包冲突。原创 2023-10-09 15:00:02 · 747 阅读 · 0 评论 -
scala语言中，使用fastjson进行case class与json字符串的互转报错
不要使用fastjson，使用json4s。原创 2023-10-09 14:58:30 · 190 阅读 · 0 评论 -
Flink写入MySQL时报错：CommunicationsException: The last packet successfully received from the server was
com.mysql.cj.jdbc.exceptions.CommunicationsException: The last packet successfully received from the server was 1,199,914 milliseconds ago. The last packet sent successfully to the server was 1,199,917 milliseconds ago. is longer than the server configure原创 2023-10-09 14:56:59 · 395 阅读 · 0 评论 -
Flink Checkpoint过程全网独家源码详解(一)之取消任务删除checkpoint
Flink取消任务删除Checkpoint的实现及原理，全网独家详解原创 2022-10-13 20:27:23 · 1193 阅读 · 1 评论 -
全网关于Flink RecordWriter最全介绍
在这，你们首先要了解下，子分区和InputChannel。从下图可以看出，RecordWriter决定数据项哪个子分区，而每个子分区由唯一对应InputChannel，每个InputChannel都唯一属于某一个Task.这时你们就会问道，写往哪个子分区和写往下游哪个子Task完全是不同的概念啊，为什么都是由RecordWriter承担呢？实际上，我们最常见的说法：数据写往下游哪个子Task，就是由。RecordWriter承担，即往哪个子分区写的作用。原创 2022-09-21 15:28:38 · 708 阅读 · 1 评论 -
Flink内部数据交换源码分析(二)之上游输出以及下游读取过程
讲述了Flink Operator转成Task后，粗略地讲解如何从上游获取获取数据、反序列化、处理数据、序列化、发往下游的整个流程。上文并没有详细的解释，是如何将数据写出去的？上篇文章中讲述了StreamTask线程在跑起来的过程，就是处理数据的过程。当然文中还给自己留有好几个坑位。所谓的坑位是指在这篇文章中不详细叙述，后续专门写文章来讲解的。本文的目的，就是用容易让人理解的方式将这个过程写出来。Flink内部数据交换是如何做的？为什么Flink是天然具备反压的？反压在源码里是如何体现的？原创 2022-09-17 15:56:27 · 751 阅读 · 0 评论 -
Flink内部数据交换源码分析(一)
此时map算子经过图流转后，会转换成StreamMap算子，从上游读进来的数据反序列化后，交给StreamMap的processElement方法处理，首先用用户自定义的MapFunction去处理数据得到新数据，然后将新数据替换掉StreamRecord中的value值，替换完成后，将StreamRecord通过output.collect发往下游。这个方法会处理从上游算子中(InputGate或者算子链内是直接从上游拿)的数据，使用用户自定义函数处理完后，会使用Output.collect发往下游。原创 2022-09-14 15:40:16 · 807 阅读 · 0 评论 -
灵魂解答Flink错误Could not forward element to next operator
看网上很多同学说，是什么watermark的eventTime为空、数据源段出现脏数据，存在null值导致、要改什么时间格式等等解释，都没有触及这个错误的灵魂。Could not forward element to next operator错误，就应该知道为什么会报？该如何解决这个问题？...原创 2022-08-12 17:28:52 · 3444 阅读 · 0 评论 -
从源码角度看Flink从上游获取数据、处理数据并发往下游算子的过程关键StreamInputProcessor
NonReusingDeserializationDelegate中的instance属性，就是用来存储从上游的MemorySegment的数据反序列化后的数据，在其read方法中反序列化。它的作用是使用当前算子的处理逻辑处理反序列化后的数据，再通过out.collect发送到下游，开启下一个循环。初始化的目的是为了建立获取上游算子发送过来的数据，并反序列化，再将反序列化后的数据交给当前算子处理，处理完后，发往下游整个过程的通道。其实，目前只有一个输入和两个输入，多个输入的情况是依赖于两个输入实现的。...原创 2022-08-12 09:10:58 · 490 阅读 · 0 评论 -
面试官问：Flink内部数据在算子链内外如何交换？Flink为何能高效处理数据？你该怎么回答呢？
当数据来到时，会经过StreamMap的processElement方法，再经过output.collect()，这里的output是指CountingOutput，因此调用CountingOutput的collect方法。StreamConfig是在生成StreamGraph过程中为每个算子生成的，其中noChainedOutput是指没有形成算子链的StreamEdge，chainedOutput是指形成算子链的StreamEdge。首先创建map的输出output。每个算子都是独立的算子链。.....原创 2022-08-12 08:56:35 · 685 阅读 · 0 评论 -
深入浅出解析Flink内存管理1--自动与自主内存管理
Flink中大量采用JAVA语言编写，JAVA语言的好处就是不用考虑底层，JVM会对代码进行深度优化，并对内存资源进行管理，自动回收内存。而缺点也在这里，自动就意味着不可控。基于JVM的大数据引擎，在处理海量数据时，如何在内存中储存大量的数据？...原创 2022-07-26 11:26:43 · 382 阅读 · 0 评论 -
Airbyte check source源码解读(二)之启动Mysql镜像以及校验Mysql连接
在这个docker命令中，可以看到 =""，后面跟了一个check命令，我就在想，mysql是怎么识别check和--config的？原创 2022-07-25 15:20:26 · 620 阅读 · 0 评论 -
Airbyte check source源码解读(一)之前后端交互以及Docker命令组装
包含sourceDefinitionId、connectionConfiguration两块。将connectionConfiguration放到partialConfig，再将sourceDefinitionId和partialConfig放到SourceConnection中。原创 2022-07-25 15:17:17 · 598 阅读 · 0 评论 -
Airbyte建立connection(二)之读取Source和写入Destination源码解读
在《airbyte建立connection源码解读(一)》一文中，介绍过airbyte是如何同步数据。但是只介绍了airbyte是通过Worker监听Source的标准输出和Destination的标准输入进行同步。Source的标准输出怎么就是从Source中读取的真实数据呢，是个什么样的原理呢？Destination的标准输入就一定是查询的结果呢？...原创 2022-07-25 15:11:46 · 860 阅读 · 0 评论 -
airbyte源码connection(一)之Worker如何监控Source和Destination（数据集成）
首先介绍airbyte的整体架构。airbyte-api：web接口airbyte-server：web接口对应的服务端Handler中对应一个又一个的接口airbyte-scheduler：调度服务airbyte-integrations:Source、Destination原创 2022-07-24 15:23:05 · 558 阅读 · 0 评论 -
mac使用airbyte源码编译时报错compiled by a more recent version of the Java Runtime (class file version 55.0)
has been compiled by a more recent version of the Java Runtime (class file version 55.0), this version of the Java Runtime only recognizes class file versions up to 52.0原创 2022-07-15 18:11:23 · 1283 阅读 · 20 评论 -
使用Flink时遭遇数据倾斜，怎么办？
无原创 2022-03-07 06:43:04 · 2439 阅读 · 0 评论 -
遇到Flink反压，如何着手解决？
遇到Flink反压，如何着手解决？原创 2022-03-03 16:45:26 · 324 阅读 · 0 评论 -
Flink生产环境Checkpoint设置
Flink生产环境Checkpoint设置原创 2022-02-26 14:40:18 · 934 阅读 · 0 评论 -
Flink生产过程中RocksDB状态调优
Flink生产过程中RocksDB状态调优原创 2022-02-26 12:11:47 · 1181 阅读 · 0 评论 -
Flink生产过程中并行度的设置
Flink生产过程中并行度的设置原创 2022-02-26 09:31:58 · 673 阅读 · 0 评论 -
Flink TaskManager内存管理以及常见内存故障排查
Flink TaskManager内存管理以及常见内存故障排查原创 2022-02-25 23:19:53 · 803 阅读 · 0 评论 -
使用Reactive模式时，JobManager无法打印出日志，报FileNotFoundException: /opt/flink/conf/log4j.properties
无原创 2022-01-27 18:11:48 · 1702 阅读 · 0 评论 -
Flink K8S native+application mode任务，总报DuplicateJobSubmissionException:Job has already been submitted
这篇是2022年第二篇文章，同样都是心血之作，文章主要描述了Flink是如何同步任务运行状态的？任务运行完、失败、取消后是如何通知Flink的？包括ApplicationStatus和JobStatus的关系等等。原创 2022-01-02 21:49:14 · 961 阅读 · 0 评论 -
从源码角度解析Flink如何知道任务运行、结束、取消、失败？
因为生产需求，从而催生这篇文章。今年是2022年，新的一年，祝每个程序员们都能拿到想要的奖金，哈哈哈，新年第一篇文章，免费分享~~点击！点击！点击此处！部分文章截图如下：...原创 2022-01-02 11:34:10 · 1176 阅读 · 1 评论 -
Flink K8S native模式下任务异常、取消、停止是如何做到销毁所有资源的？
原创文章，抄袭必追责！原创 2021-12-28 13:42:22 · 1185 阅读 · 0 评论 -
Flink Standalone不仅仅只是分布式
原创，请勿抄袭，抄袭不追责！！原创 2021-12-28 13:37:11 · 554 阅读 · 0 评论 -
Flink k8s native application mode模式提交流程源码解析终结版
文章部分截图如下：本文很长，内容讲的也很详细。更多详细内容请看如下链接：【腾讯文档】Flink k8s native application mode模式提交流程源码解析终结版https://docs.qq.com/doc/DRkF1YUZPdVB5UGJO如无法查看，请先购买付费专栏，再备注昵称申请查看权限。已付费购买专栏的朋友，请在申请查看权限时，备注你的优快云名称才能通过查看权限，谢谢配合，谢谢理解...原创 2021-12-25 00:59:44 · 1061 阅读 · 0 评论 -
Flink k8s native application mode模式提交流程图文版总结
文章部分截图如下：更多详细内容请看如下链接：【腾讯文档】Flink k8s native application mode模式提交流程图文版总结https://docs.qq.com/doc/DRkJZR3dEY2hJZm9Z如无法查看，请先购买付费专栏，再备注昵称申请查看权限。已付费购买专栏的朋友，请在申请查看权限时，备注你的优快云名称才能通过查看权限，谢谢配合，谢谢理解...原创 2021-12-25 00:54:56 · 621 阅读 · 0 评论 -
使用K8S native Application Mode，将Flink 1.11升级到1.13，TaskManager启动又立马挂掉
原创 2021-12-25 00:46:15 · 426 阅读 · 0 评论 -
Flink源码解析算子与算子之间的数据是根据什么规则分发到下游的？让你更好的理解Flink流式处理
原创 2021-12-12 21:46:40 · 823 阅读 · 0 评论 -
Flink K8S模式采用KubernetesHaServicesFactory类来做HA(高可用)，HA数据存储在哪里？又存了些什么？
原创 2021-12-12 21:52:05 · 929 阅读 · 0 评论 -
Flink1.14源码解析Reactive-mode自动扩缩容
原创 2021-12-12 21:49:34 · 954 阅读 · 0 评论 -
Zeppelin结合Flink1.11以及flink-cdc-connector的SQL使用（已跑通）
已付费购买专栏的朋友，请在申请查看权限时，备注你的优快云名称才能通过查看权限，谢谢配合，谢谢理解。如未购买，请购买专栏，再申请。文章部分截图如下：更多详细内容请看如下链接：【腾讯文档】Zeppelin结合Flink1.11以及flink-cdc-connector的SQL使用（已跑通）...原创 2021-12-19 16:51:08 · 764 阅读 · 0 评论 -
Flink反压导致CheckPoint失败，进而任务重启问题的解决思路
已付费购买专栏的朋友，请在申请查看权限时，备注你的优快云名称才能通过查看权限，谢谢配合，谢谢理解。如未购买，请购买专栏，再申请。文章部分截图如下：更多详细内容请见以下链接：【腾讯文档】Flink反压导致CheckPoint失败，进而任务重启问题的解决思路...原创 2021-12-19 16:38:58 · 997 阅读 · 0 评论 -
使用Flink cdc connector时，如果将一个change-log的数据源中使用TIMESTAMP类型时报错
已付费购买专栏的朋友，请在申请查看权限时，备注你的优快云名称才能通过查看全新，谢谢配合，谢谢理解。报错如下：11665 [debezium-engine] ERROR com.alibaba.ververica.cdc.debezium.DebeziumSourceFunction - Reporting error:java.lang.IllegalArgumentException: Unable to convert to LocalDateTime from unexpected va原创 2021-12-19 16:22:28 · 1638 阅读 · 0 评论 -
当在代码中使用Flink1.11.0版本时，如果将一个change-log的数据源insert到一个upsert sink时报错
报错如下：[ERROR] Could not execute SQL statement. Reason:org.apache.flink.table.api.TableException: Provided trait [BEFORE_AND_AFTER] can't satisfy required trait [ONLY_UPDATE_AFTER]. This is a bug in planner, please file an issue. Current node is TableSo原创 2021-12-19 16:18:07 · 518 阅读 · 0 评论 -
Flink K8S native模式下，pod重启，重启原因是报错 too old resource version
已付费购买专栏的朋友，请在申请查看权限时，备注你的优快云名称才能通过查看全新，谢谢配合，谢谢理解。更多内容请查看以下链接：【腾讯文档】Flink K8S native模式下，pod重启，重启原因是报错 too old resource version...原创 2021-12-19 16:14:02 · 503 阅读 · 0 评论 -
Flink1.13使用TIMESTAMP解析时间报解析错误：java.time.format.DateTimeParseException: Text ‘2020-11-19T09:48:45Z‘ c
已付费购买专栏的朋友，请在***申请查看权限时，备注你的优快云名称***才能通过查看全新，谢谢配合，谢谢理解。文章部分截图如下：更多内容请查看以下链接：【腾讯文档】Flink1.13使用TIMESTAMP解析时间报解析错误：java.time.format.DateTimeParseException Text ‘2020-11-19T094845Z’ could not be parsed at index 10...原创 2021-12-19 15:59:35 · 1308 阅读 · 0 评论