fuyun6363的博客

R/W 列定义了一个元数据是可读的（R）还是可写的（W）。只读列必须声明为 VIRTUAL 以在 INSERT INTO 操作中排除它们。连接器可以读出消息格式的元数据。格式元数据的配置键以 ‘value.’ 作为前缀。Kafka 连接器提供从 Kafka topic 中消费和写入数据的能力。以下的连接器元数据可以在表定义中通过元数据列的形式获取。这篇博客聊聊怎么通过flink sql连接kafka。如果元数据名称和字段名称是一致的，可以省略。

如果数字 1 或整数 2 为 NULL，则返回 NULL。返回一个字符串，该字符串将位置 INT1 中的 INT2（默认情况下为 STRING2 的长度）替换为位置 INT1 中的 STRING2。返回字符串1在字符串2的位置，位置从1开始，如果不在字符串2中，返回0，如果出现多次，返回第一次出现的位置。去除字符串2中两边包含字符串1，如果只有一个字符串参数，则去除字符串两边的空格。将字符串1中包含字符串2的用字符串3替换，支持正则表达式。如果没有第二个参数，则返回四舍五入的整数。不应该是0.5的吗？

框架会定期发出所生成的最大的 watermark ，如果当前 watermark 仍然与前一个 watermark 相同、为空、或返回的 watermark 的值小于最后一个发出的 watermark ，则新的 watermark 不会被发出。在 CREATE TABLE 语句中，创建主键会修改列的 nullable 属性，主键声明的列默认都是非 Nullable 的。主键可以和列的定义一起声明，也可以独立声明为表的限制属性，不管是哪种方式，主键都不可以重复定义，否则 Flink 会报错。

在前一篇博客中已经简单介绍了Flink读取Kafka数据并通过Demo进行实践，这篇博客简单介绍Flink通过自定义Source读取MySQL数据并通过Demo进行演练。首先我们来简单了解下SourceFunction 接口，它是所有 stream source 的根接口，它继承自一个标记接口（空接口）Function。在IDEA中打开SourceFunction，按下图右击鼠标，选择Diagrams–>show DiagramsSourceFunction 定义了两个接口方法：1、run

flink算子操作主要分为三大部分：source(数据读取)、transform(数据处理)、sink(数据输出)，这篇博客简单聊聊flink读取kafka数据在控制台打印的Demo。废话不多说，执行上代码演示。pom.xml文件内容<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/

在IDEA中调用addSource编译时报错如下：原因：没有显示导包org.apache.flink.api.scala._解决办法：显示导包即可import org.apache.flink.streaming.api.scala._

目录先引入pom.xml文件flink流处理代码IDEA执行前面已经学习了flink的批处理WordCount，现在来学习下flink的流处理WordCount，其实和批处理差不多，区别在于获取执行环境方法和接收的数据方式不一样。批处理通过ExecutionEnvironment.getExecutionEnvironment方法获取批处理执行环境，再通过readTextFile("inputParth")方法获取文件，流处理通过StreamExecutionEnvironment.getExecuti

初学flink，在IDEA上编写WordCount代码运行报错如下：Exception in thread "main" java.lang.RuntimeException: No new data sinks have been defined since the last execution. The last execution refers to the latest call to 'execute()', 'count()', 'collect()', or 'print()'. at o

flink离线批处理WordCount代码如下：package com.fuyun.flink// 因为很多算子Java和Scala名称都一样，必须要显示导入scala所有包告知使用Scala语言的算子，不然会报错import org.apache.flink.api.scala._object WordCount { def main(args: Array[String]): Unit = { // 定义输入输出文件路径 val input = "E:\\IDEAwo

flink通过sh ${file}启动和停止集群集群会报错如下：[fuyun@bigdata-training tools]$ sh /opt/modules/flink-1.12.0/bin/stop-cluster.sh /opt/modules/flink-1.12.0/bin/config.sh: line 32: syntax error near unexpected token `<'/opt/modules/flink-1.12.0/bin/config.sh: line 32:

目录基本概念安装部署下载flink安装包单机 Standalone 的方式运行 Flink常用配置介绍基本概念运行 Flink 应用其实非常简单，但是在运行 Flink 应用之前，还是有必要了解 Flink 运行时的各个组件，因为这涉及到 Flink 应用的配置问题。图 1 所示，这是用户用 DataStream API 写的一个数据处理程序。可以看到，在一个 DAG 图中不能被 Chain 在一起的 Operator 会被分隔到不同的 Task 中，也就是说 Task 是 Flink 中资源调度的最