data_curd的博客

Time 时间分类 EventTime(事件发生时间)： 事件发生的时间，例如：点击网站上的某个链接的时间，每一条日志都会记录自己的生成时间如果以EventTime为基准来定义时间窗口那将形成EventTimeWindow,要求消息本身就应该携带EventTime IngestionTime(数据被Flink的Source加载的时间)： 数据进入Flink的时间，如某个Flink节点的source operator接收到数据的时间，例如：某个source消费到kafka中的数据如果以IngesingtTim

package Streaming.MYSQL import java.sql.{Connection, DriverManager, PreparedStatement} import org.apache.flink.configuration.Configuration import org.apache.flink.streaming.api.functions.sink.{RichSinkFunction, SinkFunction} import org.apache.flink.strea

1. map和mapPartition 将DataSet中的每一个元素转换为另外一个元素 示例 使用map操作，将以下数据转换为一个scala的样例类。 “1,张三”, “2,李四”, “3,王五”, “4,赵六” 注意 map和mapPartition的效果是一样的， 但如果在map的函数中,需要访问一些外部存储,如：访问mysql数据库，需要打开连接, 此时效率较低。 而使用mapPartition可以有效减少连接数，提高效率 参考代码 import org.apache.flink.api.s