qq_40650378的博客

用户的任务会以job方式提交给集群，runtime负责整个作业的调度，支持各种作业方式。简单的一个作业表单实际上作业是：这里就是逻辑图(JobVertex)和执行图(ExecutionVertex)的区别，虚线圈表示的是一个Operator chain(要求并发度一致，数据交换1对1)按官网总结runtime图如下：核心组件有JobMaster(管理作业)，ResourceMnager(资源调度)，TaskExecutor(任务执行器)。下面分别介绍作用：一.Jobmas

1.概念：主要是对经过flink处理后的流所做一系列的操作，操作完后就把计算后的数据结果 Sink 到某个地方（Kafka、ElasticSearch、Socket、RabbitMQ、JDBC、Cassandra POJO、File、Print 等），简单的讲就是流去向2.主要参与类（SinkFunction）可以看到包含上面所说的各种处理类对象主要是invoke()方法...

一：数据源有以下几种类型* 1.基于集合：有界数据集，更偏向本地测试* 2.基于文件，适合监听文件修改并读取内容* 3.基于socket:监听主机的host port,从socket中获取数据* 4.自定义addSource:无界二：详细分析 1.集合 DataStreamSource<OUT> input =env.fromCollectio...

网上关于Flink介绍的文章很多，可以自行百度，向来喜欢研究技术解决实际问题，主要谈我是怎么入坑的学java出身没怎么接触大数据，也分不清楚Hadoop和Spark的业务场景好坏之分，只是在工作中遇到GPS异常数据处理时，项目中时时会出现一些单靠现有的知识解决不了的问题，想着有没有更好的架构或者java相关的处理办法呢，而恰好Flink是基于java代码设计的，于是开始了简单的介绍还是要的...