纯手动搭建大数据集群架构_记录012_搭建Flink集群_安装部署_搭建集群_Yarn部署模式集群部署---大数据之Hadoop3.x工作笔记0173

     可以看到,之前我们做flink程序的时候,我们直接在项目中导入了flink的jar包,这个jar,在启动的时候,其实就会在电脑上模拟一个flink集群环境来进行数据处理,但是实际工作中,是要有一个集群,然后把我们的程序写好以后提交给集群就可以了.

然后我们来看一下这个集群的架构,比如我们会让一台机器是jobmanager,然后再让多个机器是taskmanager,用来处理数据就可以了.然后flink客户端,把我们编写好的程序,jar包,提交给jobmanager就可以了,然后jobmanager就可以把任务分配出去给taskmanager执行.

然后如何,动态的启动taskmanager等等呢,不能我们自己去启动三个对吧,如果不够了呢?

所以,这里一般flink会跟类似yarn资源管理框架一起用,用yarn自动根据情况,自动启动taskmanager.

至于启动多少个可以根据任务的情况,jobmanager和yarn配合使用.管理资源.