Flink、Kafka梳理

flink是什么

flink是一个框架和分布式处理引擎，对于有界流和无界流进行有状态计算

flink的几种模式

独立集群模式：flink可以不依赖于hadoop集群
flink on yarn：依赖于hadoop集群
yarn-session -jm 1024 -tm 1096  (jm jobmanagermemory tm taskmanagermemory)
flink run -c 
先在yarn上启动一个jobmanager 所有job共享一个jobmanager
​
flink run -m yarn-cluster 
per job-cluster
直接提交任务到yarn集群上，每一个job独享一个jobmanager

flink的几种提交模式

web页面提交
flink run -c
rpc远程提交（
创建flink环境
StreamExecutionEnvironment.createRemoteEnvironment("ip",PORT,"jarFile")
）

kafka

• kafka架构

  producer：消息生产者
  consumer：消息消费者
  broker：kafka集群的server，负责处理消息读，写请求，存储消息
  topic：消息队列、分类 一个topic中的数据结构要一样
  queue里面有生产者消费模型

• kafka的消息存储和生产消费模型

  一个topic分成多个partition
  每个partition内部有序，都有一个offset
  消息不经过内存缓冲，直接写入文件（零拷贝）
  根据实践策略删除，不是消费完就删除
  producer写入partition可以是轮询也可以是hash

  consumer自己维护消费到哪个offset
  一个消息在一个组内只被消费一次

• kafka有哪些特点

  消息系统的特点：生产者消费者模型，FIFO（先进先出，一个分区的时候才能保证顺序）
  高性能：单节点支持上千个客户端，百MB/s吞吐
  持久性：