
flink
文章平均质量分 67
菜鸡逆袭
合抱之木,生于毫末;九层之台,起于垒土;千里之行,始于足下。
展开
-
Flink-Sink_将结果输出到Kafka_Redis_ES_Mysql中
Sink 将计算好结果输出到外部系统, 调用 addSink()传入指定的SinkFunction() 将结果输出到 Kafka 中 将结果输出到 Redis 中 将结果输出到 ES 中 将结果输出到 Mysql 中: 事先创建好表结构 pom.xml 事先导入对应的 connector: <dependencies> <dependency> <groupId>org.apache.flink</groupId&原创 2021-01-15 14:45:24 · 901 阅读 · 0 评论 -
FlinkAPI_Environment_输入源_算子转化流程
Flink Environment getExecutionEnvironment() 根据当前平台, 获取对应的执行环境, 若未设置并行度, 使用 flink-conf.yaml 中的并行度配置, 默认 1. StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); createLocalEnviroment() 创建本地环境, 并行度默认为 CPU 核数, 也可在构造函数中传参原创 2021-01-14 18:01:52 · 462 阅读 · 0 评论 -
Flink并行度优先级_集群操作常用指令_运行组件_任务提交流程_数据流图变化过程
Flink运行组件 JobManager: 作业管理器, 负责作业管理 控制提交的 job 执行, JobManager 向 ResourceManager 请求 TaskManager 上的 slot, 获取到足够资源, 将该任务的执行图分发到运行的 TaskManager 上, 运行中, JobManager 负责所有需要中央协调的操作(例: checkpoints 协调, 存盘, 故障检测) TaskManager: 任务管理器, 负责干活 Flink 中会有多个 TaskManager 执行原创 2021-01-13 19:06:04 · 1233 阅读 · 2 评论 -
Flink-Java版单词计数(批处理&流处理)
创建工程 pom.xml文件依赖如下: <dependencies> <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-java</artifactId> <version>1.10.1</version> </dependency>原创 2021-01-11 16:31:58 · 957 阅读 · 1 评论