
分布式计算
文章平均质量分 90
ziyang_wind
专注于java 大数据基础组件研究
展开
-
Flink 作业如何提升资源利用率?- Reactive 模式 ( 下 )
本篇文章是接着上一篇文章讲的,推荐看完上一篇文章《Flink 弹性伸缩 - Reactive 模式 ( 上 )》再来阅读本篇文章。四、AdaptiveScheduler 运行原理1、Reactive 模式调度器所涉及到的类型2、 AdaptiveScheduler 调度器本身是一个状态机3、AdaptiveScheduler 各个执行状态都在转换(WaitingForResources -> CreatingExecutionGraph)org.apache.flink.runtime.s原创 2022-02-19 21:15:56 · 1344 阅读 · 0 评论 -
Flink 弹性伸缩 - Reactive 模式 ( 上 )
一、Reactive 模式作业提交示例脚本wget https://dlcdn.apache.org/flink/flink-1.13.5/flink-1.13.5-bin-scala_2.11.tgztar -xzvf flink-1.13.5-bin-scala_2.11.tgzcd flink-1.13.5/mkdir usrlibcp ./examples/streaming/TopSpeedWindowing.jar usrlib/./bin/standalone-job.sh sta原创 2022-02-12 13:19:29 · 2080 阅读 · 0 评论 -
spark structured streaming
四、API using DataSets and DataFrames (上)1. create streaming DataFrames and DataSets(1) input sourcesfile sourcekafka sourcesocket sourcerate sourceSparkSession spark = ...// Read text from s...翻译 2019-11-06 10:26:36 · 148 阅读 · 0 评论