- 博客(2)
- 收藏
- 关注
RSS订阅原创 flinksql使用hivecatalog的好处
（2）使用flinksql查询的时候,使用hivecatalog，直接select * from hive.sbo_rt_dm.table1，而不用再去使用connecter连接第三方（比如es）去创建映射表。（彷佛是flinksql在查hive中的表，实际是hive作为元数据存储地，查询的数据是第三方）即，用hivecatalog存储第三方（比如es）的元数据,元数据存储在hive metarstore中，真正的数据存储在第三方（比如es）而不是hdfs。
2023-05-20 15:22:43
220
1
原创 flink的task和slot和并行度
2、one-two-one算子，并行度相同的算子的子任务会串起来形成一个新的subtask,即task。答：该算子的每个subtask有自己独立的task，整个job算子的最大并行度不变slot个数不变。5、每个slot上的任务都是尽量均匀的，所以，job所需要的slot的个数=最大算子的并行度。1、每个算子的subtask,都独立是taskmanager上的一个task。4、每个并行实例对应一个task，每个task是一个线程。job所需要的slot的个数=每个共享组最大并行度的和。
2023-05-12 13:51:48
194
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人