- 博客(3)
- 收藏
- 关注
RSS订阅原创 flink多并行度下窗口的触发条件
此时可以设置watermark空闲等待时间 ，当上游的某一分区在这个时间内一直没有数据传递过来，则断开与这个窗口与这个分区所产生水位线的联系由其他分区产生的水位线进行推动。，此时传递到下游的分区接受上游多个分区watermark时，每次取上游的每个分区发送下来分区的最小水位值并对后续传的数据的watermark进行更新。当上游广播到下游的这个分区中的所有水位线都达到了窗口的触发水位线时，窗口才会执行。窗口的触发，是依赖于上游所有分区的传递到下游的水位线来进行推动的，所以只有。在flink多并行度的场景下，
2024-11-30 20:59:05
331
原创 superset错误处理An error occurred while fetching dashboard info: Forbidden
miniconda3中的miniconda3/envs/superset/lib/python3.8/site-packages/superset/config.py文件也需要更改。元数据库，重新创建Superset元数据库，在创建的时候创建superset用户，并赋予权限。superset错误处理：当我们在安装好superset，进入web端时，页面出现这样错误。这个错误通常是由用户没有的权限引起的，我们可以向用户分配具有有限权限的角色。然后重新初始化元数据，并启动就解决了。
2024-10-19 17:28:39
545
原创 Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.spark.SparkTask
发现Spark2 纯净版自带的orc-core-1.5.5-nohive.jar 会造成错误异常，需要冲突jar包orc-core-1.5.5-nohive.jar修改为orc-core-1.5.5-nohive.jar.bak后，再将spark中jar目录下的jar包上传到hdfs的/spark-jars目录上，最后再将hive中的orc-core-1.5.8.jar上传到hdfs的/spark-jars目录，重启集群就可以了。
2024-09-21 10:11:16
392
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人