- 博客(4)
- 收藏
- 关注
RSS订阅原创 airflow 2.2.1：HdfsSensor使用实操
概述HdfsSensor主要用于检查hdfs文件或目录是否存在实操案例描述：目前需要在airflow中增加一个任务，用于检测hdfs中的目标文件是否存在。文件绝对路径：/user/hdfs/for_test_2022-05-12.parquet代码如下from airflow import DAGfrom datetime import datetime, timedeltafrom airflow.providers.apache.hdfs.sensors.hdfs import Hd
2022-05-12 20:16:59
799
原创 airflow 2.2.1：HivePartitionSensor、自定义宏变量
airflow 2.21：HivePartitionSensorHivePartitionSensor功能用于检查hive表的分区是否存在，在某些场景下可以使用该sensor来替代ExternalTaskSensor，且使用起来更加便捷。场景描述在数仓中这么两种表：表1 ：daily_table，该表是按天分区的表，一天跑一次。表2 ：hour_table，该表是按照小时分区，每个小时跑一次。其中daily_table 依赖于 hour_table的执行，对于这种执行周期不同的任务，如果通过a
2021-12-31 19:48:59
2163
1
原创 Spring boot 自动注入KafkaTemplate 类时报错
Spring boot 自动注入KafkaTemplate 类时报错使用spring boot 的自动注入功能时，提示这样一个错误：Bean method ‘kafkaTemplate’ in ‘KafkaAutoConfiguration’ is not loaded后来解决了半天才发现实际上并不是代码错误，而是idea的设置有点毛病，然后按照下图修改了idea设置之后就没问题了。说明虽然提示有错，但实际上并不影响运行。所以，可以不用修改。但是如果影响运行，那就需要另寻办法了。...
2021-01-29 20:31:42
2439
原创 Spark提交流程源码分析
说明①此文主要以Yarn Cluster模式为例说明提交流程②spark版本3.0提交流程简图提交流程描述①在YARN Cluster模式下，任务提交后会创建yarn客户端yarnClient，通过客户端和ResourceManager通讯申请启动ApplicationMaster②随后ResourceManager分配container，在合适的NodeManager上启动ApplicationMaster。③ApplicationMaster主线程会启动一个子线程，命名为driver,然
2020-12-20 00:00:44
264
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人