
任务调度
文章平均质量分 85
凭嗓门抢地主
这个作者很懒,什么都没留下…
展开
-
apache-sqoop使用问题及总结
目录1.找不到hive2.sqoophook、hivedatatypes使用版本为ambari-2.7.3,自带的sqoop-1.4.71.找不到hive21/09/08 11:16:16 ERROR tool.ImportTool: Import failed: java.io.IOException: Cannot run program "hive": error=2, No such file or directory在安装sqoop的机器上,安装hive客户端并配置环.原创 2021-09-08 17:30:22 · 588 阅读 · 0 评论 -
apache-dolphinscheduler的使用问题总结
一、租户问题二、指定虚拟python环境的python类型任务的执行时环境变量问题三、资源中心创建目录或者文件失败四、由zookeeper同步引起的shutdown问题原创 2021-08-27 21:06:20 · 3345 阅读 · 0 评论 -
Airflow2.0.0问题及解决(不定期持续更新)
1.psycopg2.OperationalError:FATAL:remaining connection slots are reserved for non-replication原创 2021-06-04 21:02:58 · 952 阅读 · 2 评论 -
Airflow2.0+celery+redis任务调度部署及使用
Airflow任务调度(本文档内容有同事贡献部分,该部分标记为蓝色,对同事表示感谢) 环境 版本:airflow 2.0.0;python 3.6部署方式:集群部署,运行在anaconda3的虚拟环境 (airflow)* 节点7 [webserver、schuduler、worker]* 节点8 [worker]* 节点9 [worker、schuduler]官网文档(最新):http://airflow.apache.org/docs/apache-airf..原创 2021-04-10 11:51:10 · 5029 阅读 · 12 评论