Apache DolphinScheduler的资源中心开启HDFS功能

Bulut0907

已于 2022-08-10 15:28:46 修改

阅读量5.5k

点赞数 3

分类专栏：大数据生态文章标签： Dolphin Scheduler 资源中心 HDFS 上传文件

于 2022-08-10 09:52:17 首次发布

本文链接：https://blog.youkuaiyun.com/yy8623977/article/details/125167447

版权

大数据生态专栏收录该内容

20 篇文章

订阅专栏

1. 资源中心介绍

资源中心通常用于上传文件、UDF函数。可以选择上传到Hadoop集群

2. 开启背景

DolphinScheduler的资源中心默认是不能往HDFS上传文件的，需要我们配置进行开启

3. 修改配置文件conf/common.properties

resource.storage.type=HDFS

# 在HDFS根目录能创建目录的用户
hdfs.root.user=root

# 如果是高可用HA HDFS，需要将core-site.xml和hdfs-site.xml复制到dolphinscheduler-2.0.5-install/conf目录下
fs.defaultFS=hdfs://bigdata001:9000

注意：如果Hadoop集群的NameNode配置了HA的话，需要将Hadoop集群下的core-site.xml和hdfs-site.xml复制到dolphinscheduler/conf目录下

4. 重启

重启DolphinScheduler所有服务

5. 上传文件到HDFS

需要先创建租户，如下所示

创建租户

创建文件夹

这里会报【租户不存在】的错误。原因是admin用户的租户ID默认是0，和新创建的租户root没有关联上，需要将admin用户的租户ID修改成租户root的ID。在mysql数据库的操作如下

mysql> select * from t_ds_tenant limit 3;
+----+-------------+-----------------------------------------+----------+---------------------+---------------------+
| id | tenant_code | description                             | queue_id | create_time         | update_time         |
+----+-------------+-----------------------------------------+----------+---------------------+---------------------+
| 16 | root        | Centos服务器上的操作系统用户            |        1 | 2022-06-07 16:46:39 | 2022-06-07 16:46:39 |
+----+-------------+-----------------------------------------+----------+---------------------+---------------------+
1 row in set (0.00 sec)

mysql> select * from t_ds_user limit 3;
+----+-----------+----------------------------------+-----------+------------+-------+-----------+---------------------+---------------------+-------+-------+
| id | user_name | user_password                    | user_type | email      | phone | tenant_id | create_time         | update_time         | queue | state |
+----+-----------+----------------------------------+-----------+------------+-------+-----------+---------------------+---------------------+-------+-------+
|  1 | admin     | 7ad2410b2f4c074479a8937a28a22b8f |         0 | xxx@qq.com |       |         0 | 2018-03-27 15:48:50 | 2018-10-24 17:40:22 | NULL  |     1 |
+----+-----------+----------------------------------+-----------+------------+-------+-----------+---------------------+---------------------+-------+-------+
1 row in set (0.00 sec)

mysql> update t_ds_user set tenant_id = 16 where id = 1;
Query OK, 1 row affected (0.00 sec)
Rows matched: 1  Changed: 1  Warnings: 0

mysql>

再次创建文件夹就成功了