本文详细介绍使用Dolphinscheduler进行文件管理，配置mysql到Hive的数据全量抽取流程，包括mysql_dms_good_2_hive文件设置、Hive表创建及Dolphinscheduler工作流设计与运行，为大数据平台数据同步提供实用指南。
1、Dolphinscheduler创建文件夹及创建文件
2、mysql_dms_good_2_hive文件配置（全量抽取）
{
“job”: {
“content”: [{
“reader”: {
“name”: “mysqlreader”,
“parameter”: {
“column”: ["*"],
“connection”: [{
“jdbcUrl”: [“jdbc:mysql://hadoop01:4000/boot”],
“table”: [“dms_goods”]
}],
“password”: “root”,
“username”: “root”,
“where”: “”
}
},
“writer”: {
“name”: “hdfswriter”,
“parameter”: {
“column”: [{
“name”: “id”,
“type”: “string”
},
{
“name”: “name”,
“type”: “string”
},
{
“name”: “erp_good_id”,
“type”: “string”
},
{
“name”: “unit”,
“type”: “string”
},
{ <
最低0.47元/天 解锁文章
扫一扫
1299
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
