伪分布式系列 - 第四篇 - datax环境搭建,hive导入mysql测试

最新推荐文章于 2025-04-28 10:23:19 发布
最新推荐文章于 2025-04-28 10:23:19 发布
阅读量6.8k 收藏
点赞数
分类专栏： datax 大数据生态搭建系列 文章标签： datax hadoop hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/u010670689/article/details/97432451
版权

目录

简介

  • DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、SQL Server、Oracle、PostgreSQL、HDFS、Hive、HBase、OTS、ODPS 等各种异构数据源之间高效的数据同步功能。
  • DataX本身作为数据同步框架，将不同数据源的同步抽象为从源头数据源读取数据的Reader插件，以及向目标端写入数据的Writer插件，理论上DataX框架可以支持任意数据源类型的数据同步工作。同时DataX插件体系作为一套生态系统, 每接入一套新数据源该新加入的数据源即可实现和现有的数据源互通。

基础环境搭建

要求

  • Linux
  • JDK(1.8以上，推荐1.8)
  • Python(推荐Python2.6.X) linux centos7 默认2.7
  • Apache Maven 3.x (Compile DataX) 如果自己编译

mysql安装

前面hadoop安装文章已经提到过,可以往前参考

  • 默认情况下, Hive的元数据保存在了内嵌的 derby 数据库里, 生产环境使用 MySQL 来存放 Hive 元数据,靠谱.
  • 参考:https://www.cnblogs.com/luohanguo/p/9045391.html
  • mysql登录:mysql -uroot -p
  • mysql开通权限
    • 指定某台机器权限:grant all privileges on . to root@192.168.1.42 identified by ‘root’ with grant option;
    • 指定所有机器权限:grant all privileges on . to root@"%" identified by ‘root’ with grant option;

jdk安装

前面hadoop安装文章已经提到过,可以往前参考

安装方式自行百度

配置java_home,vim /etc/profile
export JAVA_HOME=/usr/local/java_1.8.0_121
export JAVA_BIN= J A V A H O M E / b i n e x p o r t J A V A L I B = JAVA_HOME/bin export JAVA_LIB= JAVAH​OME/binexportJAVAL​IB=JAVA_HOME/lib
export CLASSPATH=.: J A V A L I B / t o o l s . j a r : JAVA_LIB/tools.jar: JAVAL​IB/tools.jar:JAVA_LIB/dt.jar
export PATH= J A V A B I N : JAVA_BIN: JAVAB​IN:PATH

验证:java -version
在这里插入图片描述
安装jdk1.8+的版本

datax安装配置

官方文档:https://github.com/alibaba/DataX

下载

配置

  • 下载完成直接解压到目录即可
tar -zxvf datax.tar.gz -C ./
  • 环境变量
# datax 配置
export DATAX_HOME=/opt/bigdata/datax/default
export PATH=${DATAX_HOME}/bin:$PATH

基础测试

  • 从stream读取数据并打印到控制台
配置如下:
vim stream2stream.json
{
  "job": {
    "content": [
      {
        "reader": {
          "name": "streamreader",
          "parameter": {
            "sliceRecordCount": 10,
            "column": [
              {
                "type": "long",
                "value": "10"
              },
              {
                "type": "string",
                "value": "hello，你好，世界-DataX"
              }
            ]
          }
        },
        "writer": {
          "name": "streamwriter",
          "parameter": {
            "encoding": "UTF-8",
            "print": true
          }
        }
      }
    ],
    "setting": {
      "speed": {
        "channel": 5
       }
    }
  }
}
  • 运行
[root@ecs-6531-0002 conf]# datax.py stream2stream.json 

DataX (DATAX-OPENSOURCE-3.0), From Alibaba !
Copyright (C) 2010-2017, Alibaba Group. All Rights Reserved.


2019-07-27 20:58:40.474 [main] INFO  VMInfo - VMInfo# operatingSystem class => sun.management.OperatingSystemImpl
2019-07-27 20:58:40.481 [main] INFO  Engine - the machine info  => 

	osInfo:	Oracle Corporation 1.8 25.121-b13
	jvmInfo:	Linux amd64 3.10.0-862.9.1.el7.x86_64
	cpu num:	16

	totalPhysicalMemory:	-0.00G
	freePhysicalMemory:	-0.00G
	maxFileDescriptorCount:	-1
	currentOpenFileDescriptorCount:	-1

	GC Names	[PS MarkSweep, PS Scavenge]

	MEMORY_NAME                    | allocation_size                | init_size                      
	PS Eden Space                  | 256.00MB                       | 256.00MB                       
	Code Cache                     | 240.00MB                       | 2.44MB                         
	Compressed Class Space         | 1,024.00MB                     | 0.00MB                         
	PS Survivor Space              | 42.50MB                        | 42.50MB                        
	PS Old Gen                     | 683.00MB                       | 683.00MB                       
	Metaspace                      | -0.00MB                        | 0.00MB                         


2019-07-27 20:58:40.497 [main] INFO  Engine - 
{
	"content":[
		{
			"reader":{
				"name":"streamreader",
				"parameter":{
					"column":[
						{
							"type":"long",
							"value":"10"
						},
						{
							"type":"string",
							"value":"hello，你好，世界-DataX"
						}
					],
					"sliceRecordCount":10
				}
			},
			"writer":{
				"name":"streamwriter",
				"parameter":{
					"encoding":"UTF-8",
					"print":true
				}
			}
		}
	],
	"setting":{
		"speed":{
			"channel":5
		}
	}
}

2019-07-27 20:58:40.512 [main] WARN  Engine - prioriy set to 0, because NumberFormatException, the value is: null
2019-07-27 20:58:40.514 [main] INFO  PerfTrace - PerfTrace traceId=job_-1, isEnable=false, priority=0
2019-07-27 20:58:40.514 [main] INFO  JobContainer - DataX jobContainer starts job.
2019-07-27 20:58:40.515 [main] INFO  JobContainer - Set jobId = 0
2019-07-27 20:58:40.531 [job-0] INFO  JobContainer - jobContainer starts to do prepare ...
2019-07-27 20:58:40.532 [job-0] INFO  JobContainer - DataX Reader.Job [streamreader] do prepare work .
2019-07-27 20:58:40.532 [job-0] INFO  JobContainer - DataX Writer.Job [streamwriter] do prepare work .
2019-07-27 20:58:40.532 [job-0] INFO  JobContainer - jobContainer starts to do split ...
2019-07-27 20:58:40.532 [job-0] INFO  JobContainer - Job set Channel-Number to 5 channels.
2019-07-27 20:58:40.533 [job-0] INFO  JobContainer - DataX Reader.Job [streamreader] splits to [5] tasks.
2019-07-27 20:58:40.533 [job-0] INFO  JobContainer - DataX Writer.Job [streamwriter] splits to [5] tasks.
2019-07-27 20:58:40.558 [job-0] INFO  JobContainer - jobContainer starts to do schedule ...
2019-07-27 20:58:40.576 [job-0] INFO  JobContainer - Scheduler starts [1] taskGroups.
2019-07-27 20:58:40.584 [job-0] INFO  JobContainer - Running by standalone Mode.
2019-07-27 20:58:40.606 [taskGroup-0] INFO  TaskGroupContainer - taskGroupId=[0] start [5] channels for [5] tasks.
2019-07-27 20:58:40.616 [taskGroup-0] INFO  Channel - Channel set byte_speed_limit to -1, No bps activated.
2019-07-27 20:58:40.617 [taskGroup-0] INFO  Channel - Channel set record_speed_limit to -1, No tps activated.
2019-07-27 20:58:40.629 [taskGroup-0] INFO  TaskGroupContainer - taskGroup[0] taskId[2] attemptCount[1] is started
2019-07-27 20:58:40.632 [taskGroup-0] INFO  TaskGroupContainer - taskGroup[0] taskId[4] attemptCount[1] is started
2019-07-27 20:58:40.635 [taskGroup-0] INFO  TaskGroupContainer - taskGroup[0] taskId[3] attemptCount[1] is started
10	hello，你好，世界-DataX
10	hello，你好，世界-DataX
10	hello，你好，世界-DataX
10	hello，你好，世界-DataX
10	hello，你好，世界-DataX
10	hello，你好，世界-DataX
10	hello，你好，世界-DataX
10	hello，你好，世界-DataX
10	hello，你好，世界-DataX
10	hello，你好，世界-DataX
10	hello，你好，世界-DataX
10	hello，你好，世界-DataX
10	hello，你好，世界-DataX
10	hello，你好，世界-DataX
10	hello，你好，世界-DataX
10	hello，你好，世界-DataX
10	hello，你好，世界-DataX
10	hello，你好，世界-DataX
10	hello，你好，世界-DataX
10	hello，你好，世界-DataX
2019-07-27 20:58:40.651 [taskGroup-0] INFO  TaskGroupContainer - taskGroup[0] taskId[0] attemptCount[1] is started
10	hello，你好，世界-DataX
10	hello，你好，世界-DataX
10	hello，你好，世界-DataX
10	hello，你好，世界-DataX
10	hello，你好，世界-DataX
10	hello，你好，世界-DataX
10	hello，你好，世界-DataX
10	hello，你好，世界-DataX
10	hello，你好，世界-DataX
10	hello，你好，世界-DataX
10	hello，你好，世界-DataX
10	hello，你好，世界-DataX
10	hello，你好，世界-DataX
10	hello，你好，世界-DataX
10	hello，你好，世界-DataX
10	hello，你好，世界-DataX
10	hello，你好，世界-DataX
10	hello，你好，世界-DataX
10	hello，你好，世界-DataX
10	hello，你好，世界-DataX
2019-07-27 20:58:40.656 [taskGroup-0] INFO  TaskGroupContainer - taskGroup[0] taskId[1] attemptCount[1] is started
10	hello，你好，世界-DataX
10	hello，你好，世界-DataX
10	hello，你好，世界-DataX
10	hello，你好，世界-DataX
10	hello，你好，世界-DataX
10	hello，你好，世界-DataX
10	hello，你好，世界-DataX
10	hello，你好，世界-DataX
10	hello，你好，世界-DataX
10	hello，你好，世界-DataX
2019-07-27 20:58:40.760 [taskGroup-0] INFO  TaskGroupContainer - taskGroup[0] taskId[0] is successed, used[110]ms
2019-07-27 20:58:40.760 [taskGroup-0] INFO  TaskGroupContainer - taskGroup[0] taskId[1] is successed, used[105]ms
2019-07-27 20:58:40.760 [taskGroup-0] INFO  TaskGroupContainer - taskGroup[0] taskId[2] is successed, used[133]ms
2019-07-27 20:58:40.760 [taskGroup-0] INFO  TaskGroupContainer - taskGroup[0] taskId[3] is successed, used[126]ms
2019-07-27 20:58:40.760 [taskGroup-0] INFO  TaskGroupContainer - taskGroup[0] taskId[4] is successed, used[128]ms
2019-07-27 20:58:40.761 [taskGroup-0] INFO  TaskGroupContainer - taskGroup[0] completed it's tasks.
2019-07-27 20:58:50.621 [job-0] INFO  StandAloneJobContainerCommunicator - Total 50 records, 950 bytes | Speed 95B/s, 5 records/s | Error 0 records, 0 bytes |  All Task WaitWriterTime 0.000s |  All Task WaitReaderTime 0.003s | Percentage 100.00%
2019-07-27 20:58:50.621 [job-0] INFO  AbstractScheduler - Scheduler accomplished all tasks.
2019-07-27 20:58:50.622 [job-0] INFO  JobContainer - DataX Writer.Job [streamwriter] do post work.
2019-07-27 20:58:50.622 [job-0] INFO  JobContainer - DataX Reader.Job [streamreader] do post work.
2019-07-27 20:58:50.622 [job-0] INFO  JobContainer - DataX jobId [0] completed successfully.
2019-07-27 20:58:50.623 [job-0] INFO  HookInvoker - No hook invoked, because base dir not exists or is a file: /opt/bigdata/datax/default/hook
2019-07-27 20:58:50.625 [job-0] INFO  JobContainer - 
	 [total cpu info] => 
		averageCpu                     | maxDeltaCpu                    | minDeltaCpu                    
		-1.00%                         | -1.00%                         | -1.00%
                        

	 [total gc info] => 
		 NAME                 | totalGCCount       | maxDeltaGCCount    | minDeltaGCCount    | totalGCTime        | maxDeltaGCTime     | minDeltaGCTime     
		 PS MarkSweep         | 0                  | 0                  | 0                  | 0.000s             | 0.000s             | 0.000s             
		 PS Scavenge          | 0                  | 0                  | 0                  | 0.000s             | 0.000s             | 0.000s             

2019-07-27 20:58:50.628 [job-0] INFO  JobContainer - PerfTrace not enable!
2019-07-27 20:58:50.629 [job-0] INFO  StandAloneJobContainerCommunicator - Total 50 records, 950 bytes | Speed 95B/s, 5 records/s | Error 0 records, 0 bytes |  All Task WaitWriterTime 0.000s |  All Task WaitReaderTime 0.003s | Percentage 100.00%
2019-07-27 20:58:50.634 [job-0] INFO  JobContainer - 
任务启动时刻                    : 2019-07-27 20:58:40
任务结束时刻                    : 2019-07-27 20:58:50
任务总计耗时                    :                 10s
任务平均流量                    :               95B/s
记录写入速度                    :              5rec/s
读出记录总数                    :                  50
读写失败总数                    :                   0

地下这里是一些基本的统计信息
  • ok 到这里datax就算是简单的可用状态

datax实现hive或者spark table到mysql导入

hive表的创建要求

  • hive to mysql 其实就是从hdfs直接读取数据,然后传入mysql,因为hive表默认是使用特殊的分割符,我们直接使用datax导入的时候回报错的
CREATE TABLE IF NOT EXISTS `${hivevar:target_table}`
(
datekey                                 string  comment '日期'
,project_id                             string  comment ''
,building_id                            string  comment ''
,unit_id                                string  comment ''
,building_name                          string  comment ''
... 此处省略n多行
,note                                   string  comment ''
) comment ''
partitioned by (dt string)
ROW FORMAT
SERDE 'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe'
WITH SERDEPROPERTIES ('field.delim'='\t','serialization.null.format'='')  -- 此处是重点,需要配置字段分隔符为tab键和null数据默认值为null,null这个很关键,要不然导入到mysql会报转换异常
STORED AS TEXTFILE; -- 选择textfile存储格式,其他格式datax也支持,可以自己配置
  • hive to mysql配置 run.json
{
    "job": {
        "setting": {
            "speed": {
                "channel": 3
            }
        },
        "content": [
            {
                "reader": {
                    "name": "hdfsreader",
                    "parameter": {
                        "path": "/user/root/warehouse/real_estate.db/dim_building/dt=20190720/*", -- hdfs目录
                        "defaultFS": "hdfs://ecs-6531-0002.novalocal:9000", --name node地址
                        "column": [ -- 字段索引类型说明 和hive中保持一致
                               {
                                "index": 0,
                                "type": "string"
                               },
                               {
                                "index": 1,
                                "type": "string"
                               },
                               {
                                "index": 2,
                                "type": "string"
                               },
                               {
                                "index": 3,
                                "type": "string"
                               },
                               {
                                "index": 4,
                                "type": "string"
                               },
                               {
                                "index": 5,
                                "type": "string"
                               },
                               {
                                "index": 6,
                                "type": "string"
                               },
                               {
                                "index": 7,
                                "type": "string"
                               },
                               {
                                "index": 8,
                                "type": "string"
                               },
                               {
                                "index": 9,
                                "type": "string"
                               },
                               {
                                "index": 10,
                                "type": "string"
                               },
                               {
                                "index": 11,
                                "type": "string"
                               },
                               {
                                "index": 12,
                                "type": "string"
                               },
                               {
                                "index": 13,
                                "type": "string"
                               },
                               {
                                "index": 14,
                                "type": "string"
                               },
                               {
                                "index": 15,
                                "type": "string"
                               },
                               {
                                "index": 16,
                                "type": "string"
                               },
                               {
                                "index": 17,
                                "type": "string"
                               },
                               {
                                "index": 18,
                                "type": "string"
                               },
                               {
                                "index": 19,
                                "type": "string"
                               },
                               {
                                "index": 20,
                                "type": "string"
                               },
                               {
                                "index": 21,
                                "type": "string"
                               },
                               {
                                "index": 22,
                                "type": "string"
                               },
                               {
                                "index": 23,
                                "type": "string"
                               },
                               {
                                "index": 24,
                                "type": "string"
                               },
                               {
                                "index": 25,
                                "type": "string"
                               },
                               {
                                "index": 26,
                                "type": "string"
                               },
                               {
                                "index": 27,
                                "type": "string"
                               },
                               {
                                "index": 28,
                                "type": "string"
                               },
                               {
                                "index": 29,
                                "type": "string"
                               },
                               {
                                "index": 30,
                                "type": "string"
                               },
                               {
                                "index": 31,
                                "type": "string"
                               },
                               {
                                "index": 32,
                                "type": "string"
                               },
                               {
                                "index": 33,
                                "type": "string"
                               },
                               {
                                "index": 34,
                                "type": "string"
                               },
                               {
                                "index": 35,
                                "type": "string"
                               },
                               {
                                "index": 36,
                                "type": "string"
                               },
                               {
                                "index": 37,
                                "type": "string"
                               }
                        ],
                        "fileType": "text",
                        "encoding": "UTF-8",
                        "fieldDelimiter": "\t" -- 字段分隔符
                    }

                },
                "writer": {
                    "name": "mysqlwriter",
                    "parameter": {
                        "writeMode": "insert",
                        "username": "root",
                        "password": "xxx",
                        "column": [ -- mysql字段列表
			    "dt"
                            ,"project_id"
                            ,"building_id"
                            ,"unit_id"
                            ,"building_name"
                            ,"building_unit"
                            ,"unit_name"
                            ,"developer"
                            ,"design_unit"
                            ,"construction_unit"
                            ,"engineering_supervision_unit"
                            ,"project_cost"
                            ,"start_date"
                            ,"end_date"
                            ,"delivery_date"
                            ,"building_structure_type"
                            ,"building_height"
                            ,"total_floor_cnt"
                            ,"onground_floor_cnt"
                            ,"underground_floor_cnt"
                            ,"building_floor_area"
                            ,"building_construction_area"
                            ,"building_onground_area"
                            ,"building_underground_area"
                            ,"usage_area"
                            ,"green_area"
                            ,"floor_area"
                            ,"corridor_area"
                            ,"exterior_wall_area"
                            ,"top_area"
                            ,"base_area"
                            ,"basis_sharing_coefficient"
                            ,"common_area"
                            ,"common_area_sharing_coefficient"
                            ,"elevator_cnt"
                            ,"house_cnt"
                            ,"parking_cnt"
                            ,"note"
                        ],
                        "session": [
                            "set session sql_mode='ANSI'"
                        ],
                        "preSql": [
                            "delete from dim_building where dt='20190720'"
                        ],
                        "connection": [
                            {
                                "jdbcUrl": "jdbc:mysql://localhost:13306/real_estate?useUnicode=true&characterEncoding=utf-8", -- mysql地址
                                "table": [ -- 表名
                                    "dim_building"
                                ]
                            }
                        ]
                    }
                }
            }
        ]
    }
}
  • 执行导入
datax.py run.json
大数据DataX（五）：Hive导入到MySQL
Lansonli（蓝深李）的博客
02-20 1535
目前HdfsReader支持的文件格式有textfile（text）、orcfile（orc）、rcfile（rc）、sequence file（seq）和普通逻辑二维表（csv）类型格式的文件，且文件内容存放的必须是一张逻辑意义上的二维表。在底层实现上，HdfsReader获取分布式文件系统上文件的数据，并转换为DataX传输协议传递给Writer。将Hive数据导入到MySQL需要使用到“hdfsreader”和“MySQLWriter”插件，下面介绍以上两种插件。
利用DataX实现hive到MySQL
weixin_53323742的博客
05-25 3834
一、DataX是什么（https://github.com/alibaba/DataXhttps://github.com/alibaba/DataX） （1）异构数据源离线同步工具，致力于实现包括关系型数据 库(MySQL、Oracle 等)、HDFS、Hive、ODPS、HBase、FTP 等各种异构数据源之间稳定高 效的数据同步功能。 （2）支持的数据源 （3）运行原理 Job：单个作业的管理节点，负责数据清理、子任务划分、TaskGroup监控管理。 Task：由Job切.
DataX之Hive-to-MySQL
docsz的博客
02-22 1053
1、脚本 { "job": { "setting": { "speed": { "channel": 3 } }, "content": [ { "reader": { "name": "hdfsreader", "parameter":
整合hive到springboot-datax,实现datax抽取hive数据到tdsql
最新发布
weixin_42707142的博客
04-28 229
自定义hive插件，实现使用datax从hive到tdsql的数据迁移
數據集成平台：datax將hive數據步到mysql（全部列和指定列）
m0_37759590的博客
02-24 959
數據集成平台：datax將hive數據步到mysql（全部列和指定列）
datax数据从hive导入mysql数据缺失解决
01-18
datax数据从hive表导入mysql表,数据缺失解决
使用DataX同步hive数据到MySQL
青春不流名
10-13 1951
1、组件环境
使用Datax将Hive中的表迁移到MySQL
jiang1182427208的博客
06-23 1334
3. 配置datax配置文件（下面文件和目录均以我自己的为例，可根据自己的需求自行修改）2.MySQL阶段（以下以我自己的数据库和文件为例，可根据需求自己做出相应修改）使用vim spark_1_hive_.json打开文件并写入下列内容。在该目录下创建spark_1_hive_1.json文件。创建一个新的数据库用来接收从Hive中传输过来的数据。（4）给hadoop用户datax权限。（5）去MySQL查询表中是否有数据。（1）下载datax安装包。（2）解压datax压缩包。（3）修改文件夹名称。
使用datax将hive表同步到mysql表
weixin_46492063的博客
07-18 812
【代码】使用datax将hive表同步到mysql表。
datax将数据从hive导入mysql问题总结
weixin_73466033的博客
06-28 571
spark处理完后用,写入Hive的格式是orc。从Hive到MySQL使用DataX工具。但是对应的MySQL建表语句要指定类型。Writer的类型设置为String。MySQL建库时指定编码格式。
离线数仓数据导出-hive数据同步到mysql
qq_45972323的博客
04-19 1179
为方便报表应用使用数据，需将ads各指标的统计结果导出到MySQL数据库中。datax支持hive同步MySQL：仅仅支持hive存储的hdfs文件导出。所以reader选hdfs-reader，writer选mysql-writer。null值 在hive和mysql里的存储格式不一样，需要告诉DataX应该如何转换。
datax实战-mysql同步数据到hive
01-07
{ job: { setting: { speed: { channel: 1 }, errorLimit: { record: 0, percentage: 0.02 } }, content: [ { reader: {
DataX的环境搭建以及简单测试
Titanium_LL的博客
09-15 2151
DataX的环境搭建以及简单测试 一、什么是DataX DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、 HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。 （这是一个单机多任务的ETL工具） DataX的安装 一、前置条件 　　JDK(1.8以上，推荐1.8) 　　Python(推荐Python2.6....
DataX之type-value配置Hive-to-MySQL
docsz的博客
02-22 329
1、脚本 { "job": { "setting": { "speed": { "channel": 3 } }, "content": [ { "reader": { "name": "hdfsreader", "parameter":
【DataX】DataX和DataXWeb环境搭建
qwertyuiopasdfghjklzxcvbnm
03-11 595
安装DataX https://github.com/alibaba/DataX/blob/master/userGuid.md 注意： datax程序会对下述两个文件目录扫描，干掉下面两个文件夹下面的所有非文件夹的文件 干掉datax/plugin/reader下的所有._文件 干掉datax/plugin/writer下的所有._文件 安装DataX/web https://github.com/WeiYe-Jing/datax-web/blob/master/doc/datax-web/datax-w
dataX，hive同步到mysql，字段顺序不一致
l1336944916的博客
09-26 234
调整hive表的index编号，和mysql字段顺序保持一致。
datax实战-hive同步数据到mysql
qq_34936033的博客
02-17 1985
{ "core": { "transport": { "channel": { "speed": { "record": "10000", "byte": 1048576 } } ...
滴滴云使用 DataX 实现 Hive 与 MySQL 数据传输
java060515的专栏
12-07 3599
1. DataX 简介： DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SQLServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。本例中将使用 DataX 实现 Hive 与MySQL之间的数据传输。 本例中所使...
【DataX】windows下本地DataX同步hive到mysql，hive带Kerberos认证
airyv的博客
05-01 750
修改job文件中keytab与conf文件的路径为本地路径，这两个文件中有hosts修改过的地址，所以需要将linux下的hosts复制到win下的hosts。windows下本地debug运行同步，hive到mysql，其中hive带Kerveros认证的方法如下。下载https://github.com/steveloughran/winutils。解决方法：拷贝hive.keytab和krb5.conf文件到win系统。下载对应版本到本地，设置环境变量。修改datax.py路径。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值