如何使用 datax 拉取 hive 中的数据到 oracle 中？

最新推荐文章于 2024-07-12 16:42:58 发布

乔诺『布菲』

最新推荐文章于 2024-07-12 16:42:58 发布

阅读量1.5k

点赞数 1

分类专栏： DATAX 文章标签： hive oracle

本文链接：https://blog.youkuaiyun.com/qq_43368947/article/details/118577561

版权

本文介绍了如何使用 DataX 工具将 Hive 中的数据高效地迁移到 Oracle 数据库中。首先在 Oracle 创建对应空表，接着编写 DataX 的 JSON 脚本，然后执行迁移操作。注意在处理 Hive 中的 int 类型时需转换为 long 类型，以避免错误。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

需求

将 hive 中的数据拉取到 oracle 中，使用的工具是 datax

步骤

1.先在 hive 中找一张需要拉取的表，然后在 oracle 中创建对应的空表，等待拉取数据
2.在 datax 的 bin 目录下编写 json 脚本 vi hiveoracle.json

{
   
    "job": {
   
	"setting": {
   
            "speed": {
   
                "byte": 1048576
            },
	    "errorLimit": {
   
                "record": 100,
                "percentage": 0.02
            }
        },
        "content": [
            {
   

		     "reader": {
   
                    "name": "hdfsreader",
                    "parameter": {
   
                    	"defaultFS": "hdfs://192.168.1.54:9000/",
			            "path"