odps同步到hbase配置文件

最新推荐文章于 2024-03-20 00:22:15 发布

有石为玉

最新推荐文章于 2024-03-20 00:22:15 发布

阅读量785

点赞数

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/weixin_41770169/article/details/99620774

sql 专栏收录该内容

45 篇文章

订阅专栏

本文详细解析了如何配置从阿里云ODPS到HBase的数据同步流程，包括rowKey的构成、HBase表的列族设置、任务参数配置及HBase连接配置等关键步骤，为大数据平台间的数据迁移提供了实用指南。

如下，注意几个地方的配置：

（1）rowKeycolumn 主键的构成

这里是para0和para5通过"_"拼接，构成主键

（2）column中的task：hbase表的NAME

"column": [
{
"name": "task:para0",

（3）

{
    "type": "job",
    "steps": [
        {
            "stepType": "odps",
            "parameter": {
                "partition": [],
                "datasource": "odps_first",
                "column": [
                    "para0",
                    "para1",
                    "para2",
                    "para3",
                    "para4",
                    "para5"
                ],
                "emptyAsNull": false,
                "table": "table_odps"
            },
            "name": "Reader",
            "category": "reader"
        },
        {
            "stepType": "hbase",
            "parameter": {
                "mode": "normal",
                "walFlag": "false",
                "hbaseVersion": "11x",
                "rowkeyColumn": [
                    {
                        "index": "0",
                        "type": "string"
                    },
                    {
                        "index": "-1",
                        "type": "string",
                        "value": "_"
                    },
                    {
                        "index": "5",
                        "type": "string"
                    }
                ],
                "nullMode": "skip",
                "column": [
                    {
                        "name": "task:para0",
                        "index": "0",
                        "type": "string"
                    },
                    {
                        "name": "task:para1",
                        "index": "1",
                        "type": "string"
                    },
                    {
                        "name": "task:para2",
                        "index": "2",
                        "type": "string"
                    },
                    {
                        "name": "task:para3",
                        "index": "3",
                        "type": "string"
                    },
                    {
                        "name": "task:para4",
                        "index": "4",
                        "type": "string"
                    },
                    {
                        "name": "task:para5",
                        "index": "5",
                        "type": "string"
                    }
                ],
                "writeMode": "api",
                "encoding": "utf-8",
                "table": "table_hbase",
                "hbaseConfig": {
                    "hbase.zookeeper.quorum": "xxx.hbase.rds.aliyuncs.com:xxxx",
                    "hbase.rootdir": "hdfs://xxx.hbase.rds.aliyuncs.com:9099/xxx",
                    "hbase.cluster.distributed": "true"
                }
            },
            "name": "Writer",
            "category": "writer"
        }
    ],
    "version": "2.0",
    "order": {
        "hops": [
            {
                "from": "Reader",
                "to": "Writer"
            }
        ]
    },
    "setting": {
        "errorLimit": {
            "record": ""
        },
        "speed": {
            "throttle": false,
            "concurrent": "2"
        }
    }
}