导入Mongodb数据到Hive方法二

最新推荐文章于 2024-01-12 16:29:45 发布

杨鑫newlfe

最新推荐文章于 2024-01-12 16:29:45 发布

阅读量4.1k

点赞数 1

CC 4.0 BY-SA版权

分类专栏：数据库大数据挖掘与大数据应用案例 NoSQL

本文链接：https://blog.youkuaiyun.com/u012965373/article/details/78257697

大数据挖掘与大数据应用案例同时被 3 个专栏收录

536 篇文章 ¥9.90 ¥99.00

订阅专栏

数据库

231 篇文章

订阅专栏

NoSQL

10 篇文章

订阅专栏

本文介绍了将MongoDB数据导入Hive的步骤，包括使用mongoexport导出JSON，Hive中建立单列字符串表，以及通过Datax进行数据迁移。在Datax Job配置中可定制脚本，以避免CSV导入时的分隔符问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

将Mongodb处理后倒入Hive中可以按照如下步骤处理：

1.利用Mongodb自带的mongoexport方式导出Json或者CSV文本，这里我才用的是导出Json ,因为CSV的话，在处理分隔符等问题，可能会有些棘手。

2.在Hive 中建表（只包含一个字段，string类型），所有数据存在一列，这样就不存在对于避免设定分隔符出现丢数据的问题。

3.利用Datax处理，导入Hive，将所有数据导入Hive,其中在Datax的Job Plain json文件中可以配置处理的脚本等等。

Tips:
1.create table sdm_loan_account_details_inc(param string) row format delimited fields terminated by "\t" STORED AS ORC;

2.
mongoexport --host ip --port port --username username --password password --db

了解本专栏