Datax定时增量读取MongoDB到本地配置文件

花掏尽

于 2021-11-18 13:53:38 发布

阅读量2.1k

点赞数 2

分类专栏： DataX MongoDB 文章标签： DataX MongoDB 数据迁移

本文链接：https://blog.youkuaiyun.com/weixin_43681796/article/details/121399088

版权

本文介绍如何配置DataX实现从MongoDB到本地的定时增量数据迁移，详细解析相关配置文件和代码实现。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Datax定时增量读取MongoDB到本地配置文件

功能

    1>  DataX实现读取MongDB
    2>  按照时间增量读取
    3> 定时执行（使用调度工具自行实现）

代码

{
   
    "job": {
   
        "content": [
            {
   
                "reader": {
   
                    "name": "mongodbreader", 
                    "parameter": {
   
                        "address": ["###IP###:27017"], 
						"userName":"",
						"userPassword":"",
                        "dbName":"performance",
						"collectionName":"web_pages",
                        "column": [
								{
   
							         "name": "app_id",
							         "type": "string"
								},{
   
								    "name": "create_time",
								    "type": "string"