datax增量抽取mongoDB

最新推荐文章于 2024-09-23 07:30:00 发布

原创

最新推荐文章于 2024-09-23 07:30:00 发布 · 5.7k 阅读

16 ·

CC 4.0 BY-SA版权

本文介绍了使用DataX工具从MongoDB中抽取数据的过程，并详细解释了如何设置JSON配置文件中的查询条件，最终实现了特定数据的高效抽取。

背景介绍

公司现在数据采集增加了一个数据源mongoDB，目前是采用阿里datax工具抽取，高高兴兴去官网查看json demo。发现demo里没有query，那选填的query应该怎么填呢？在这里插入图片描述

解决思路

既然demo没有给，那就看看它的源码怎么写的吧（很忐忑，源码逻辑千万不要太难，不然看不懂）。
在这里插入图片描述
咦，发现还是很明了的，query的出现在Document queryFilter = Document.parse(query);点进去一看，是个json字符串，然后再百度一下mongodb的条件查询，结合上面代码的task分任务的filter，我写了一个这样的json，{ “dd” : { “ $KaTeX parse error: Expected 'EOF', got '}' at position 9: gt" : 5 }̲, "ee" : { "$ gt” : 3 } } 。
完整的json如下

{
  "job": {
      "setting": {
          "speed": {
              "channel": 2
          }
      },
      "content": [
          {
              "reader": {