使用datax 把数据从oracle导出到elasticsearch中

最新推荐文章于 2024-10-23 11:19:20 发布

小瑞

最新推荐文章于 2024-10-23 11:19:20 发布

阅读量1.3k

点赞数

CC 4.0 BY-SA版权

文章标签： oracle elasticsearch 数据库

本文链接：https://blog.youkuaiyun.com/xiaxiaorui2003/article/details/130269088

本文详细介绍了如何使用DataX在Windows环境下，将数据从Oracle数据库导出并同步到Elasticsearch的过程。包括Python环境的配置、DataX的下载与安装、JSON作业文件的创建和修改，以及解决执行过程中的乱码和数据库驱动问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

https://blog.youkuaiyun.com/mynameisjinxiaokai/article/details/128716467

一、datax需要python环境，需要先安装python
打开官网 https://www.python.org/downloads/
此处下载2.6.5版本安装
添加环境变量 path C:\Python27\
安装完成后 cmd 使用 python -V 查看是否已安装成功

datax 下载后解压至本地某个目录，进入bin目录，即可运行同步作业
E:\ruanjian\JAVA\datax\datax ， YOUR_JOB.json 因为datax会自动从github拉取对应插件的json的模版给我们
例子
$ cd {YOUR_DATAX_HOME}/bin
$ python datax.py {YOUR_JOB.json}
本地
cd E:\ruanjian\JAVA\datax\datax\bin
python E:\ruanjian\JAVA\datax\datax\bin\datax.py E:\ruanjian\JAVA\datax\datax\bin\local-oracle-test-json.txt
备注，1\ json文件需要检查 json格式是否正确
2 执行输出乱码，临时解决，输入 chcp 65001
长久解决， https://cloud.tencent.com/developer/article/2084809 修改window编码
3 写入模式(writeMode)配置错误. 因为Oracle不支持配置项 writeMode: xxx, Oracle只能使用insert sql 插入数据 ,所以删除 writeMode 这行配置
4\ d