dataX的安装

大数据 DataX 详细安装教程 阅读详情

一、前置条件

  Linux
  JDK(1.8以上,推荐1.8)
  Python(推荐Python2.6.X)
  Apache Maven 3.x (Compile DataX)

  如何查看各条件是否满足?

    linux查看版本:

cat /etc/issue
cat /etc/redhat-release

    JDK查看版本:(通常需要自己安装,安装参考linux随笔:https://www.cnblogs.com/jiangbei/p/8270589.html)

java -version

    python版本查看(通常系统自带2.x版本)

python -V

    maven版本查看:(和JDK一样安装,安装参考:https://blog.youkuaiyun.com/mynameissls/article/details/54140176)

mvn -v

 二、开始安装

  1.下载dataX安装包:https://github.com/alibaba/DataX/blob/master/userGuid.md

   2.上传安装包:使用xshell的sftp文件传输进行文件传输

   3.解压:

tar -zxvf datax.tar.gz  -C /opt/datax/

  4.自检

    进入bin目录,开始自检:

python datax.py ../job/job.json

    查看日志,完成自检!

   5.快速开始

    https://github.com/alibaba/DataX/blob/master/userGuid.md

Datax安装 Datax安装十分简单 阅读详情

相关推荐

datax、dataxweb、kettle的安装与简单使用及常见报错处理

datax、dataxweb、kettle的安装与简单使用,以及对可能出现的报错的分析与解决

weixin_44382736的博客 9039

DataX安装部署及小试

1、下载压缩包下载页面地址:https://github.com/alibaba/DataX不要在【Clone or download】处下载,那里下载的是源码;对于Java不是很在行的人来说,自行编译显得有点困难。而是在:【Quick Start】--->【Download DataX下载地址】进行下载。下载后的包名:datax.tar.gz。解压后{datax}目录下有{bin  con...

BabyFish13 1万+

datax与datax-web安装部署

大数据分析早已成为日常,datax作为国内优秀的开源同步工具,是运维过程中经常会遇到的程序,本文由自己的安装经验总结,希望对后来人有帮助

m0_71142057的博客 7049

9、DataX安装部署

通常情况下,离线数据同步任务需要每日定时重复执行,故HDFS上的目标路径通常会包含一层日期,以对每日同步的数据加以区分,也就是说每日同步数据的目标路径不是固定不变的,因此DataX配置文件中HDFS Writer的path参数的值应该是动态的。为实现这一效果,就需要使用DataX传参的功能。DataX的使用十分简单,用户只需根据自己同步数据的数据源和目的地选择相应的Reader和Writer,并将Reader和Writer的信息配置在一个json文件中,然后执行如下命令提交数据同步任务即可。

赞的心路历程 3749

Centos 安装Datax及Datax-web

centos安装datax;datax和datax-web安装配置;datax集群部署

埋雷兽的博客 2644

dataX、dataX-web安装部署 dataX集群模式

dataX安装 1、直接下载dataX.tar.gz,下载后解压至本地某个目录,进入bin目录,即可运行同步作业。 开始自检: python datax.py …/job/job.json 详见dataX安装与自测 2、下载源码后,用maven编译 详见datax安装与使用详解 由于楼主这边需要同步任务很多,这边需要装集群式dataX。即每台机器上都安装。 xshell多窗口执行命令: 1、选择排列方式,好方便同步命令时查看执行情况。 2、点击查看–>撰写–>撰写窗格 至此,即可同时操作多窗

fairynini的博客 1万+

linux datax安装

一、DataX介绍: DataX 是阿里开源的一个异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。 二、安装时环境 1、IDK1.8(我这个datax安装包需要jdk1.8以上) 2.python2.* (我没有安装python,使用的是liunx自带的python) 查看linux python版本:python -V 三、安装包下载 下载页面地址: https:

weixin_42489619的博客 5853

DataX与DataX-Web安装与使用

"job": {"speed": {},},},],"sliceRecordCount": 1 // 读取数据列中的重复次数},项目地址:GitHub - WeiYe-Jing/datax-web: DataX集成可视化页面,选择数据源即可一键生成数据同步任务,支持RDBMS、Hive、HBase、ClickHouse、MongoDB等数据源,批量创建RDBMS数据同步任务,集成开源调度系统,支持分布式、增量同步数据、实时查看运行日志、监控执行器资源、KILL运行进程、数据源信息加密等。

m0_74823683的博客 1820

linux上datax 安装以及使用

linux上datax 安装以及使用

寂夜了无痕的博客 1万+

Datax-web版安装(含安装包)

文章目录Datax-web安装环境准备安装Datax安装Data-web启动datax-web软件资源 Datax-web安装 环境准备 MySQL (5.5+) 必选,对应客户端可以选装, Linux服务上若安装mysql的客户端可以通过部署脚本快速初始化数据库 JDK(1.8.0_xxx)必选 DataX 必选 Python(2.x)(支持Python3需要修改替换datax/bin下面的三个python文件,替换文件在后面有提供) 必选,主要用于调度执行底层DataX的启动脚本,默认的方式是以Jav

AnameJL的博客 8216

Datax 与 Datax-Web 安装部署

详细记录了datax与datax-web安装部署过程。

运维-晓柏的博客 6641

DataX安装

DataX 目录DataX1、DataX3.0概览1.1. 设计理念1.2. 当前使用现状3、DataX 3.0六大核心优势3.1. 可靠的数据质量监控3.2. 丰富的数据转换功能3.3. 精准的速度控制3.4. 强劲的同步性能3.5. 健壮的容错机制3.6. 极简的使用体验4、工具对比(Datax,Flume,Sqoop)4.1、DataX4.2、Flume4.3、Sqoop6、 DataX3.0框架设计6.1. 核心模块介绍6.2. DataX调度流程6.3. DataX-Web架

忄凝^的博客 864

大数据DataX(三):DataX安装及使用

注意:以上“ErrorLimit”设置指的是在Datax中Job支持用户对于脏数据的自定义监控和告警,包括对脏数据最大记录数阈值(record值)或者脏数据占比阈值(percentage值),当Job传输过程出现的脏数据大于用户指定的数量/百分比,DataX Job报错退出。DataX自带了一个“streamreader”读入数据、“streamwriter”写出数据的自检脚本,可以运行此脚本检查DataX是否正常运行。

Lansonli(蓝深李)的博客 4545

DataX 及 DataX-Web 安装使用详解

前段时间在项目上使用了阿里的离线数据同步工具datax,在大批量的表同步过程中踩了一些坑,所以详细介绍一下,希望对大家有所帮助。本文将先介绍dataxhe datax-web的安装及使用,比较简单,但是实际使用过程中还有许多需要改进的地方,后面文章将接着介绍datax及datax-web源码打包、二次开发支持Oracle更新数据等,敬请期待。datax介绍:https://github.com/alibaba/DataX/blob/master/introduction.md 源码地址:https://gi

程序员大佬超的博客 5212

PCB设计AD规则设置(按照嘉立创设置)

按照嘉立创的相关加工能力进行设置: 1.Hole Size(钻孔孔径) 嘉立创要求钻孔孔径在0.2-6.3mm,并给了公差(如下图给出了钻孔孔径和公差) 规则设置位置:Manufacturing->Hole Size,这里就改一下数值,最小设置为0.2mm,最大设置为6.3mm 2.Width(线宽) 嘉立创要求线宽多层板双层板最小为3.5mil,单双层板最小为5mil(如下图给出了线宽) 规则设置位置:Routing->Width,我目前只画过双层板,按我的设置如下,最小的线宽设置为10

subtitle_的博客 4万+

模拟滤波器的基础知识和设计

使用Python实现多种模拟滤波器

faltas的博客 3530

linux部署安装DataX和DataX-Web

linux部署安装DataX和DataX-Web

localhost 4053

手把手教你用ECharts打造炫酷3D饼图(附完整源码)

本文详细介绍了如何使用ECharts创建炫酷的3D饼图,从环境配置到完整源码实现,涵盖参数解析、视觉优化和交互增强技巧。通过实战案例,帮助开发者快速掌握3D数据可视化技术,提升数据展示效果。

weixin_29031057的博客 280
上一篇: 阿里开源ETL工具——dataX简单上手
下一篇: 微服务架构的设计模式
With__Sunshine
博客等级 码龄9年 128粉丝 42原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值