
DataX
文章平均质量分 76
loftiest
这个作者很懒,什么都没留下…
展开
-
DataX--MysqlReader源码
init() 方法在其中获取配置参数信息 ,创建CommonRdbmsReader的Job对象 ,并初始化Jobpublic void init() { // 获取配置参数信息 this.originalConfig = super.getPluginJobConf(); Integer userConfigedFetchSize = this.originalConfig.getInt(Constant.FETCH_SIZE); if (userConfiged原创 2022-05-07 11:15:00 · 782 阅读 · 0 评论 -
DataX--源码浅读(作业的执行流程)
DataX的执行顺序init:Job对象初始化工作,获取与job有关的配置参数等prepare:全局准备工作,比如清空目标表,清空hdfs目标文件split:拆分Taskschedule:负责任务的调度分配。init:task对象的初始化,获取与task相关的配置参数prepare:局部的准备工作startRead:从数据源读数据,写到RecordSender中。RecordSender再将数据写入连接Reader和Writer的缓存队列。channel:Reader和Writer的缓存队原创 2022-05-06 16:00:12 · 1387 阅读 · 0 评论