- 博客(5)
- 收藏
- 关注
RSS订阅转载 大数据下作业自动化调度的特点
随着大数据时代的来临，企业的作业批量建设也将快速发展，必将常态化、 规模化发展。随着数据的日益增长，更多的数据需求将被转变为数据诉求。如何 保障支撑业务数据被输送到有效的数据目的地，这需要一套高效、灵活、安全、 可靠的作业自动化管理工具。 大数据时代下的作业自动化调度具有以下...
2017-11-29 11:37:00
425
转载 你真的需要ETL工具吗？
不管是大数据领域，还是传统的基础数据领域，为了解决数据的流转问题，都需要各种类型，适应异构环境的小程序来做支撑，通常我们称之为ETL作业。 一想到做数据仓库项目，大家的第一反应就是去选型各种ETL工具。我个人觉得并不是所有的应用场景都需要ETL工具。之前接触过一个银行...
2017-11-14 11:30:00
265
转载 提供一个TASKCTL调度Kettle的虚拟机文件
之前介绍了TASKCTL支持kettle高效率、高并发、跨平台、分布式远程调度的服务插件taskctl-plugin-kettle.zip。详见《kettle调度监控最佳实践》 虽然TASKCTL和kettle插件部署过程都比较简单，但是对于没有接触过linux和TASKCT...
2017-11-13 13:55:00
211
转载 kettle调度监控最佳实践
Kettle作为用户规模最多的开源ETL工具，强大简洁的功能深受广大ETL从业者的欢迎。但kettle本身的调度监控功能却非常弱。 连Pentaho官方都建议采用crontab(Unix平台)和计划任务(Windows平台)来完成调度功能。所以大家在实施kettle作业调度功...
2017-10-27 20:20:00
308
转载 TASKCTL 对开源项目DataX和Sqoop等ETL工具的支撑
1、阿里开源软件：DataX DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。 2、Apache开源软件：Sqoop Sqoop...
2017-08-21 11:44:00
341
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人