Heartsuit的博客

以上就是基于ETLCloud实时数据集成功能实现的单表CDC数据从MySQL到ClickHouse的同步实践，不过可能因为目标库为ClickHouse，其更新、删除操作与传统的关系型数据库的标准SQL有所区别，导致更新和删除数据的操作未能成功同步，这个问题已反馈给官方技术人员。ETLCloud提供了实时数据传输统计图形展示，对同步的进度及异常数据进行近实时的监控。

在实际生产环境，我们在迁移到目标库之前还需要做一些过滤和转换工作；比如，在诗词数据迁移后，发现原来MySQL中的诗词数据都是繁体字，这就导致在直接迁移到ClickHouse做统计分析时生成的图表展示也是繁体中文的，对于不熟悉繁体中文的用户来说影响体验。今天就借助ETLCloud提供的自定义规则能力，同时调用第三方jar包opencc4j，将诗词数据库从MySQL迁移到ClickHouse，并在入库之前完成数据清洗转换工作，完成数据表中标题、作者与内容等字段的繁体中文到简体中文的转换。

今天来实践一下MQTT数据发送/EMQ数据发送组件。先借助 ETLCloud 的库表输入组件获取 ClickHouse 的数据，然后将数据流以 MQTT 协议直接发送到指定 topic 中，实现发送指令或数据到物联网设备(EMQ兼容)；在实际的物联网场景中，我们有时会向部分客户端设备批量发送消息或指令，实现远程配置与控制操作。主流的 MQTT Broker 有： Mosquitto , EMQ , HiveMQ , VerneMQ , ActiveMQ 以及提供物联网设备接入服务的云服务商。

日常工作中，有时候领导对某些数据统计感兴趣，会要求分析人员定期取数报送，面对这种需求，我们可以设计一个大屏，将领导关注的数据以可视化的方式展示；如今，借助 ETLCloud 的“生成Echarts图表H5页面”组件，可以将数据库表中的数据执行一个统计 SQL 然后把数据展示成可视化的图表通过邮件、企业微信、钉钉等直接发送给业务用户，实现报表统计、发送的全自动化。

基于 ETLCloud 库表同步组件实现异构数据表批量迁移，完成从 SQLServer 到 MySQL 库表数据迁移实践，简单、直接、有效；此外，也记录了几个迁移过程中与配置相关的问题及解决方法。与以前使用的 CS 类型的迁移工具相比， ETLCloud 界面更友好、更容易上手，而且社区版的功能已经足够强大。ETLCloud：重构企业数据融合架构，解决各种复杂、即时、高合规的数据集成需求，一站式覆盖：任务开发、任务编排调度、血缘关系分析、数据质量管理、数据服务开发、任务监控。

ETLCloud：新一代(智能)全域数据集成平台，兼容主流的数据库、数据仓库、数据湖甚至消息中间件等产品，全面国产化适配，提供可视化的自动化处理流程，用户只需要单击几下即可创建数据处理任务，轻松在多个异构数据源中实现数据同步以及数据清洗传输。我们曾把MySQL数据的多个关联表通过DataX工具同步到ClickHouse这款OLAP数据库中，最终实现了多表关联的高效查询；这里以诗词数据库从MySQL到ClickHouse的迁移任务为例，快速体验ETLCloud社区版实现零代码、可视化、高效数据迁移的使用过程。