
数据仓库实战
文章平均质量分 81
wangzhongyudie
这个作者很懒,什么都没留下…
展开
-
Flume实战:Kafka Channel的使用配置场景
使用Flume采集数据时,我们可能会遇到各种场景,一个数据采集任务的标准配置都是Source->Channel->Sink。对于Channel组件的选择常用的有Memory Channel、File Channel。Kafka作为数据源,将Kafka中的数据同步到其他组件中Kafka作为目标端,将其他如文件中的数据采集到Kafka的Topic中Kafka作为中转,将数据从Source采集到Sink中对于以上3种场景,在配置Flume的job时,可能就涉及到不同的组件配置模板。原创 2025-03-21 18:44:09 · 544 阅读 · 0 评论 -
Maxwell 配置实时将MySQL数据同步到Kafka
如果初始时数据表中就有数据,但是后面才配置的maxwell,那么初始时的数据是没有监听到binlog的,也就没办法被maxwell同步到Sink。Maxwell是一个通过解析MySQL的binlog日志,伪装成Mysql的slave实时将master的数据变化同步给外部系统的一个工具。在存放maxwell元数据的mysql服务器(可以与被同步数据的Mysql服务器不是同一个)上中创建maxwell数据库,用于存放maxwell的元数据。JDK的版本太低,升级JDK的版本就可以解决。原创 2022-10-24 17:50:56 · 2283 阅读 · 0 评论 -
Flume学习笔记:03-自定义拦截器
简洁明了的讲解了Flume中的自定义的Interceptor的实现。原创 2022-10-19 17:20:29 · 658 阅读 · 0 评论 -
Azkaban4.0.0编译和部署
本文详细的介绍了如何编译和搭建Azkaban4.0.0的环境,可以让后来者少走弯路,避开很多的雷区,大大节省后来者的时间和降低操作的难度。原创 2022-10-10 18:28:02 · 2127 阅读 · 1 评论