- 博客(5)
- 收藏
- 关注
RSS订阅原创 最全livy代码实战
Apache Livy提供Rest service来与Apache Spark进行交互，通过Rest interface或RPC client来简化spark job和spark code snippet的提交，同步或异步获取结果，并提供对spark context的管理。
2023-02-11 20:37:31
755
原创 mysql通过binlog实现增量
使用日志增量的好处可以看下上一篇oracle的文章。 Mysql binlog是二进制日志文件，用于记录mysql的数据更新或者潜在更新(比如DELETE语句执行删除而实际并没有符合条件的数据)，在mysql主从复制中就是依靠的binlog。可以通过语句“show binlog events in 'binlogfile'”来查看binlog的具体事件类型。为啥不用debezium或者flinkx？oracle那篇文章也已经详细说明：我们想想场...
2022-05-26 22:25:48
444
原创 cdc logminer实现oracle增量
场景：现场库到前置库思考1：使用触发器？1、侵入性解决方案2、需要时各种配置，不需要时又是各种配置Change Data Capture：捕捉变化的数据，通过日志监测并捕获数据库的变动（包括数据或数据表的插入，更新，删除等），将这些变更按发生的顺序完整记录下来，写入到消息中间件中或者通过其他途径分发出去。与触发器相比，通过日志监控的好处：1、对原库基本无侵入性，不需要像触发器一样，对原库进行操作。 2、可以针对整库或者库中的表进行监控，比触发器更加灵活高效，避免监控表比较多的情况的
2022-05-26 22:24:52
1217
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人