- 博客(6)
- 收藏
- 关注
原创 技能一:mysql优化
2、在生产环境中,和运维团队建立机制,发现和处理MySQL中的慢SQL是一项重要的任务。设置慢查询阈值为0.5秒(可根据需求调整)--怎么去发现生产。查询条件的数据类型与索引列不一致。测试环境数据少的时候,还发现不了。测试阶段模拟生产,核心查询压力测试、 数据量预估 (测试和生产)开发设计阶段,熟悉业务了解业务合理设计索引、1、举两个生产环境mysql优化的经典场景。技术文档沉淀:总结经验教训,形成闭环管理。3、--怎么去排查,解决。最左前缀失效,特别注意。运维:实时监控与告警。
2025-03-31 10:52:37
116
原创 谈一谈在基金清算遇到不可控灾难
4、清算的第一个E2文件,导致份额对账,基金净值导入会比实际欧洲的交易日延迟一天。1、申购订单,基金订单确认金额,与上手出现了份额交割不一致。2、转账失败,需要改数据重新转账。3、台风天特殊处理。
2025-03-27 14:33:02
229
原创 canal总结三
通过以上配置,Canal 可以精准地捕获指定数据库表的变更数据,并根据业务需求将数据分发到不同的 Kafka 主题和分区中,从而实现高效的数据同步与分发。不同的表可以映射到不同的 Kafka 主题。定义基于字段值的分区策略,确保相同字段值的消息总是被发送到同一个 Kafka 分区。定义需要监听的数据库表的正则表达式,只有匹配这些表的数据变更才会被捕获并处理。定义需要过滤掉的数据库表的正则表达式,匹配这些表的数据变更不会被捕获。这两个配置用于字段级别的过滤,分别定义需要保留或排除的字段。
2025-02-18 17:17:50
927
原创 canal总结二
每个 Canal Instance 可以独立启动或停止,这使得 Canal 能够灵活地管理不同数据库实例之间的数据同步任务。通过命令行工具或者管理界面,可以方便地控制各个 Instance 的生命周期。Canal 支持多种扩展功能,例如将解析后的数据直接发送到消息队列(MQ),如 Kafka 或 RocketMQ。这种设计允许 Canal 支持多数据库实例的数据同步,满足复杂业务场景下的需求。可以看作是一个独立的数据同步通路,负责连接到一个特定的数据库实例,并捕获该数据库的变更数据。是数据同步的核心组件。
2025-02-18 17:15:41
477
原创 canal的总结一
是 Canal 配置文件中的核心部分,用于定义 Canal Server 的全局配置参数。这部分配置专门针对 Kafka 模式下的消息发送行为进行了详细定义,包括 Kafka 集群地址、消息确认机制、压缩类型、批量发送大小等参数。文件通过一系列精心设计的参数组合,实现了对 Canal Server 各个方面的全面控制,从而满足了复杂多变的实际应用场景需求。这些配置项用于定义哪些类型的 Binlog 事件会被过滤掉或保留下来。
2025-02-18 17:09:18
921
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人