- 博客(11)
- 收藏
- 关注
原创 mysql数据同步es踩坑记
背景: 需要把mysql的数据同步到es中。由于没有维护canal集群, 我们选择了通过记录最后一次同步数据的update_time来进行数据同步。 具体的做法,当有数据变更的时候,发个消息,表示需要进行数据同步。 消息的监听者加锁串行执行,从要同步数据的表中获取上一次update_time之后的数据,并且把最后一条记录的update_time更新回去。 比如说有用户表 user...
2019-03-11 17:48:19
1326
原创 互联网公司技术博客
美团技术 https://tech.meituan.com/ 京东达达技术 https://tech.imdada.cn/ 阿里技术 https://102.alibaba.com/ 阿里开源 https://yq.aliyun.com/opensource 360技术 http://blogs.360.cn/ 阿里中间件 http://j...
2019-02-26 15:28:11
487
原创 canal入个门
一、起源: 早期,阿里巴巴B2B公司因为存在杭州和美国双机房部署,存在跨机房同步的业务需求。不过早期的数据库同步业务,主要是基于trigger的方式获取增量变更,不过从2010年开始,阿里系公司开始逐步的尝试基于数据库的日志解析,获取增量变更进行同步,由此衍生出了增量订阅&消费的业务,从此开启了一段新纪元。 基于数据库增量日志解析,提供增量数据订阅&消费,目前主要支持了mysql...
2019-02-25 20:51:27
381
原创 话说熔断(第一集)
一、为什么需要熔断? 1.防止调用雪崩, 比方A->B->C,如果服务C不稳定,会造成B不用,C不可用 2. 保证核心服务基本可用 二、熔断是发生在服务方还是调用方? 更好的理解是熔断是通过AOP来实现的,当发生错误达到设定的规则以后,会执行fallback逻辑 a. 在调用方配置可以保证线程不被榨干 b. 在服务方配置可以快速失败,避免每个调用方都进行配置 ...
2019-02-14 20:42:39
527
原创 Elasticsearch同步mysql数据
主要思路是通过logstash-input-jdbc,并不是实时同步,准实时(通过schedule进行捞取) 原理:通过SQL语句(相对BIN LOG同步可以写较复杂的SQL)进行全量和增量同步 注意点: 增量同步的坑,需要有更新时间,不好做删除,可能需要做逻辑删除(即更新记录)。 更新时间需要做索引。 步骤 1.安装es 2.安装logstash 安装es对应的版本: ...
2019-02-14 14:11:44
2322
原创 mysql数据同步es方案思考
大体方案 1. 双写 优点: 简单,灵活 缺点: a. 业务代码耦合严重. b. 如何保证双写成功? c. 同步双写会增加响应时间 2. 消息队列 优点: 简单 缺点: a. 业务代码耦合 b. 需要保证写入MQ成功 c. 需要保证MQ集群的稳定性 d. 需要考虑异步造成的一致性问题(消费无序和消费时序) 坑1:消费消息无序,会有问题, 比方两个操作, 第一...
2019-01-23 20:15:37
6815
1
原创 系统架构的基本设计原则
抽象系统及系统间交互 1.找出合理通用的领域/业务对象 2.职责单一的子系统 3.系统间通过消息,或者RPC进行调用 4.单向调用,禁止循环调用(启动,升级系统会有麻烦) 5.对业务进行抽象,而不是当前的产品需求(业务确定,接口和流程基本确定) 架构设计技术选型 1.架构看起来简单清晰,看起来就复杂,很可能是设计有问题(简单原则) 2.使用同事熟悉的技术,逐步迭代成理想的技术...
2019-01-22 10:31:26
3812
原创 记一次开发环境redis出现key丢失排查
背景: 开发环境大家共用redis集群, 出现设置的redis key随机丢失 1. 检查key是否设置了过期时间 执行ttl key 发现值是-1,并没有设定过期时间 2. 检查是否有人删除key,或者flushdb,flushall 执行info commandstats cmdstat_XXX: calls=XXX,usec=XXX,usec_per_call=XX...
2019-01-22 10:13:25
5425
原创 MYSQL的高可用方案
1. 双节点主从 + keepalived/heartbeat 特点:简单 缺点:一个主节点,可能会是写入的瓶颈 一致性:数据的一致性需要通过原生半同步机制保证,如果退化成异步复制,会有丢失数据风险。 两个节点可以采用简单的一主一从模式,或者双主模式,并且放置于同一个VLAN中, 在master节点发生故障后,利用keepalived/heartbeat的高可用机制实现快速切换到slav...
2019-01-09 21:05:51
535
原创 调用别人的接口应该注意什么
当我们调用别人提供的接口时候, 需要注意的 1. 访问量不要别接口提供方调挂了,跟接口方确认是否有缓存 2. 访问授权,安全策略 3. 默认接口不稳定,不可用,需要做对应的处理 4. 处理接口的各种异常抛出,业务异常,系统异常 5. 对于修改,插入类的接口,需要确认接口是否有幂等操作 6. 接口超时时间,访问速度 7. 接口是否会进行重试 8. 接口各个参数的具体含义 9. 是否...
2018-12-27 10:48:05
2114
原创 MYSQL锁
一. 查询,修改,删除,插入的时候会不会主动加锁? 在读已提交的事务隔离级别下 对于Update、Delete和Insert语句,InnoDB会自动给涉及数据集加排他锁(X)。 对于普通SELECT语句,InnoDB不会加任何锁。 二. 查询,修改,删除,插入的时候是否需要等待锁释放? 获取的结果集上有锁则需要等待锁。 三. 为什么需要锁 1. 需要保证数据的一致性,避免...
2018-12-12 16:06:38
193
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅