varyall的专栏

背景在复杂分布式系统中，往往需要对大量的数据和消息进行唯一标识。如在美团点评的金融、支付、餐饮、酒店、猫眼电影等产品的系统中，数据日渐增长，对数据分库分表后需要有一个唯一ID来标识一条数据或消息，数据库的自增ID显然不能满足需求；特别一点的如订单、骑手、优惠券也都需要有唯一ID做标识。此时一个能够生成全局唯一ID的系统是非常必要的。概括下来，那业务系统对ID号的要求有哪些呢？全局唯一性：不能出现重...

本文主要介绍在一个分布式系统中, 怎么样生成全局唯一的 ID一, 问题描述在分布式系统存在多个 Shard 的场景中, 同时在各个 Shard 插入数据时, 怎么给这些数据生成全局的 unique ID?在单机系统中 (例如一个 MySQL 实例), unique ID 的生成是非常简单的, 直接利用 MySQL 自带的自增 ID 功能就可以实现.但在一个存在多个 Shards 的分布式系统 (例...

作者介绍：段同海，就职于达达基础架构团队，主要参与达达分布式ID生成系统，日志采集系统等中间件研发工作。背景在分布式系统中，经常需要对大量的数据、消息、http请求等进行唯一标识，例如：对于分布式系统，服务间相互调用需要唯一标识，调用链路分析的时候需要使用这个唯一标识。这个时候数据库自增主键已经不能满足需求，需要一个能够生成全局唯一ID的系统，这个系统需要满足以下需求：全局唯一：不能出现重复ID。...

本文主要基于真实踩坑经历展开1. 异常概述2. 原因分析2.1 Snowflake工作原理2.2 问题定位2.3 排除时钟回拨2.4 研究workerid2.5 疑点3. 解决方案3.1 HostNameKeyGenerator3.2 IPSectionKeyGenerator3.3 使用我们团队自研的全局唯一ID服务3.4 其他思路4. 感谢666. 彩蛋友情提示：欢迎关注公众号【芋道源码】。?...

1. 异常概述2018年1月26日下午，业务方信贷小组的同学反馈服务执行数据库插入操作出现异常，异常信息显示数据库主键出现重复：在仔细分析了用户的重复主键ID、机器列表、雪花算法之后，下掉55这台机器，至此，异常得以解除。本次异常看似平常，然而仔细分析起来可能造成的后果比较严重。 （1）波及面广、影响时间长。目前大量业务都采用了雪花算法的主键生成策略，如果业务、运维同学不了解雪花算...