侯军伟:Redis新浪大运维

侯军伟:Redis新浪大运维

2013-04-26 14:37 佚名 51CTO  字号： T |  T

Redis的一个很大好处就是可以不用整个转入到这个数据库，而是可以沿用之前的MySQL等数据库，而仅在一些特定的应用场景通过Redis的特性提高效率。本文列出了11个这样的Web应用场景，如显示最新的项目列表、删除和过滤、排行榜等相关需求。

AD：51CTO学院：IT精品课程在线看！

2013年4月26日-27日，由51CTO传媒集团旗下WOT（World Of Tech）品牌主办的2013大数据全球技术峰会在北京富力万丽酒店召开。本次峰会将围绕大数据基础架构与上层应用的生态系统，解决大规模数据引发的问题，探索大数据基础的解决方案，激发数据挖掘带来的竞争力，让数据发出声音。51CTO作为本次峰会的主办方，将全程视频、图文直播报道这场数据的盛宴，更多内容请点击专题：2013大数据全球技术峰会。

 

2013大数据全球技术峰会专题

在4月26日的NoSQL&NewSQL专场论坛中，新浪高级DBA卢侯军伟先生表了主题为“Redis在新浪的大规模运维经验”的演讲。

Redis简介：

Redis是一个key-value存储系统，它和Memcached很像，支持存储的value类型相对很多，包括string(字符串)、list(链表)、set(集合)和zset(有序集合)。这些数据类型基本全支持push/pop、add/remove及取交集并集和差集及更丰富的操作，并且这些操作都是原子性的。以此为基础，Redis支持各种不同方式的排序。和memcached一样，为了保证效率，数据都是缓存在内存中。区别的是Redis会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件，并且以此为基础实现了master-slave(主从)同步。

Redis 是一个高性能的key-value数据库。Redis的出现很大程度补偿了memcached这类key/value存储的不足，在多种场合可以对关系数据库起到很好的补充作用。它提供了Python，Ruby，Erlang，PHP客户端，使用很方便。

Redis应用：

Redis的一个很大好处就是可以不用整个转入到这个数据库，而是可以沿用之前的MySQL等数据库，而仅在一些特定的应用场景通过Redis的特性提高效率。本文列出了11个这样的Web应用场景，如显示最新的项目列表、删除和过滤、排行榜等相关需求。

运维经验：

所有的机器的分配必须人工进行分配

人工分配有个问题，大部分场景下我们是将redis作为存储使用，所以我们没有设置maxmemory

但是这样就引入了一个问题，一台96G内存的服务器，业务使用了30G内存，这个时候我们需要再部署一个业务，我们能否使用这台机器剩下的内存？

引入了大量的人力成本。

通过外部的辅助系统将原来的一个需要运维人员大量参与的系统转变为一个半自动的系统，从而解放生产力

redis 双写

通过应 用服务器器写入两份来进行。

缺点：

1.数据的一致性比较欠缺。

2.当其中一台master挂掉之后，后续添加新的master进行运维成本比较高。

使用ruby编写，通过NodeManager检查redis服务器的状态，然后更新zookeeper中的列表，zookeeper来维护当前可用服务器列表。

zk中保存三个列表：master、slaves、unavailable。

NodeManager通过配置文件读取node列表。

每个node一个NodeWatcher线程，每隔2秒钟检查一次node的状态（syncing、available、unavailable）
如果node连续max_failures次失败的话，设置为unavailable
NodeWatcher将 状态存放在NodeManager的状态queue中

NodeManager的一个线程定期的检查queue中的状态，对状态进行处理：
1.unavailable
处理时判断node是否为master，如果为master则执行promote_new_master将选出新的master并对剩余的slave执行slaveof，如果是slave的话，则从slave列表中移除
2.syncing
将node加入到unavailable列表中，并从slave列表中移除
3.available
判断node是否在当前的available列表中，如果不在列表中，则加入到available列表中。 

可以部署多个NodeManager，一个时间只有一个 NodeManager处于可用状态，多个NodeManager注册到zookeeper中。 

缺点:

1．现有代码需要进行改造，以支持通过zookeeper来获取可用的服务列表（有现成的客 户端）。

2．没有考虑到多机房的本地化原则（可 以通过增加客户端的判断逻辑来进行）

3．只有一个active的NodeManager节点，如果该NodeManager节点的网络出现问题，则会出现误操 作的现象。

 

以上是51CTO.com记者从一线为您带来的精彩报道。后续我们还有更加精彩的独家报道，敬请关注。