Memcache

最新推荐文章于 2021-03-31 22:47:14 发布

转载最新推荐文章于 2021-03-31 22:47:14 发布 · 1k 阅读

21 篇文章

订阅专栏

addServer
在说Memcache的长连接(pconnect)和短连接(connect)之前要先说说Memcache的addServer，Memcache的addServer是增加一个服务器到连接池中(addServer没有连接到服务器的动作，所以在memcache进程没有启动的时候，执行addServer成功也会返回true)。通过 Memcache::addServer() 打开的连接将会在脚本执行结束后自动关闭，也可以使用 Memcache::close()进行手动关闭。当使用这个方法的时候(与Memcache::connect()和 Memcache::pconnect()相反) 网络连接并不会立刻建立，而是直到真正使用的时候才建立。因此在加入大量服务器到连接池中时也是没有开销的，因为它们可能并不会被使用。addServer的第三个参数persistent就是是否使用长连接(pconnect)，默认是TRUE。

pconnect

Memcache是danga.com的一个项目，最早是为 LiveJournal 服务的，目前全世界不少人使用这个缓存项目来构建自己大负载的网站，来分担数据库的压力。它可以应对任意多个连接，使用非阻塞的网络IO。由于它的工作机制是在内存中开辟一块空间，然后建立一个HashTable，Memcached自管理这些HashTable。Memcache官方网站：http://www.danga.com/memcached，更多详细的信息可以来这里了解。

为什么会有Memcache和memcached两种名称？其实Memcache是这个项目的名称，而memcached是它服务器端的主程序文件名，知道我的意思了把~~~~。一个是项目名称，一个是主程序文件名，在网上看到了很多人不明白，于是混用了。

Memcache的安装

分为两个过程：memcache服务器端的安装和memcached客户端的安装。

所谓服务器端的安装就是在服务器（一般都是linux系统）上安装Memcache实现数据的存储。

所谓客户端的安装就是指php（或者其他程序，Memcache还有其他不错的api接口提供）去使用服务器端的Memcache提供的函数，需要php添加扩展。

PHP的Memcache

01 <?php

02 //连接

`03`	`$mem` `=` `new` `Memcache;`

`04`	`$mem->connect("db.nowamagic.net", 12000);`

05 //保存数据

`06`	`$mem->set('key1',` `'This is first value', 0, 60);`

`07`	`$val` `=` `$mem->get('key1');`

`08`	`echo` `"Get key1 value: "` `.` `$val` `."<br />";`

09 //替换数据

`10`	`$mem->replace('key1',` `'This is replace value', 0, 60);`

`11`	`$val` `=` `$mem->get('key1');`

`12`	`echo` `"Get key1 value: "` `.` `$val` `.` `"<br />";`

13 //保存数组

`14`	`$arr` `=` `array('aaa',` `'bbb',` `'ccc',` `'ddd');`

`15`	`$mem->set('key2',` `$arr, 0, 60);`

`16`	`$val2` `=` `$mem->get('key2');`

`17`	`echo` `"Get key2 value: ";`

`18`	`print_r($val2);`

`19`	`echo` `"<br />";`

20 //删除数据

`21`	`$mem->delete('key1');`

`22`	`$val` `=` `$mem->get('key1');`

`23`	`echo` `"Get key1 value: "` `.` `$val` `.` `"<br />";`

`24`	`//清除所有数据`

`25`	`$mem->flush();`

`26`	`$val2` `=` `$mem->get('key2');`

`27`	`echo` `"Get key2 value: ";`

`28`	`print_r($val2);`

`29`	`echo` `"<br />";`

30 //关闭连接

`31`	`$mem->close();`

32 ?>

如果正常的话，浏览器将输出：

`1`	`Get key1 value: This is first value`

`2`	`Get key1 value: This is replace value`

`3`	`Get key2 value: Array ( [0] => aaa [1] => bbb [2] => ccc [3] => ddd )`

`4`	`Get key1 value:`

`5`	`Get key2 value:`

程序代码分析

初始化一个Memcache的对象：$mem = new Memcache;

连接到我们的Memcache服务器端，第一个参数是服务器的IP地址，也可以是主机名，第二个参数是Memcache的开放的端口：$mem->connect("192.168.0.200", 12000);

保存一个数据到Memcache服务器上，第一个参数是数据的key，用来定位一个数据，第二个参数是需要保存的数据内容，这里是一个字符串，第三个参数是一个标记，一般设置为0或者MEMCACHE_COMPRESSED就行了，第四个参数是数据的有效期，就是说数据在这个时间内是有效的，如果过去这个时间，那么会被Memcache服务器端清除掉这个数据，单位是秒，如果设置为0，则是永远有效，我们这里设置了60，就是一分钟有效时间：$mem->set(‘key1‘, ‘This is first value’, 0, 60);

从Memcache服务器端获取一条数据，它只有一个参数，就是需要获取数据的key，我们这里是上一步设置的key1，现在获取这个数据后输出输出：

`1`	`$val` `=` `$mem->get(’key1′);`

`2`	`echo` `"Get key1 value: "` `.` `$val;`

现在是使用replace方法来替换掉上面key1的值，replace方法的参数跟set是一样的，不过第一个参数key1是必须是要替换数据内容的key，最后输出了：

`1`	`$mem->replace('key1',` `'This is replace value', 0, 60);`

`2`	`$val` `=` `$mem->get('key1');`

`3`	`echo` `"Get key1 value: "` `.` `$val;`

同样的，Memcache也是可以保存数组的，下面是在Memcache上面保存了一个数组，然后获取回来并输出：

`1`	`$arr` `=` `array('aaa',` `'bbb',` `'ccc',` `'ddd');`

`2`	`$mem->set('key2',` `$arr, 0, 60);`

`3`	`$val2` `=` `$mem->get('key2');`

`4`	`print_r($val2);`

现在删除一个数据，使用delte接口，参数就是一个key，然后就能够把Memcache服务器这个key的数据删除，最后输出的时候没有结果：

`1`	`$mem->delete('key1');`

`2`	`$val` `=` `$mem->get('key1');`

`3`	`echo` `"Get key1 value: "` `.` `$val` `.` `"<br />";`

最后我们把所有的保存在Memcache服务器上的数据都清除，会发现数据都没有了，最后输出key2的数据为空，最后关闭连接：

`1`	`$mem->flush();`

`2`	`$val2` `=` `$mem->get('key2');`

`3`	`echo` `"Get key2 value: ";`

`4`	`print_r($val2);`

`5`	`echo` `"<br />";`

Memcache的使用

使用Memcache的网站一般流量都是比较大的，为了缓解数据库的压力，让Memcache作为一个缓存区域，把部分信息保存在内存中，在前端能够迅速的进行存取。那么一般的焦点就是集中在如何分担数据库压力和进行分布式，毕竟单台Memcache的内存容量的有限的。我这里简单提出我的个人看法，未经实践，权当参考。

分布式应用

Memcache本来支持分布式，我们客户端稍加改造，更好的支持。我们的key可以适当进行有规律的封装，比如以user为主的网站来说，每个用户都有User ID，那么可以按照固定的ID来进行提取和存取，比如1开头的用户保存在第一台Memcache服务器上，以2开头的用户的数据保存在第二胎Mecache服务器上，存取数据都先按照User ID来进行相应的转换和存取。

但是这个有缺点，就是需要对User ID进行判断，如果业务不一致，或者其他类型的应用，可能不是那么合适，那么可以根据自己的实际业务来进行考虑，或者去想更合适的方法。

减少数据库压力

这个算是比较重要的，所有的数据基本上都是保存在数据库当中的，每次频繁的存取数据库，导致数据库性能极具下降，无法同时服务更多的用户，比如MySQL，特别频繁的锁表，那么让Memcache来分担数据库的压力吧。我们需要一种改动比较小，并且能够不会大规模改变前端的方式来进行改变目前的架构。

我考虑的一种简单方法：

后端的数据库操作模块，把所有的Select操作提取出来（update/delete/insert不管），然后把对应的SQL进行相应的hash算法计算得出一个hash数据key（比如MD5或者SHA），然后把这个key去Memcache中查找数据，如果这个数据不存在，说明还没写入到缓存中，那么从数据库把数据提取出来，一个是数组类格式，然后把数据在set到Memcache中，key就是这个SQL的hash值，然后相应的设置一个失效时间，比如一个小时，那么一个小时中的数据都是从缓存中提取的，有效减少数据库的压力。缺点是数据不实时，当数据做了修改以后，无法实时到前端显示，并且还有可能对内存占用比较大，毕竟每次select出来的数据数量可能比较巨大，这个是需要考虑的因素。

Memcache的安全

我们上面的Memcache服务器端都是直接通过客户端连接后直接操作，没有任何的验证过程，这样如果服务器是直接暴露在互联网上的话是比较危险，轻则数据泄露被其他无关人员查看，重则服务器被入侵，因为Mecache是以root权限运行的，况且里面可能存在一些我们未知的bug或者是缓冲区溢出的情况，这些都是我们未知的，所以危险性是可以预见的。为了安全起见，我做两点建议，能够稍微的防止黑客的入侵或者数据的泄露。

内网访问

最好把两台服务器之间的访问是内网形态的，一般是Web服务器跟Memcache服务器之间。普遍的服务器都是有两块网卡，一块指向互联网，一块指向内网，那么就让Web服务器通过内网的网卡来访问Memcache服务器，我们Memcache的服务器上启动的时候就监听内网的IP地址和端口，内网间的访问能够有效阻止其他非法的访问。

# memcached -d -m 1024 -u root -l 192.168.0.200 -p 11211 -c 1024 -P /tmp/memcached.pid

Memcache服务器端设置监听通过内网的192.168.0.200的ip的11211端口，占用1024MB内存，并且允许最大1024个并发连接。

设置防火墙

防火墙是简单有效的方式，如果却是两台服务器都是挂在网的，并且需要通过外网IP来访问Memcache的话，那么可以考虑使用防火墙或者代理程序来过滤非法访问。一般我们在Linux下可以使用iptables或者FreeBSD下的ipfw来指定一些规则防止一些非法的访问，比如我们可以设置只允许我们的Web服务器来访问我们Memcache服务器，同时阻止其他的访问。

view source print ?

`1`	`# iptables -F`

`2`	`# iptables -P INPUT DROP`

`3`	`# iptables -A INPUT -p tcp -s 192.168.0.2 –dport 11211 -j ACCEPT`

`4`	`# iptables -A INPUT -p udp -s 192.168.0.2 –dport 11211 -j ACCEPT`

上面的iptables规则就是只允许192.168.0.2这台Web服务器对Memcache服务器的访问，能够有效的阻止一些非法访问，相应的也可以增加一些其他的规则来加强安全性，这个可以根据自己的需要来做。

Memcache::pconnect()和 Memcache::connect()非常类似，不同点在于这里建立的连接是持久化的。这个连接不会在脚本执行结束后或者Memcache::close()被调用后关闭。同样你也可以使用函数memcache_pconnect()。

关于Memcache的长连接是如何重用的，这是一个网友的解释“persistent为false时的表现是很好理解的，请求来了就连接。请求完毕就关闭对Memcache Server的连接。至于 persistent为true的情况，处理也是比较简单的。一个Memcache的连接hash值主要跟host、port以及timeout有关。有一个连接请求到来时就根据host和port生成一个hash值，然后查表。有则取出，没有则新建一个连接，新建后放入连接池。请求关闭时并不关闭对Memcache Server的连接，而是把这个连接（在做一些状态更新后）放入连接池（就是前面提到的那个hash 表），供下次查询使用。”Memcache的长连接(pconnect)开销较小，但是占用TCP端口。

connect
Memcache::connect()建立一个到memcached服务端的连接。使用方法 Memcache::connect()打开的连接在脚本执行结束后会自动关闭。当然，你也可以使用方法 Memcache::close()来主动关闭。同时你也可以使用 memcache_connect()函数来获取一个连接。

Memcached的连接数
登录到Memcache Server查看服务器的状态

1 2	telnet 127.0.0.1 11211 stats

得到如下结果

STAT pid 23193
STAT uptime 5846159
STAT time 1350869831
STAT version 1.4.9
STAT libevent 1.4.13-stable
STAT pointer_size 64
STAT rusage_user 18130.632724
STAT rusage_system 53822.121793
STAT curr_connections 2048
STAT total_connections 98471150
STAT connection_structures 2383
STAT reserved_fds 20
STAT cmd_get 3570290772
STAT cmd_set 98386836
STAT cmd_flush 2
STAT cmd_touch 0
STAT get_hits 2697025276
STAT get_misses 873265496
STAT delete_misses 6124562
STAT delete_hits 26956415
STAT incr_misses 0
STAT incr_hits 0
STAT decr_misses 0
STAT decr_hits 0
STAT cas_misses 0
STAT cas_hits 0
STAT cas_badval 0
STAT touch_hits 0
STAT touch_misses 0
STAT auth_cmds 0
STAT auth_errors 0
STAT bytes_read 138982259474
STAT bytes_written 3052329831433
STAT limit_maxbytes 8589934592
STAT accepting_conns 1
STAT listen_disabled_num 0
STAT threads 4
STAT conn_yields 2322
STAT hash_power_level 21
STAT hash_bytes 16777216
STAT hash_is_expanding 0
STAT expired_unfetched 743266
STAT evicted_unfetched 0
STAT bytes 1109591787
STAT curr_items 2343667
STAT total_items 98338176
STAT evictions 0
STAT reclaimed 1492847
END

发现当前打开着的连接数(curr_connections)已经达到了上限2048，而命中率 = get_hits/cmd_get * 100 = 75.54% 这个效率已经相当低了，Memcached最大同时连接数默认是1024，增加最大连接数命中率应该会有所改变。

关于PHP使用Memcache的详细参数和示例推荐这篇文章：php操作memcache的使用测试总结
关于Memcached的全面解析，这里有几篇翻译不错的文章
也顺便推荐下一个不错的Memcached图形化管理监控工具：MemAdmin