Memcached是一个高性能的分布式的内存对象缓存系统,通过在内存里维护一个统一的巨大的hash表,它能够用来存储各种格式的数据,包括图像、视频、文件以及数据库检索的结果等。最初为了加速 LiveJournal 访问速度而开发的,后来被很多大型的网站采用。起初作者编写它可能是为了提高动态网页应用,为了减轻数据库检索的压力,来做的这个缓存系统。它的缓存是一种分布式的,也就是可以允许不同主机上的多个用户同时访问这个缓存系统, 这种方法不仅解决了共享内存只能是单机的弊端, 同时也解决了数据库检索的压力,最大的优点是提高了访问获取数据的速度!基于memcached作者对分布式cache的理解和解决方案。memcached完全可以用到其他地方 比如分布式数据库, 分布式计算等领域。
memcached安装
所需软件 安装软件:memcached服务器(memcached-1.4.5.tar.gz) 下载地址:http://code.google.com/p/memcached/downloads/list?can=1&q=&colspec=Filename+Summary+Uploaded+ReleaseDate+Size+DownloadCount 安装软件:memcached服务器libevent(libevent-1.4.10-stable.tar.gz) 下载地址:http://libevent.org/old-releases.html#1.4 安装软件:memcached 复制软件(memcached-1.2.8-repcached-2.2.1.tar.gz) 下载地址:http://sourceforge.net/projects/repcached/files/ (http://repcached.lab.klab.org/) 注:下载软件全部复制到/usr/local/下 安装libevent /usr/local/# tar zxvf libevent-1.4.10-stable.tar.gz # cd libevent-1.4.10-stable # ./configure --prefix=/usr/local/libevent1.4.10 # make # make install # cp /usr/local/libevent1.4.10/lib/libevent-1.4.so.2 /usr/lib/ 安装memcached /usr/local/# tar zxvf memcached-1.4.5.tar.gz # cd memcached-1.4.5 # ./configure # make # make install # useradd memcached -s /nologin 启动memcached /usr/local/memcached-1.4.5/# memcached -m 512 -u memcached -d -l IP地址 参数说明: -d选项是启动一个守护进程; 如果需要设置其他参数,可以用参数-h查看帮助。 关闭memcached #ps –ef|grep memcached //查看进程id #kill -9 进程id // 查看memcached状态 # telnet localhost 11211 //11211为memcached端口号 #stats STAT pid 3208 STAT uptime 273929 STAT time 1236580409 STAT version 1.2.6 STAT pointer_size 32 STAT rusage_user 0.004000 STAT rusage_system 0.044002 STAT curr_items 34 STAT total_items 97 STAT bytes 4982 STAT curr_connections 3 STAT total_connections 129 STAT connection_structures 8 STAT cmd_get 92 #查询缓存数据的次数 STAT cmd_set 97 #同步到缓存的数据次数 STAT get_hits 72 #缓存命中率的次数 STAT get_misses 20 #丢失命中的次数 STAT evictions 0 STAT bytes_read 13915 STAT bytes_written 9070 STAT limit_maxbytes 536870912 STAT threads 1 END quit //退出telnet 若上述命令能正常执行,说明memcached安装成功。 |
安装 memcached 复制软件
/usr/local/#tar zxvf memcached-1.2.8-repcached-2.2.1.tar.gz #cd memcached-1.2.8-repcached-2.2.1 #./configure --prefix=/usr/local/memcached-1.4.5 --enable-replication --with-libevent=/usr/local/libevent1.4.10--enable-64bit # make # make install 启动memcached(复制方式) 原理:以memcached主从复制方式部署,master/slave都是可读写的,而且可以相互同步,如果master坏了,slave侦测到连接断了,自动监听成为master;如果slave坏了,master会侦测到连接断了,会重新监听等待新的slave加入。 范例如下: 启动master #/usr/local/memcached-1.4.5/memcached -m 512 -u memcached -d -l 10.12.23.37 –p 11211 启动slave #/usr/local/memcached-1.4.5/memcached -m 512 -u memcached -d -l 10.12.23.42 –p 11211 –x 10.12.23.37 –p 11211 |
安装daemontools
对于memcached进程死掉的服务器,只要重新启动memcached,就可以正常运行,所以采用了监视memcached进程并自动启动的方法(推荐使用daemontools)。可参考http://blog.youkuaiyun.com/yangshiqi1089/article/details/6002272
安装软件:daemontools 下载地址:http://cr.yp.to/daemontools/daemontools-0.76.tar.gz
/#mkdir -p /package 复制daemontools-0.76.tar.gz到/package /package#tar -zxf daemontools-0.76.tar.gz #cd admin/daemontools-0.76 #package/install 若出现错误如“make: *** [envdir]错误 1Copying commands into ./command...cp:无法 stat “compile/envdir”:没有那个文件或目录“ 则执行如下修改: / admin/daemontools-0.76/src#vi conf-cc 修改为gcc -include /usr/include/errno.h… 编辑run.sh文件如下:
将run.sh加入监控服务,这样在memcached进程被杀掉时,会自动启动memcached。 |
升级安装方案
方案1:Memcached软件版本升级。
主要是升级安装Memcached,具体如下:
准备所需安装软件 软件名称:memcached服务器(memcached-1.4.13.tar.gz) 下载地址:http://code.google.com/p/memcached/downloads/list?can=1&q=&colspec=Filename+Summary+Uploaded+ReleaseDate+Size+DownloadCount 软件名称:memcached服务器libevent(libevent-1.4.10-stable.tar.gz) 下载地址:http://libevent.org/old-releases.html#1.4 注:下载软件全部复制到/usr/local/下 安装libevent /usr/local/# tar zxvf libevent-1.4.10-stable.tar.gz # cd libevent-1.4.10-stable # ./configure --prefix=/usr/local/libevent1.4.10 # make # make install # cp /usr/local/libevent1.4.10/lib/libevent-1.4.so.2 /usr/lib/ 安装memcached /usr/local/# tar zxvf memcached-1.4.13.tar.gz # cd memcached-1.4.13 # ./configure # make # make install # useradd memcached -s /nologin 启动memcached /usr/local/memcached-1.4.13/# memcached -m 512 -u memcached -d -l IP地址 参数说明: -d选项是启动一个守护进程; 如果需要设置其他参数,可以用参数-h查看帮助。 关闭memcached #ps –ef|grep memcached //查看进程id #kill -9 进程id // 查看memcached状态 # telnet localhost 11211 //11211为memcached端口号 #stats STAT pid 3208 STAT uptime 273929 STAT time 1236580409 STAT version 1.2.6 STAT pointer_size 32 STAT rusage_user 0.004000 STAT rusage_system 0.044002 STAT curr_items 34 STAT total_items 97 STAT bytes 4982 STAT curr_connections 3 STAT total_connections 129 STAT connection_structures 8 STAT cmd_get 92 #查询缓存数据的次数 STAT cmd_set 97 #同步到缓存的数据次数 STAT get_hits 72 #缓存命中率的次数 STAT get_misses 20 #丢失命中的次数 STAT evictions 0 STAT bytes_read 13915 STAT bytes_written 9070 STAT limit_maxbytes 536870912 STAT threads 1 END quit //退出telnet 若上述命令能正常执行,说明memcached安装成功。 |
方案2: memcached 复制软件升级
此方案是基于方案1已经实施完成为前提,继续如下步骤:
准备所需安装软件 软件名称:memcached 复制软件(repcached-2.3.1-1.4.13.patch.gz) 下载地址:http://meatwad.mouf.net/~steve/memcached/ 注:下载软件全部复制到/usr/local/下
安装 memcached 复制软件 /usr/local/memcached-1.4.13#gzip -cd ../repcached-2.3.1-1.4.13.patch.gz | patch -p1 (注意这一步要在已有的memcached根目录下进行,repcached-2.3.1-1.4.13.patch.gz的位置在memcached根目录的上一层) #./configure --enable-replication --with-libevent=/usr/local/libevent1.4.10 (--enable-64bit) # make # make install
启动memcached(复制方式) 原理:以memcached主从复制方式部署,master/slave都是可读写的,而且可以相互同步,如果master坏了,slave侦测到连接断了,自动监听成为master;如果slave坏了,master会侦测到连接断了,会重新监听等待新的slave加入。这样可以实现cache冗余,避免因cache服务器down掉而导致数据丢失。 范例如下: 启动master #/usr/local/memcached-1.4.13/memcached -m 512 -u memcached –d -v -l 10.12.23.37 -p 11211 [-X 11212] replication: listen (master监听)
注:[-X 11212] 这个是可选的,缺省复制监听端口为11212。如果想在一台服务器上启动多个master,[ -X 11212]是必须要加上的 启动slave #/usr/local/memcached-1.4.13/memcached -m 512 -u memcached -d -l 10.12.23.42 -p 11211 -x 10.12.23.37 -X 11212 -v replication: connect (peer=10.12.23.37:11212) replication: marugoto copying replication: listen 测试验证 操作master |
memcached客户端参数配置
#memcached server add,multi servers use , split. #memcached servers' weights #minSpareConnections=5 #maxSpareConnections=250 #maxIdleTime=1000*60*30 #maintThreadSleep=1000*30 #read timeout,3s #no timeout reconnection. #HashingAlg ATIVE_HASH= 0,OLD_COMPAT_HASH =1,NEW_COMPAT_HASH = 2,CONSISTENT_HASH = 3 #close tcp Nagle |
说明:
hashingAlg包括几个常量的含义如下(参考http://bachmozart.iteye.com/blog/211836):
NATIVE_HASH = 0 // native String.hashCode()
OLD_COMPAT_HASH = 1 // original compatibility hashing algorithm (works with other clients)
NEW_COMPAT_HASH = 2 // new CRC32 based compatibility hashing algorithm (works with other clients)
CONSISTENT_HASH = 3 // MD5 Based -- Stops thrashing when a server added or removed
Memcached相关命令
启动memcached
#/usr/local/bin/memcached -d -m 512 -u root -p 11211
Memcached 启动参数:
-d选项是启动一个守护进程;
-m是Memcache的最大内存使用数量,单位是MB,默认是64MB;
-u是运行Memcache的用户;
-l是监听的服务器IP地址;
-p是设置Memcache监听的端口,默认是11211 ;
-c选项是最大运行的并发连接数,默认是1024;
(如果需要设置其他参数,可以用参数-h查看帮助。)
-M return error on memory exhausted (rather than removing items)
-k lock down all paged memory
-v verbose (print errors/warnings while in event loop)
-vv very verbose (also print client commands/reponses)
-h print this help and exit
-i print memcached and libevent license
关闭memcached
方法1:#ps –ef|grep memcached //查看进程id
#kill -9 XXXXX //直接关闭进程
方法2:#killall memcached
登录查看memcached状态
# telnet localhost 11211
stats
STAT pid 3208
STAT uptime 273929
STAT time 1236580409
STAT version 1.2.6
STAT pointer_size 32
STAT rusage_user 0.004000
STAT rusage_system 0.044002
STAT curr_items 34
STAT total_items 97
STAT bytes 4982
STAT curr_connections 3
STAT total_connections 129
STAT connection_structures 8
STAT cmd_get 92 #查询缓存数据的次数
STAT cmd_set 97 #同步到缓存的数据次数
STAT get_hits 72 #缓存命中率的次数
STAT get_misses 20 #丢失命中的次数
STAT evictions 0
STAT bytes_read 13915
STAT bytes_written 9070
STAT limit_maxbytes 536870912
STAT threads 1
END
#quit #退出telnet
memcached记录日志
#memcached -d -m 512 -u root -p 11211 -vv >>logs/memcached.log //注意参数-vv是2个v,不是w