Memcached深入了解

本文深入探讨Memcached的工作原理,包括其支持高并发的机制、Slab分配算法、数据存储限制及过期策略,并介绍了分布式布置方案,如普通Hash分布与一致性Hash分布的特点。

Memcached深入了解

Memcached如何支持高并发

  • Memcached使用多路复用I/O模型。
  • Memcached使用多线程模式。

Memcached的Slab分配算法

Memchached默认储存不大于1MB的数据,这是因为在储存数据的时候使用了Slab内存分配算法。(修改源码中的POW_BLOCK宏设置的更大就可以)。

Slab算法把每一1MB的内存称为Slab页

Slab页面通过分割算法再分割成不同大小的chunk块,chunk块有不同规格,不同的chunk之间大小以1.25递增。因为最大的chunk为1MB,所以Memcached最大储存1MB数据。

Memcached删除过期item

Memcached删除过期item是惰性删除(2017-7-22版本中变成了TTL加LRU删除)。这种删除方式提高了CPU的利用率。

Memcached多线程模型

Memcached为多线程服务器,线程分为主线程和工作线程。模型如下

Memcached分布式布置方案

有普通Hash分布和一致性Hash分布。

普通Hash分布

通过md5吧key处理成一个32位字符串,取前8位,再经过Hash算法处理成一个证书并返回。然后映射到Memcached服务器上。

缺点:在服务器数量不发生改变的时候,可以很好的工作,但是当服务器数量发生改变的时候,比如增加一台服务器,用同一个key经过Hash与服务器数量没变话的时候会有很大不同,这就导致了之前保存的数据的丢失。

一致性Hash分布

  1. 将一个32位整数想象成一个环,把他连接起来。
  2. 通过Hash函数把Key处理成整数。
  3. 把服务器的ip经过Hash算法处理后映射到环上。
  4. 沿着key的位置顺时针方向遇到的第一个就是这个键值对的储存服务器。
  5. 如果其中一个服务器崩溃了,那么受影响的只有从它逆时针上一个服务器到他本身的圆环上的数据收到影响。
标题基于Python的汽车之家网站舆情分析系统研究AI更换标题第1章引言阐述汽车之家网站舆情分析的研究背景、意义、国内外研究现状、论文方法及创新点。1.1研究背景与意义说明汽车之家网站舆情分析对汽车行业及消费者的重要性。1.2国内外研究现状概述国内外在汽车舆情分析领域的研究进展与成果。1.3论文方法及创新点介绍本文采用的研究方法及相较于前人的创新之处。第2章相关理论总结和评述舆情分析、Python编程及网络爬虫相关理论。2.1舆情分析理论阐述舆情分析的基本概念、流程及关键技术。2.2Python编程基础介绍Python语言特点及其在数据分析中的应用。2.3网络爬虫技术说明网络爬虫的原理及在舆情数据收集中的应用。第3章系统设计详细描述基于Python的汽车之家网站舆情分析系统的设计方案。3.1系统架构设计给出系统的整体架构,包括数据收集、处理、分析及展示模块。3.2数据收集模块设计介绍如何利用网络爬虫技术收集汽车之家网站的舆情数据。3.3数据处理与分析模块设计阐述数据处理流程及舆情分析算法的选择与实现。第4章系统实现与测试介绍系统的实现过程及测试方法,确保系统稳定可靠。4.1系统实现环境列出系统实现所需的软件、硬件环境及开发工具。4.2系统实现过程详细描述系统各模块的实现步骤及代码实现细节。4.3系统测试方法介绍系统测试的方法、测试用例及测试结果分析。第5章研究结果与分析呈现系统运行结果,分析舆情数据,提出见解。5.1舆情数据可视化展示通过图表等形式展示舆情数据的分布、趋势等特征。5.2舆情分析结果解读对舆情分析结果进行解读,提出对汽车行业的见解。5.3对比方法分析将本系统与其他舆情分析系统进行对比,分析优劣。第6章结论与展望总结研究成果,提出未来研究方向。6.1研究结论概括本文的主要研究成果及对汽车之家网站舆情分析的贡献。6.2展望指出系统存在的不足及未来改进方向,展望舆情
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值