大型互联网站的7 种武器-Cache

本文整理了大型互联网站常用的7种技术武器,包括本地缓存和远程缓存(如OsCache与Memcached)的详细用法和特性。介绍了本地缓存的API、永久缓存、集群支持、过期策略等特性,以及远程缓存Memcached的协议、内存管理、分布式算法等内容。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

这是之前参加的一个互联网架构培训的笔记,整理出来,方便使用。

 

大型互联网站的7种武器

 

  一、Cache

 

分为本地 cache OsCache )与远程cache Memcached )。

 

 

1.本地cache OsCache

 

   缓存任何对象:可以不受限制的缓存部分jsp页面或HTTP请求,任何java对象都可以缓存。

   拥有全面的APIOSCache API允许你通过编程的方式来控制所有的OSCache 特性。

  永久缓存:缓存能被配置写入硬盘,因此允许在应用服务器的多次生命周期间缓存创建开销昂贵的数据。

  支持集群:集群缓存数据能被单个的进行参数配置,不需要修改代码。

  缓存过期:你可以有最大限度的控制缓存对象的过期,包括可插入式的刷新策略(如果默认性能不能满足需要时)

OsCache组件模型

 

OsCache页面片段缓存

要缓存一个从数据源的 A 表取数据的 JSP 内容段

<oscache:cache key="foobar"scope="application" time="-1"groups="group1" >

//business code

Select * from table A and Display

</oscache:cache>

 

数据源更新了,在处理数据更新事件的代码中,加入代码:

OSCacheUtil.getInstance().flushGroup("group1");

 

2.远程cache Memcached

特点

协议简单

基于libevent的事件处理

内置内存存储方式

memcached不互相通信的分布式特点

 

Memcached访问模型

 

Memcached协议

通讯:memcached 的客户端使用TCP 链接与服务器通讯。( UDP接口也同样有效)

Key:存储在memcached中的数据通过键值来标识。客户端与服务器端都必须是唯一的。

命令:存储命令(setaddrepalce)指示服务器储存一些由键值标识的数据。取回命令(只有一项:‘get’)指示服务器返回与所给键值相符合的数据。

时间参数:一些客户端发送给服务器的命令会包含一些时限(针对内容或客户端请求的操作)。

 

Memcached内存管理

memcached中保存的数据都存储在memcached内置的内存存储空间中。重启memcached、重启操作系统会导致全部数据消失。

内容容量不足时,就基于LRU(LeastRecently Used)算法自动删除部分内存。

memcache采用Slab Allocation的内存管理方式:将分配的内存分割成各种尺寸的块(chunk ),并把尺寸相同的块分成组(chunk的集合)。

 

memcached的分布式

 

Memcached分布算法-余数 Hash

根据服务器台数的余数进行分散,求得键的整数哈希值,再除以服务器台数,根据其余数来选择服务器。

当选择的服务器无法连接时,将连接次数添加到键之后,再次计算哈希值并尝试连接。这个动作称为rehash

当添加或移除服务器时,余数就会产生巨变,这样就无法获取与保存时相同的服务器,从而影响缓存的命中率。

 

Memcached分布算法-Consistent Hashing

首先求出memcached服务器(节点)的哈希值,并将其配置到0232的圆(continuum)上。然后用同样的方法求出存储数据的键的哈希值,并映射到圆上。然后从数据映射到的位置开始顺时针查找,将数据保存到找到的第一个服务器。

标题基于SpringBoot+Vue的学生交流互助平台研究AI更换标题第1章引言介绍学生交流互助平台的研究背景、意义、现状、方法与创新点。1.1研究背景与意义分析学生交流互助平台在当前教育环境下的需求及其重要性。1.2国内外研究现状综述国内外在学生交流互助平台方面的研究进展与实践应用。1.3研究方法与创新点概述本研究采用的方法论、技术路线及预期的创新成果。第2章相关理论阐述SpringBoot与Vue框架的理论基础及在学生交流互助平台中的应用。2.1SpringBoot框架概述介绍SpringBoot框架的核心思想、特点及优势。2.2Vue框架概述阐述Vue框架的基本原理、组件化开发思想及与前端的交互机制。2.3SpringBoot与Vue的整合应用探讨SpringBoot与Vue在学生交流互助平台中的整合方式及优势。第3章平台需求分析深入分析学生交流互助平台的功能需求、非功能需求及用户体验要求。3.1功能需求分析详细阐述平台的各项功能需求,如用户管理、信息交流、互助学习等。3.2非功能需求分析对平台的性能、安全性、可扩展性等非功能需求进行分析。3.3用户体验要求从用户角度出发,提出平台在易用性、美观性等方面的要求。第4章平台设计与实现具体描述学生交流互助平台的架构设计、功能实现及前后端交互细节。4.1平台架构设计给出平台的整体架构设计,包括前后端分离、微服务架构等思想的应用。4.2功能模块实现详细阐述各个功能模块的实现过程,如用户登录注册、信息发布与查看、在线交流等。4.3前后端交互细节介绍前后端数据交互的方式、接口设计及数据传输过程中的安全问题。第5章平台测试与优化对平台进行全面的测试,发现并解决潜在问题,同时进行优化以提高性能。5.1测试环境与方案介绍测试环境的搭建及所采用的测试方案,包括单元测试、集成测试等。5.2测试结果分析对测试结果进行详细分析,找出问题的根源并
内容概要:本文详细介绍了一个基于灰狼优化算法(GWO)优化的卷积双向长短期记忆神经网络(CNN-BiLSTM)融合注意力机制的多变量多步时间序列预测项目。该项目旨在解决传统时序预测方法难以捕捉非线性、复杂时序依赖关系的问题,通过融合CNN的空间特征提取、BiLSTM的时序建模能力及注意力机制的动态权重调节能力,实现对多变量多步时间序列的精准预测。项目不仅涵盖了数据预处理、模型构建与训练、性能评估,还包括了GUI界面的设计与实现。此外,文章还讨论了模型的部署、应用领域及其未来改进方向。 适合人群:具备一定编程基础,特别是对深度学习、时间序列预测及优化算法有一定了解的研发人员和数据科学家。 使用场景及目标:①用于智能电网负荷预测、金融市场多资产价格预测、环境气象多参数预报、智能制造设备状态监测与预测维护、交通流量预测与智慧交通管理、医疗健康多指标预测等领域;②提升多变量多步时间序列预测精度,优化资源调度和风险管控;③实现自动化超参数优化,降低人工调参成本,提高模型训练效率;④增强模型对复杂时序数据特征的学习能力,促进智能决策支持应用。 阅读建议:此资源不仅提供了详细的代码实现和模型架构解析,还深入探讨了模型优化和实际应用中的挑战与解决方案。因此,在学习过程中,建议结合理论与实践,逐步理解各个模块的功能和实现细节,并尝试在自己的项目中应用这些技术和方法。同时,注意数据预处理的重要性,合理设置模型参数与网络结构,控制多步预测误差传播,防范过拟合,规划计算资源与训练时间,关注模型的可解释性和透明度,以及持续更新与迭代模型,以适应数据分布的变化。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值