四种缓存的避坑总结

Django基础教程(159)Django缓存框架之缓存机制:Django缓存大法:给你的网站装上“记忆面包”,速度直接起飞! 网站慢得像蜗牛?用户等得想逃跑?Django缓存框架就是你的“网站速度救星”!它好比给你的网站开了个“记忆外挂”,把那些费时费力的计算结果、数据库查询暂时存起来,下次需要时直接“抄近道”,光速响应。本文将用大白话和实战示例,带你深扒Django的几种缓存姿势,从本地内存到高端Redis,教你如何让网站性能原地起飞,告别卡顿! 阅读详情

背景

分布式、缓存、异步和多线程被称为互联网开发的四大法宝。今天我总结一下项目开发中常接触的四种缓存实际项目中遇到过的问题。

JVM 堆内缓存

JVM 堆内缓存因为可以避免 Memcached、Redis 等集中式缓存网络通信故障问题,目前还在项目中广泛使用。

堆内缓存需要注意 GC 的问题。假如我们的设计是定时的从远程来拉取数据更新本地缓存。一定要注意两点:第一不要全量拉取覆盖,第二不要把一个大对象整体替换为新对象。

先说全量拉取覆盖。全量拉取会有很大的网络开销,会造成网络流量尖刺。有人说没事,我们带宽很足,内网访问,不怕不怕。但是稳定性需要修炼的一项是削峰填谷。让系统在平稳的环境中运行。不然,在拉取大缓存新数据的数据突然来了个突发流量?根据墨菲定律,凡是有几率会发生的事情就一定会发生。编程需谨慎。

再说大对象整体替换的问题,这会造成 GC 问题。伪代码如下:

List<POJO> oldList = initList();
public void refresh() {
      List<POJO> newList = dataFromNetworkService.getAll();
      oldList = new List();
      for(POJO pojo : newList) {
          oldList.add(pojo);
      }
}

如果从网上拉取的数据和在缓存里存储的数据,对象类型没有发生改变。引起的转换开销还稍微小点。因为比如对象 POJO 存在一个列表里。这个列表虽然很大,但是里面存的都是对象的引用。实际的 POJO 并没有发生变化。上面伪代码虽然新建一个 List 对象,遍历添加新对象比直接 oldList=newList 要傻些。但是遍历过程实际上 POJO  对象没有发生改变。所以这里影响 GC 的只是 oldList 这个对象(不包括从网络上拉取回来数据的过程)。

但是如果代码这样写:

List<POJO2> oldList = initList();
public void refresh() {
      List<POJO1> newList = dataFromNetworkService.getAll();
      oldList = new List();
      for(POJO2 pojo : newList) {
          oldList.add(Beanutils.copy(new POJO2(), pojo));
      }
}

遍历过程将会将原来的 POJO1 全部新建一遍,这些对象一般情况下全部先进入堆内存的新生代,再经过数次 Young GC 后进入老年代。会造成GC频繁。

我所做过的项目,一般认为一天一到两次 Full GC 为合理值。这样,如果比如预先知道某个时间点有大促,可通过提前触发 GC 等方式避免高峰期爆发 Full GC。Young GC 至少是 5 分钟一次,甚至更久触发认为是正常。这样可以通过控制避过秒杀等场景。

JVM 堆外缓存

堆外缓存的内存回收原理使用的是 Java 的虚引用 。这个设计可以避免 JVM 的 GC 问题,但是处理不好可能会造成更严重的后果:整个机器内存被打满,机器可能会挂掉。 其实挂掉一台在一般企业的生产环境还好,因为一般都会有容灾的冗余机器。 但是更常见的一种情况是机器忙于 swap 内存交换,机器活着但是响应很慢。 属于半死不活。 这个问题我没在线上遇到过,但是我同事之前在超级大厂的时候遇到过。

有的同学说那我严格算好内存,做好监控。这里面要就要依赖人为的因素来做紧急处理。而人是稳定性中最不可靠的。因为问题通常不发生在人清醒、手里事情很少的时候。而是一种雪上加霜的存在。比如大促时,流量上来了,线程数会增多,每个线程都会申请线程栈资源,系统处理 IO,这时候系统会申请更多的 buffers/cached 内存。

Linux 的 buffers/cached

Linux 系统上运行一下 top 命令或者 free 命令,都能够看到 buffers 和 cached 相关的数据。需要注意的是通常我们看到的监控数据空闲内存百分比,并非是下面显示的 free/total,而是 (free+buffers+cached)/total。

buffers 在 Linux 系统中通常被作为与块存储的 IO 缓存使用。所谓块存储可简单理解为将数据直接写到裸磁盘。而 cached 则一般会用于文件系统的 IO 缓存。比如 page cache 这种内存换页功能。

听不明白也没关系,因为事实上它们两个经常配合使用。比如与磁盘交换数据、进行网络通信时都会用。buffers 和 cached 是实实在在被操作系统的系统进程在使用的,但是如果用户进程需要可以很快释放。所以通常会将它算到剩余可用内存里。

但是这个也要注意了。比如在 IO 密集型的系统,如果 buffers/cached 被大幅占用,会降低 IO 速度,进而降低系统吞吐。甚至有可能一个请求几秒才能到达应用程序,造成请求超时。

集中式缓存

Redis 缓存其实也有本机代理,可以缓存一些活跃的数据在本机上,本机可以在取 不 到数据时不需要跨网络通信。但是因为 Redis 本质是 key-value 的结构。如果需要根据通配符取数据全量,如果网络出现故障,可能会影响数据的完整性。

但是 Redis 缓存最让人担心的是不规范的使用方法。比如存一个很大的 value。具体这个对网络和存储造成的问题就不详细说了。可以想象下马桶堵了的情景。

总结

贝尔实验室的面向对象编程专家 Tom Cargill 说:

最初 90% 的开发工作将会用去你最初 90% 的开发时间,剩下的 10% 的开发量将会用去你另外一个 90% 的开发时间。

我理解剩下 10% 占用了 90% 的时间是由于超出了原有知识贮备,需要临时抱佛脚,甚至需要拿着锤子找钉子造成的。所以或者也可以这样做:

每周持续投入 5% 的学习时间,10% 的思考时间,再用 100% 的时间去完成 100% 的开发

从Namesilo到Cloudflare:域名解析搬家全记录,附SSL和缓存设置避坑指南 本文详细记录了从Namesilo迁移到Cloudflare的域名解析全过程,包括DNS记录备份、TTL调整、SSL证书配置和缓存策略优化等关键步骤。特别提供了SSL/TLS模式选择建议和缓存规则设置技巧,帮助用户避免常见陷阱,实现无缝迁移和性能提升。 阅读详情

相关推荐

Android WebView缓存清理全攻略:从原理到实战场景解析

在移动应用开发中,缓存机制是提升用户体验的关键技术之一,它通过存储网络资源减少重复请求,从而加快页面加载速度并节省流量。其核心原理基于HTTP协议规范,如Cache-Control头部,控制资源的存储与过期策略。从技术价值看,合理的缓存管理能显著优化应用性能,但不当的缓存也易引发资源更新延迟、页面显示异常等问题。尤其在Android平台的WebView组件中,缓存涉及网页缓存、DOM Storage、IndexedDB等多种类型,需针对不同场景选择清理策略。本文聚焦Android WebView缓存清理,深

weixin_28692153的博客 260

Python缓存选LRU还是TTL?结合Flask/Django项目聊聊cachetools的四种策略怎么选

本文深入探讨了Python中cachetools提供的四种缓存策略(LRU、MRU、FIFO、TTL)在Flask/Django项目中的实际应用。通过对比分析各策略的性能特点和适用场景,帮助开发者根据数据特性和访问模式科学选择缓存方案,有效提升程序性能。文章还提供了Web框架集成实践和高级优化技巧,包括缓存穿透防护和内存监控方案。

weixin_33736048的博客 557

嵌入式GUI字体渲染:emWin四种格式原理、选型与实战优化

在嵌入式系统开发中,图形用户界面(GUI)的字体渲染是影响用户体验和系统性能的关键环节。其核心原理在于如何在有限的存储空间、访问速度和显示效果之间取得平衡。不同的字体格式(如位图字体和矢量字体)正是基于这一权衡而设计的,它们各自的技术价值体现在对ROM、RAM及CPU资源的差异化占用上。位图字体(如C文件、SIF、XBF格式)通过预渲染的像素矩阵实现快速访问,适合资源受限场景;而矢量字体(如TTF格式)则通过数学轮廓描述支持无损缩放,适用于对显示质量和灵活性要求高的应用。在嵌入式GUI开发实践中,开发者常面

420

服务容错设计:流量控制、服务熔断、服务降级

单体应用的故障影响面很大,而分布式系统中由于故障的影响面可以被隔离,所以影响面较小,但是因为服务多,出故障的频率也很多。不过我们需要明白:出现故障不可怕,故障影响面过大才可怕;出现故障不可怕,故障恢复时间过长才可怕。所谓 “防火胜于救火”,所以我们更要考虑如何进行防火,这就要求我们在设计或者运维时都要为可能发生的故障考虑,即所谓 “Design for Failure”,面向失败设计,在设计时要考虑如何减轻故障。而容错设计就是面向失败设计一个非常重要的环节,常见的容错设计有:流量控制、服务熔断、服务降级

张维鹏的博客 1万+

别再用UE5默认材质:用Substance Painter一招提升写实感

今天,我就把这套从模型准备到引擎最终呈现的全流程技巧毫无保留地分享出来,这套方法不仅能让你的作品细节炸裂,更能让你理解次世代PBR(Physically Based Rendering)材质的底层逻辑。

海外旅居设计师,15年设计经验。 1329

电力电子技术(13)——大功率可控整流电路

目录引言2.6.1 带平衡电抗器的双反星形可控整流电路电路结构的特点接平衡电抗器的原因平衡电抗器使得两组三相半波整流电路同时导电的原理分析谐波分析2.6.2 多重化整流电路概述原理目标1)移相多重联结2)多重联结电路的顺序控制3重晶闸管整流桥顺序控制带平衡电抗器的双反星形可控整流电路(是多重化整流电路的重要形式之一)的特点:适用于低电压、大电流的场合。多重化整流电路的特点:绕组的极性相反的目的:消除直流磁通势如图所示,虽然两组相电流的瞬时值不同,但是平均电流相等而绕组的极性相反,所以直流安匝(电流*匝数)互

weixin_45589295的博客 1万+

常用限流方案的设计和实现

 为了保证在业务高峰期,线上系统也能保证一定的弹性和稳定性,最有效的方案就是进行服务降级了,而限流就是降级系统最常采用的方案之一。   限流即流量限制,或者高大上一点,叫做流量整形,限流的目的是在遇到流量高峰期或者流量突增(流量尖刺)时,把流量速率限制在系统所能接受的合理范围之内,不至于让系统被高流量击垮。   其实,服务降级系统中的限流并没有我们想象的那么简单,第一,限流方案必须是可...

大步流星 1107

【SystemVerilog笔记(一)】数据类型

(一)内建数据类型 1.按照四值逻辑和二值逻辑分类 四值逻辑类型:integer、logic、reg、wire等线网类型 二值逻辑类型:byte、shortint、int、longint、bit 2.按照有符号和无符号分类 有符号类型:byte、shortint、int、longint、integer 无符号类型:bit、logic、reg、wire等线网类型 ※记忆:按位定义的变量是无符号的。 (二)软件常用类型 1.定宽数组 在这里插入代码片 ...

cc__cc__的博客 1万+

堆外内存(直接内存)

direct缓冲区最适合IO,但是可能创建更加耗时。direct缓冲区使用的内存,绕过了JVM堆,通过本地代码调用分配。创建和销毁都要比驻留在JVM堆里的缓冲区更加耗时(依赖于操作系统和JVM实现)。direct缓冲区使用的内存不受垃圾收集的控制,因为它们在JVM堆的外部。

wwhhff11 1万+

用户和实体行为分析(UEBA)基础指南及解决方案

用户和实体行为分析(UEBA)或异常检测是一种网络安全技术,它使用机器学习(ML)算法来检测网络中用户、主机和其他实体的异常活动。

ITmoster的博客 2894

python中视觉检测怎么将多个面拍照的图片合成一个3d图像,用什么技术或者什么模型?

🏆本文收录于 《全栈Bug调优(实战版)》 专栏,该专栏专注于分享我在真实项目开发中遇到的各类疑难Bug及其深层成因,并系统提供高效、可复现的解决思路和实操方案。无论你是刚入行的新手开发者,还是拥有多年项目经验的资深工程师,本专栏都将为你提供一条系统化、高质量的问题排查与优化路径,助力你加速成长,攻克技术壁垒,迈向技术价值最大化与职业发展的更高峰🚀!

**My Coding Family** 710

四种缓存的避坑方式

四种缓存的避坑方式 背景 分布式、缓存、异步和多线程被称为互联网开发的四大法宝。今天我总结一下项目开发中常接触的四种缓存实际项目中遇到过的问题。 JVM堆内缓存 JVM堆内缓存因为可以避免memcache、redis等集中式缓存网络通信故障问题,目前还在项目中广泛使用。 堆内缓存需要注意GC的问题。假如我们的设计是定时的从远程来拉取数据更新本地缓存。一定要注意两点:第一不要全量拉取覆盖,第二不要把一个大对象整体替换为新对象。 先说全量拉取覆盖。全量拉取会有很大的网络开销,会造成网络流量尖刺。有人说没事,我们

zjl2556613244的博客 228

银河麒麟V10等保加固清单:安全基线配置一篇搞定(附逐项检查表)

通过限制使用SSH直接以root身份登录,禁用公钥登录的方式加强SSH服务的安全性。更改SSH默认端口可在一定程度上防止被黑客使用大批量扫描方式攻击。通过修改SSH的配置文件限制可以使用SSH服务远程管理的主机。

信创运维工程师 · 银河麒麟 & 容器实战 | 金融生产环境迁移·等保加固 | 142篇原创·17万+阅读 822

Redis100篇 - Redis缓存雪崩怎么复现 排查+解决全流程

Redis缓存雪崩复现与解决方案 摘要:本文通过实战演示Redis缓存雪崩现象,分析其危害并提供解决方案。文章首先区分了缓存穿透、击穿和雪崩的概念,随后通过Spring Boot+Redis构建实验环境,模拟10,000个缓存Key同时过期的场景。使用JMeter压测工具触发雪崩后,观察到数据库查询暴增的现象。最后提出4种工业级解决方案:随机TTL、多级缓存、熔断降级和预热机制。文章包含完整的代码示例和Mermaid流程图,为开发者提供了一套可落地的缓存雪崩防护方案。 (149字) 关键词:Redis、缓存

千淘万漉虽辛苦,吹尽狂沙始到金 2万+

手把手保姆级|Python爬取微信公众号文章完整版,反反爬策略拉满,附可运行完整代码(永久可用)

做Python爬虫的朋友都知道,爬取微信公众号文章 绝对是爬虫领域的「香饽饽」也是「硬骨头」。一方面,微信公众号的文章是极具价值的数据源:不管是自媒体从业者做竞品分析、新媒体运营者整理干货、还是个人学习收集资料,都需要批量爬取公众号文章;另一方面,微信的反爬机制堪称全网最严苛之一 ——腾讯对微信生态的风控做到了极致,动态渲染页面、高频IP封禁、Cookie短时效失效、请求头严格校验、自动化工具秒识别、频繁请求直接拉黑,这些反爬手段让90%的爬虫新手望而却步:要么爬了几篇就被封IP,要么Cookie失效爬取中

专注于Python爬虫开发,分享爬虫技巧、项目实战与反爬经验,使用Scrapy、BeautifulSoup等工具,解决数据抓取难题。 2636

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

Anaconda Prompt安装失败问题解析:verifying transaction failed的解决方案与避坑指南

基于火山引擎豆包大模型,从零搭建一个实时语音通话应用。它不是简单的问答,而是需要你亲手打通 ASR(语音识别)→ LLM(大脑思考)→ TTS(语音合成)的完整 WebSocket 链路。对于想要掌握 AI 原生应用架构的同学来说,这是个绝佳的练手项目。架构理解:掌握实时语音应用的完整技术链路(ASR→LLM→TTS)技能提升:学会申请、配置与调用火山引擎AI服务定制能力:通过代码修改自定义角色性格与音色,实现“从使用到创造”从0到1构建生产级别应用,脱离Demo,点击打开。

2600_94960149的博客 393

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

家用NAS性能翻倍!手把手教你用SSD给机械硬盘加速(附bcache配置避坑指南)

本文详细介绍了如何利用Linux内核的bcache技术,通过SSD为家用NAS的机械硬盘创建智能缓存层,从而实现性能的显著提升。文章提供了从硬件准备、bcache配置、缓存模式选择到XFS文件系统创建与持久化设置的完整实战指南,并附有性能调优参数与常见故障排查方法,帮助用户以低成本实现存储速度与容量的理想平衡。

m2n3o4p5的博客 321

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

本地缓存方案选择指南:volatile、ConcurrentHashMap、Caffeine 怎么选?

Java后端开发中,本地缓存是提升性能的有效手段,尤其适合读多写少、变更频率低的数据场景。本文介绍了四种本地缓存方案,重点分析了两种基于volatile的实现: volatile变量方案:轻量级但存在原子性问题,适合缓存单个简单值 volatile+不可变对象封装方案:通过不可变对象保证原子性,无锁且线程安全,是推荐做法 本地缓存相比Redis优势在于纳秒级读取速度和零网络开销,适合配置信息、字典数据等场景。选择方案时需权衡原子性、复杂度和性能需求,对于简单场景甚至无需引入第三方缓存库。

Good good study,day day up 221

C语言二维数组传参:内存模型、四种方式与实战避坑指南

在C语言编程中,数组作为函数参数传递是一个核心概念,其本质涉及指针与内存布局的深入理解。数组名在大多数表达式中会退化为指向其首元素的指针,这一原理是理解多维数组传参的关键。掌握正确的传参方式,不仅能提升代码的健壮性,还能优化程序性能,避免内存访问越界等严重错误。在实际工程中,尤其是在嵌入式开发、图像处理、高性能计算等应用场景,根据数据是否连续、维度是否固定等因素,合理选择传参策略至关重要。本文深入剖析了二维数组传参的四种经典方式,包括形参为二维数组、数组指针、指针的指针以及扁平化的一维数组指针,并结合内存模

weixin_32576389的博客 244

DELL服务器RAID配置避坑指南:RAID0/1/5/10到底怎么选?看完这篇再动手

本文详细解析DELL服务器RAID配置中的关键选择,涵盖RAID0/1/5/10的性能对比、适用场景及优化技巧。通过实测数据和业务场景分析,帮助用户避开常见配置陷阱,提升存储架构的效率和安全性,特别适合企业IT管理员和服务器运维人员参考。

weixin_33416697的博客 309

Easy-Es实战:5分钟搞定商品搜索与推荐系统(含嵌套聚合避坑指南)

本文详细介绍了如何使用Easy-Es快速构建高并发的商品搜索与推荐系统。通过对比传统Elasticsearch API,展示Easy-Es在开发效率、查询简化及智能索引管理方面的优势,并提供从环境配置到性能优化的完整实战指南,帮助开发者5分钟内搭建核心搜索框架。特别包含嵌套聚合等复杂场景的避坑方案,适用于电商平台的高效检索需求。

weixin_33739646的博客 319

STM32 SPI实战:从模式配置到DMA传输的深度解析与避坑指南

SPI(串行外设接口)是一种高速、全双工的同步串行通信协议,广泛应用于微控制器与传感器、存储器、显示屏等外设的连接。其核心原理基于主从架构,通过时钟线(SCK)、数据输入线(MISO)、数据输出线(MOSI)和片选线(CS)实现数据交换。理解时钟极性(CPOL)与时钟相位(CPHA)构成的四种工作模式,是确保主从设备数据同步采样的技术关键。该协议的价值在于提供了一种简单高效的板级互联方案,尤其适合对传输速率和实时性有要求的场景,如读取Flash芯片或驱动高刷新率屏幕。在嵌入式工程实践中,基于STM32等MC

weixin_29171129的博客 320
上一篇: Docker笔记:Docker网络知识介绍
下一篇: java中使用interrupt通知线程停止
java小姜在线冲
博客等级 码龄4年 53粉丝 137原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值