哈?Redis百万数据为何上生产后凭空消失?恍然大悟了

从OOM Killer到代码优化:一次由Memory cgroup引发的全链路Java应用性能诊断实战 本文详细记录了一次由Memory cgroup引发的Java应用性能诊断实战。从OOM Killer的首次警告出发,通过分析dmesg日志、GC日志和jstack线程堆栈,揭示了内存泄漏和数据库锁等深层问题。最终利用jvisualvm工具定位到集合滥用和字符串冗余等代码缺陷,提出全链路优化方案,包括架构改造、中间件调优和代码重构。 阅读详情

为何不见了?

先来说说场景:

项目在上生产之前,我们已经把所需要的数据提前加入到redis当中,因为在生产环境中,rbd和aof持久化是需要两个同时打开的,而redis默认只打开了rbd。

为啥要两个都打开呀?

rdb 丢失数据较多,但是在恢复数据比较快,aof 丢失的数据较少,但是恢复慢。 所以,在生产环境,一般都会全部打开。

怎么丢失的?

我们在转移到生产服务器上之后,就要检查和修改各项配置,而redis就是其中一个。由于redis.conf文件默认只开启了rbd持久化,需要把aof持久化打开。

问题就是出在这里,在测试环境上,所用的持久化方式都是rdb,然后直接通过redis.conf配置文件把aof打开,那么,在redis启动的时候,会去加载aof文件,从而不会加载rbd文件,最后结果就是rbd数据没有被加载,导致数据丢失的假象。

来看演示:

现在我们有一台redis,只开启了rbd持久化,并且有少量的数据,这个时候一切都正常。

哈?Redis百万数据为何上生产后凭空消失?恍然大悟了

 

现在通过redis.conf文件来开启aof持久化配置,并且重新启动redis:

哈?Redis百万数据为何上生产后凭空消失?恍然大悟了

 

然后我们再来看下redis中的数据量有多少:

哈?Redis百万数据为何上生产后凭空消失?恍然大悟了

 

虽然数据量是0,但是并不代表数据就丢失了,数据还是之前rbd持久化文件当中,只是多了一个aof文件。

哈?Redis百万数据为何上生产后凭空消失?恍然大悟了

 

正确的处理方式

1、首先我们需要先把redis.conf文件中的aof关闭掉。

2、启动redis,然后通过命令的方式,打开aof持久化配置。(因为是通过rdb持久化方式启动的redis,数据已经加载到内存当中,通过命令的方式打开aof,aof会去持久化当前内存中的数据)

3、最后再把redis.conf文件的中的aof打开,因为通过命令去修改配置文件,只是本次有效,下一次就失效了。

哈?Redis百万数据为何上生产后凭空消失?恍然大悟了

Web开发中的数据库实战:从请求链路到性能优化 数据库是Web应用的数据中枢,其核心价值在于支撑HTTP请求-响应周期中的可靠读写。理解数据库在反向代理、应用层、数据访问层之间的协作机制,掌握连接池管理、索引设计、事务隔离与查询优化等关键技术,能显著提升系统吞吐与稳定性。尤其在高并发场景下,合理选型关系型与非关系型数据库、规避SQL注入与字符集乱码、通过EXPLAIN分析执行计划,已成为现代Web工程师的必备能力。本文聚焦真实开发现场,覆盖从用户登录请求到订单落库的完整数据通路,直击连接池耗尽、主从延迟、慢查询等高频故障。 阅读详情

相关推荐

Linux并发编程:从互斥锁到分布式锁的实战指南

并发控制是构建高可靠、高性能软件系统的核心基础,其核心原理在于通过同步原语协调多线程或多进程对共享资源的访问,确保数据一致性。在Linux系统编程中,锁是实现这一目标的关键技术,它通过互斥机制将非原子的“读-改-写”操作序列化,从而解决竞态条件问题。从技术价值看,合理运用锁能有效提升系统吞吐量、避免数据损坏,是开发后台服务、分布式系统等高性能应用的基石。其应用场景广泛,涵盖从单机多线程环境下的内存变量保护,到分布式微服务架构中的全局资源协调。本文将聚焦于Linux下最核心的锁机制,深入剖析互斥锁、自旋锁、读

weixin_31742871的博客 324

笔记本如何加装内存条

启动集群,再也不怕电脑会卡啦

xiaoliuxxs 2579

MongoDB博客数据建模实战:嵌入、引用与桶模式选型指南

MongoDB 数据建模本质是围绕查询路径优化文档结构,而非简单映射关系表。其核心原理在于利用 WiredTiger 引擎的文档级 I/O 特性,将高频共读字段物理聚簇以实现单次加载、毫秒响应;同时必须敬畏 16MB 文档边界与数组膨胀风险。技术价值体现在显著降低查询延迟、减少网络往返与内存开销,支撑高并发内容场景。典型应用场景包括个人博客、技术社区、CMS 系统等以读多写少、强展示逻辑为特征的内容型应用。本文聚焦真实工程约束,深入解析嵌入(Embedding)、引用(Referencing)与桶模式(Bu

weixin_33754065的博客 378

记一次redis缓存被莫名删除

用户反馈token总是很快失效,token是由redis保存的,有效期一小时,而且历史版本中没出现过类似的问题,所以花了点时间排查了一下。 首先,检查登录后token是否正常生成,根据对应的缓存key获取到生成的token,检查发现正常 然后,检查token什么时候消失,用ttl key的方式一直查询token的有效期,发现有效期是正常的一个小时,但是在很短时间内token就被删除了   ...

f_fanatic的博客 6787

Gemini 3.5 Flash实战指南:长上下文与多模态工作流重构

长上下文大模型不是单纯扩大token容量,而是对AI工程范式的根本性升级。其核心原理在于结构化语义理解与跨模态信息对齐,技术价值体现在降低推理成本、提升关键实体召回率与增强结果可信度。典型应用场景包括企业知识库问答、工业质检报告生成、合同智能审核及多源异构数据融合分析。本文聚焦Gemini 3.5 Flash在真实生产环境中的落地逻辑,深入解析上下文缓存优化、四层动态过滤器架构、隐藏参数调优(如response_mime_type与tools)等关键技术实践,帮助开发者跨越从Demo到高可用服务的关键鸿沟。

weixin_30776545的博客 416

MiniMax M2.7自监督预训练循环:AI自主迭代训练范式解析

自监督学习是大模型摆脱标注依赖、实现持续进化的关键技术路径。其核心原理在于构建数据—模型—反馈的闭环优化机制,通过合成数据生成、动态质量评估与梯度感知参数更新,将训练从静态批处理转向流式自治。该技术显著降低高质量语料获取成本与人工反馈延迟,提升模型在医疗问答、金融分析等垂直场景的泛化性与事实一致性。MiniMax M2.7正是这一范式的工程化落地代表,它首次将PromptOptimizer、DataQualityScorer和AdaptiveStepScheduler深度耦合,支持轻量级私有部署与多轮自蒸馏

cuxiong8996的博客 463

Redis数据“丢失”问题

from: https://zhuoroger.github.io/2016/08/14/redis-data-loss/?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io?ref=myread Redis数据“丢失”问题 发表于 2016-08-14   |   分类于 Redis   |   17条评论  

凌风探梅的专栏 1万+

ABA分析方法 — 软硬件开发必备的一种分析问题绝佳套路

可能你从很多地方听过这个名词,无论是在软件开发还是硬件领域(比较典型的领域:汽车、消费电子、医疗等行业),ABA验证都是一种快速分析故障的一个方法,第一次听到这个词,当时是不是一脸懵逼,本文就深度带你了解下ABA的分析方法。简要概述就是:怀疑A模块导致系统故障,将B模块替换A模块,故障消失,再将A模块替换回来,故障复现,则说明A模块是导致系统故障的原因其实,ABA分析问题,可能很多人在工作中都或多或少用过这个方法,只是没有这个概念,说明白了就是控制变量和对比验证,没什么高大上的东西。

Eureka1024的博客 7360

开启启动redis_哈?Redis百万数据为何上生产后凭空消失?恍然大悟了

为何不见了?先来说说场景:项目在上生产之前,我们已经把所需要的数据提前加入到redis当中,因为在生产环境中,rbd和aof持久化是需要两个同时打开的,而redis默认只打开了rbd。为啥要两个都打开呀?rdb 丢失数据较多,但是在恢复数据比较快,aof 丢失的数据较少,但是恢复慢。 所以,在生产环境,一般都会全部打开。怎么丢失的?我们在转移到生产服务器上之后,就要检查和修改各项配置,而redis...

weixin_28738397的博客 131

Comsol 弧形声学换能器声聚焦仿真

1. 弧度和曲率半径:弧形声学换能器的形状和曲率半径对声聚焦效果有重要影响。通常,较小的曲率半径和较大的弧度可以实现更强的声聚焦效果。弧形声学换能器声聚焦是指将声波能量集中在弧形声学换能器的特定区域内,以实现更强的声场强度和分辨率。4. 数值仿真和优化:使用声学仿真软件进行数值仿真可以帮助设计和优化弧形声学换能器的声聚焦效果。通过调整几何参数、材料特性和激励信号等参数,可以模拟和优化声聚焦效果。2. 激励信号:通过调整激励信号的频率和幅值,可以实现声波在弧形声学换能器中的聚焦效果。

声学黑洞仿真工作室 1619

STM32实现webserver显示数据及配置参数

其实提到的将fsdata.c重命名为fsdata_custom.c,可以不重命令,将/LWIP/Target/lwipopts.h中HTTPD_USE_CUSTOM_FSDATA 定义为0,这样HTTPD_FSDATA_FILE将使用fsdata.c,避免每次生成fsdata.c需要重命令的麻烦。2、登录成功后,板卡根据板卡配置类型,返回对应的数据页面,该页面可实现数据校准、清零,以及进行到板卡参数设置页面。目前还未实现post功能以及http身份验证功能。3、板卡参数设置页面。

2695

redis 重新加载_哈?Redis百万数据为何上生产后凭空消失?恍然大悟了

为何不见了?先来说说场景:项目在上生产之前,我们已经把所需要的数据提前加入到redis当中,因为在生产环境中,rbd和aof持久化是需要两个同时打开的,而redis默认只打开了rbd。为啥要两个都打开呀?rdb 丢失数据较多,但是在恢复数据比较快,aof 丢失的数据较少,但是恢复慢。 所以,在生产环境,一般都会全部打开。怎么丢失的?我们在转移到生产服务器上之后,就要检查和修改各项配置,而redis...

weixin_42517607的博客 197

图解目标检测 之 YOLO 算法 最全原理详解

YOLO 一.背景 YOLO(You Only Look Once: Unified, Real-Time Object Detection),是Joseph Redmon和Ali Farhadi等人于2015年提出的基于单个神经网络的目标检测系统。在2017年CVPR上,Joseph Redmon和Ali Farhadi又发表的YOLO 2,进一步提高了检测的精度和速度。 二.YOLO算法的网...

DFCED的博客 26万+

Redis百万数据为何上生产后凭空消失?

一、引言 嘿嘿,年底写博客冲个业绩,今年博客之星都要求发文20篇以上才有资格参加,然后小编看了下今年发文章数量。 居然才16篇,啧啧啧,今年只为了追求质量,咱们就不追求数量了~~~~~ 二、为何不见了? 先来说说场景: 项目在上生产之前,我们已经把所需要的数据提前加入到redis当中,因为在生产环境中,rbd和aof持久化是需要两个同时打开的,而redis默认只打开了rbd。 为啥要两个都打开呀? rdb 丢失数据较多,但是在恢复数据比较快,aof 丢失的数据较少,但是恢复慢。 所以,在生

贱男 862

Multisim14.0仿真应用设计(十六)74LS138译码器应用仿真

74LS138为3线-8线译码器。

zhusl6688的博客 2983

AIGC游戏开发:如何评估生成内容的玩家满意度?

如何量化评估生成内容对玩家体验的影响?本文聚焦AIGC生成的游戏内容(包括但不限于剧情、关卡、NPC对话、道具),系统探讨玩家满意度的评估方法论,覆盖主观与客观评估、静态与动态内容、短期与长期体验等场景。核心概念:定义AIGC与玩家满意度的关联维度;评估方法:主观(问卷/访谈)与客观(行为/生理数据)评估的技术细节;数学模型:构建多指标融合的评估模型;实战案例:以AIGC生成关卡为例,演示从数据采集到模型落地的全流程;工具资源:推荐数据采集、分析与建模的工具链;

AI天才研究院 1225

深入解析Spring Session分布式会话管理:从HTTP无状态到Redis存储实战

在Web开发中,HTTP协议的无状态特性是构建交互式应用的基础挑战,会话(Session)机制正是为了解决这一问题而诞生。其核心原理是通过服务端生成唯一Session ID并与客户端Cookie关联,从而在多次请求间维持用户状态。随着应用架构演进至分布式与微服务,传统的服务器内存存储方案面临扩展性瓶颈,此时将会话状态外置到共享存储成为关键技术方向。Spring Session作为主流解决方案,通过过滤器拦截并替换原生HttpSession实现,将会话数据持久化至Redis等外部存储,实现了应用实例的无状态化

weixin_33882452的博客 379

19、英国模式:银行体系的演变与现代金融架构

本文深入探讨了英国银行体系从专业化向全能银行的演变过程,分析了自律监管模式的优劣,并解析了围栏制度对金融稳定的影响。同时,文章还介绍了信用合作社、建筑协会和投资银行的角色与转型,全面展示了英国金融体系的多样性与复杂性,以及其在全球金融市场中的重要作用。

embedding5hiker的博客 105

数据库关系型 vs 非关系型:选型从问题出发

没有最好的数据库,只有最合适的——从事务一致性需求出发,找到真正匹配你业务的那一个。

一条老萌新 575

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

Uber 如何构建高吞吐支付账户处理系统:用 250ms 实时批处理解决“热账户”难题

Uber 这套 User Account Batch Processing 系统解决的是一个典型但很棘手的问题:单个金融账户在极端业务场景下出现高频更新,传统逐条处理无法满足吞吐要求,而简单扩容、Kafka 批处理、账户分片、地理共址都无法同时满足实时性、一致性和审计要求。最终方案的核心是 250ms 实时批处理。

techdashen的博客 403

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

数据科学实战:从需求解构到模型监控的完整工作流

数据科学本质是将模糊业务问题转化为可测量、可干预、可归责的技术方案的过程。其核心不在模型精度,而在需求解构的严谨性、数据契约的约束力与影响域分析的系统性。真实场景中,70%时间消耗于脏数据治理、跨部门对齐与模型衰减监控,而非算法调优。本文聚焦‘问题解决链’范式——涵盖需求解构、数据契约、影响域分析、可解释性前置与衰减监控五大锚点,并结合Scikit-learn轻量部署、特征金字塔构建、实时+离线混合架构等工程实践,为从业者提供可复用、可验证、抗干扰的落地路径。

weixin_33850890的博客 531

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

数据科学家必避的三大生产级pandas陷阱

在数据科学工程化过程中,pandas作为核心数据处理库,其易用性常掩盖深层可靠性风险。理解DataFrame的不可变性原理、CSV解析的编码与类型契约机制、以及数据切分中随机性与业务逻辑的耦合关系,是构建可复现、可维护、可审计的生产数据流水线的技术基础。这些原理直接决定模型特征质量、线上服务稳定性与跨团队协作效率。尤其当涉及金融风控、电商推荐、医疗AI等强依赖数据一致性的场景时,inplace操作引发的状态污染、read_csv默认参数导致的格式失真、random_state滥用掩盖的数据漂移,已成为高频故

diaolouan9546的博客 359

一人公司的技术底座,别被“玩具”坑了!6个试金石帮你把关

一人公司最宝贵的资源是时间和精力。如果你去用传统的代码堆砌这 6 项标准,你需要配置 K8s 容器、调优 PostgreSQL 数据库、写繁琐的 Redis 分布式锁、处理复杂的 API 鉴权……一个人?半年都不一定整明白。而 Zion 做的事很简单:用无代码的效率,给你代码级的硬核底层。真正的全栈架构:Zion 不是一个只帮你画前端 UI 的“玩具”,它从一开始就帮你搭建好了包含高并发控制、严格事务处理、高安全性 RLS 的工业级后端。

2301_76262110的博客 362

穿透 MQ 专栏 (二):【生死契约】“我付了钱,订单却没生成?”:手撕 MQ 的消息丢失与零拷贝黑科技

上一篇,我们在千钧一发之际引入了 MQ,成功挡住了双十一的 10 万并发洪峰。你看着后台平稳运转的 CPU,端起保温杯,觉得自己已经拿捏了架构的真谛。但好日子没过两天,客服主管气冲冲地踢开你的门:“有个大客户投诉,他银行卡明明扣了 1 万块钱,但系统里根本没生成这笔订单!查!”你赶紧去查日志,瞬间冷汗直冒:扣款服务(生产者)确实发出了“生成订单”的消息,但订单服务(消费者)根本没收到! 这条价值 1 万块钱的消息,就像石沉大海,在网络世界里人间蒸发了。这就是引入 MQ 必须付出的惨痛代价:薛定谔的消息。 今

2401_87395400的博客 338
上一篇: 我今天才知道,原来TCP为了保证可靠传输做了这么多
下一篇: 面试被问公平锁和非公平锁,我竟用“排队打饭”解释得清清楚楚
爱玛士
博客等级 码龄7年 720粉丝 253原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值