为什么查询数据不多,却慢的离谱,在我请教了隔壁新来的阿里大佬后

RAG实战指南:从认知闭环到企业级落地的完整路径 RAG(检索增强生成)是一种将外部知识动态注入大语言模型的技术范式,其核心原理是通过检索建立事实锚点、以增强方式约束生成过程,从而系统性缓解大模型幻觉与知识更新延迟问题。相比微调,RAG以低边际成本实现私域知识接入和实时语境对齐,技术价值在于平衡准确性、可维护性与业务响应速度。典型应用场景覆盖智能客服、合同审查、销售赋能、法务合规等一线业务环节,尤其适用于知识高频变动、领域专业性强、且缺乏AI工程团队的中小企业。本文聚焦真实项目中的数据清洗、语义切块、混合检索与生成可控性等关键实践节点。 阅读详情

本文已收录GitHub,更有互联网大厂面试真题,面试攻略,高效学习资料等

这篇文章主要记录,造成查询数量不大的情况下,造成查询缓慢的原因,以及相应的解决方法。

环境说明:

MySQL 版本 5.7.27
隔离级别:RR

锁等待造成查询速度很慢

MDL 锁

如开启如下事务:

Session A 持有表 t MDL 写锁。Session B 需要 MDL 读锁。这时读写锁互斥,Session B 被阻塞。

flush 阻塞

flush 操作一般来说很快就能执行完,当通过查询进程状态后,看到被 flush 操作被阻塞,一般都是由其他语句引起的。

如下面事务:

Session A 在扫描每一行时会休眠1s,而 Session B 的 flush tables t; 需要关闭表 t,要等 Session A 结束。后面的 Session C 被 Session B 阻塞了。

flush 的操作示范:

#  flush 表 t
flush tables t with read lock;
# flush 所有表
flush tables with read lock;
flush 的作用在 全局锁 文章中已经介绍过,FTWRL 主要用于 MyISAM 这样不支持事务的引擎,保证在备份时视图数据一致性。

行锁

这里的行锁,用两阶段锁来体现。其他如间歇锁和 next-key 锁都会可以造成这样的现象。

Session A 拥有 id=1 这行的写锁,Session B 想要拥有这一行的读锁,读写锁互斥。

解决方法

首先通过 show processlist; 命令查询被阻塞的状态信息。如需进一步分析的话,可以将 performance_schema=on 打开,通过查询 select blocking_pid from sys.schema_table_lock_waits; 具体造成锁等待的原因。然后 kill掉相应的 session.

在打开 performance_schema 会有一定的性能损失。

查询确实慢

没有设置合适的索引

如果没有设置合适的索引,导致扫描行数过多,时间自然就慢了。对于这种情况,可以开启慢查询日志,查看语句的执行过程,然后进行分析。

默认情况,慢查询日志时关闭的,打开方式如下:

# 查询慢查询日志状态及存储位置
# show variables  like '%slow_query_log%';

# 查询慢查询日志的设置时间
show variables  like '%long_query%';

# 临时打开慢查询日志,MySQL 重启后失效
set global slow_query_log=1;

# 改变时间
set long_query_time=0;

事务隔离的影响

在事务究竟有没有被隔离这篇中,我们知道表中的每行数据都有多个版本,在一致性视图开启后,视图的一致性读的结果就是通过和数据行的版本比较进而显示的结果。

这时第一个 select 语句就会比第二个加锁的 select 语句还要慢。

因为第一个 select 语句是一致性读,需要从 100 万条回滚日志中比较直到找到适合的版本。

而第二个 select 语句是当前读,直接读取最新版本就可以了。所以花费的时间不一样。

总结

造成查询小数据量,却很缓慢的原因一般有两种,第一种可能是所查数据被锁住。另一种确实是查找过程是真的很慢。

对于数据被锁住的情况,一般会由 MDL 锁,FLUSH 操作被阻塞,行锁造成。

对于查询确实很慢来说,考虑下索引是否设置的合适。并注意在 RR 级别下,是否由于一致性读和当前读的不同而造成查询速度不一致的情况。

在分析原因时,可以通过进程状态以及 sys.innodb_lock_waits 中的信息,来做出相应的处理。

数据管道实战入门:用Airflow搭建可监控可维护的ETL链路 数据管道是现代数据工程的核心基础设施,本质是一条具备起点、终点、检查点、监控与重试能力的数据搬运通道。其底层原理围绕ETL/ELT流程展开,通过调度系统(如Airflow)驱动数据从源系统经清洗转换后落库,并嵌入数据质量检查与可观测性机制以保障生产稳定性。该技术方案的价值在于将手工数据处理升级为自动化、可追溯、可恢复的工业级流程,广泛应用于销售分析、用户行为归因、风控指标计算等典型场景。本文聚焦零基础实操,以奶茶店日销管道为例,手把手构建一条真正能交付、可排错、带告警的端到端数据链路。 阅读详情

相关推荐

多源数据合并实战:业务语义对齐与可信宽表构建

数据合并是数据分析的基础能力,本质是将分散在不同系统中的业务事实按统一逻辑整合为可用宽表。其核心难点不在SQL连接或代码实现,而在于跨系统间‘用户’‘订单’等业务实体的语义一致性校准——如手机号是否真能唯一标识用户、时间戳是否已统一时区、主键是否具备全域唯一性。解决这些问题需结合字段血缘分析、主键熵值检测、时间窗口AB测试等工程化手段,最终支撑精准归因、实时BI与风控建模等关键场景。本文聚焦真实项目中高频出现的主键对齐、时间对齐与业务主键设计问题,提供可落地的检查清单与策略选型框架。

abc20899的专栏 173

java刷新缓存flush_关于java:在每100行10000中使用flush()方法会减慢事务速度

我有一个示例项目,其中将spring-boot与spring-data-jpa和postgres db与一个表一起使用。我试图将循环中的INSERT 1万条记录插入表中并测量执行时间-从每100条记录的EntityManager类启用或禁用flush()方法。预期的结果是,启用了flush()方法的执行时间比禁用了flush()方法的执行时间少得多,但实际上我得到了相反的结果。UserServic...

weixin_32629285的博客 974

携程春招技术岗笔试复盘:题型拆解与业务场景设计

技术岗笔试中,算法题与高并发系统设计是核心考察点。理解前缀和、BFS等基础算法原理,掌握Redis缓存、消息队列等工程工具,是解决实际业务问题的技术价值所在。在线旅游场景下,价格查询、库存防超卖等业务对系统的实时性和一致性提出高要求。以携程春招技术岗笔试为例,剖析专业知识选择题、逻辑推理、编程题和业务场景设计题的应对策略,分享时间分配与复盘方法,为备战大厂笔试的开发者提供可复用的思路。

weixin_33904756的博客 441

mysql mybatis 查询数据特别慢

场景 mysql数据库中有50万条数据,采用的是mybatis+spring开发。当查询数据的时候不知道什么原因。查询执行需要10s才能查询出50条数据。这个执行速度让人不能接受 最后采用jdbc进项查询数据。2s就返回数据了。可能是mybatis设置的原因,也可能是其他原因。但是最终采用jdbc访问就ok了

wangliutao1的专栏 1万+

Do You Even [Feature] Scale?功能级可扩展性实战指南

可扩展性(Scalability)是分布式系统的核心能力,指系统在负载增长时维持性能与稳定性的能力。其本质涵盖水平扩展(加节点)、垂直扩展(升配置)和架构扩展(应业务演进)三重维度。技术实践中,脱离具体功能谈扩展性毫无意义——真正的挑战始于一个原子化Feature,如‘实时价格计算’或‘用户登录’,需结合压测指标(QPS/P99延迟/错误率)、依赖地图与真实流量模型进行闭环验证。本文聚焦Feature级Scale能力构建,融合高并发、分布式系统、性能压测等关键技术点,提供从理论定义、瓶颈定位到JMeter/

weixin_34060741的博客 452

Whisper+Gradio本地语音转写系统搭建实战

语音识别是人机交互的基础能力,其核心原理在于将时域音频信号通过声学模型映射为文本序列。Whisper作为开源多语言语音识别大模型,具备高精度、强泛化性等技术优势,结合Gradio这一轻量级Python Web界面框架,可快速构建零依赖、可离线、全可控的端到端语音转写工具。该方案规避了云API的合规风险与响应延迟,特别适合教育、会议纪要、教学辅助等中文垂直场景落地。本文聚焦Whisper模型本地部署、Gradio生产级配置、中文识别优化及长音频鲁棒处理等关键实践,覆盖从环境适配、量化加速到内网部署的完整链路。

weixin_38166557的博客 424

数据库性能优化之为什么查询数据慢原因所在

1、没有索引或者没有用到索引(这是查询慢最常见的问题,是程序设计的缺陷) 2、I/O吞吐量小,形成了瓶颈效应. 3、没有创建计算列导致查询不优化. 4、内存不足 5、网络速度慢 6、查询出的数据量过大(可以采用多次查询,其他的方法降低数据量) 7、锁或者死锁(这也是查询慢最常见的问题,是程序设计的缺陷) 8、sp_lock,sp_who,活动的用户查看,原因是读写竞争资源. 9、返回了不必要的行和列 10、查询语句不好,没有优化 可以通过如下方法来优化查询: 1、把数据,日志,索引放到不同的I/O设备上.

千城墨白 1488

ROS 2+micro-ROS机器人全栈开发实战:从ESP32到SLAM建图与Nav2导航

机器人自主导航是移动机器人系统的核心能力,其技术本质是感知(SLAM建图)、决策(Nav2路径规划)与执行(实时控制)的闭环协同。基于ROS 2的现代导航栈依托DDS通信、分层代价地图与优化型局部规划器(如TEB),在结构化室内场景中实现高鲁棒性避障与精准定位。micro-ROS作为轻量级桥梁,使ESP32等MCU能无缝接入ROS 2生态,解决资源受限平台的实时性与确定性难题;而Gazebo+ros_gz_bridge仿真则通过物理建模与零拷贝传输,大幅缩短算法验证周期。本文聚焦GitHub开源的可复现机器

weixin_34355559的博客 611

查询大量数据速度很慢_为什么查询数据不多,却慢的离谱,在我请教了隔壁新来的阿里大佬后...

这篇文章主要记录,造成查询数量不大的情况下,造成查询缓慢的原因,以及相应的解决方法。环境说明:MySQL 版本 5.7.27隔离级别:RR锁等待造成查询速度很慢MDL 锁如开启如下事务:Session A 持有表 t MDL 写锁。Session B 需要 MDL 读锁。这时读写锁互斥,Session B 被阻塞。flush 阻塞flush 操作一般来说很快就能执行完,当通过查询进程状态后,看到被...

weixin_28787115的博客 285

i茅台APP加密参数逆向分析:MT-Device-ID与mt-v生成算法

在移动应用安全领域,参数加密是防止API滥用的重要手段。通过对通信协议的逆向分析,可以揭示加密参数的生成原理,这对理解移动应用安全机制具有重要意义。以i茅台APP为例,其关键接口使用了MT-Device-ID和mt-v两个加密参数,前者基于设备硬件信息生成,后者则通过动态签名机制确保请求时效性。这类技术广泛应用于电商、金融等需要高安全性的场景。通过抓包工具和逆向工程手段,可以还原出从设备指纹生成到动态签名的完整技术链条,其中涉及MD5、SHA256等常见哈希算法的应用。掌握这些加密参数的生成逻辑,不仅有助于

weixin_28568819的博客 320

DataWorks PyODPS第三方包全攻略:从打包到加载的完整流程

本文详细介绍了在DataWorks的PyODPS节点中使用第三方Python包的完整流程,包括环境限制、打包工具pyodps-pack的使用、资源上传与加载实战,以及特殊场景处理技巧。通过本文,开发者可以掌握在MaxCompute受限环境中灵活使用自定义依赖的方法,提升数据处理效率。

dd012的博客 990

mysql一样的查询在我本地很快但是线上很慢_为什么查询数据不多,却慢的离谱,在我请教了隔壁新来的阿里大佬后...

这篇文章主要记录,造成查询数量不大的情况下,造成查询缓慢的原因,以及相应的解决方法。环境说明:MySQL 版本 5.7.27隔离级别:RR锁等待造成查询速度很慢MDL 锁如开启如下事务:Session A 持有表 t MDL 写锁。Session B 需要 MDL 读锁。这时读写锁互斥,Session B 被阻塞。flush 阻塞flush 操作一般来说很快就能执行完,当通过查询进程状态后,看到被...

weixin_40001634的博客 947

Halcon相机标定实战:从参数设置到精度优化全解析

本文详细解析Halcon相机标定的全流程,从基础概念到实战技巧,涵盖参数设置、精度优化及常见问题解决方案。通过实际案例和代码示例,帮助读者掌握工业视觉项目中相机标定的关键技术,提升测量精度和系统稳定性。

weixin_29279153的博客 322

阿里开源Skill项目:Agent技能复用与标准化实践指南

随着大模型与AI Agent应用的深入,如何高效沉淀和复用智能体能力,成为开发者关注的核心问题。Skill作为Agent能力的模块化封装,不仅是提示词与工具调用的集合,更是一套包含输入输出约定、执行逻辑与校验规则的可移植技能单元。通过将高频能力标准化,开发者可以在不同模型和框架间复用技能,显著提升Agent开发效率。本文深入解析阿里开源Skill项目,从目录结构、SKILL.md编写到实战踩坑,展示如何将业务能力封装为可维护、可扩展的私房技能库,为AI应用工程化提供全新范式,推动智能体生态走向开放互联。

weixin_29053073的博客 215

运算放大器电路中的T型网络:如何用更小电阻实现高增益并降低噪声?

本文深入解析了运算放大器电路中T型反馈网络的设计与应用。该网络通过三个较小阻值电阻的组合,等效实现高增益,有效规避了传统大反馈电阻带来的显著热噪声问题。文章从数学原理、噪声定量分析到实际设计技巧,系统阐述了如何利用T型网络在实现高增益的同时,显著降低电路噪声并改善整体性能。

banana的博客 318

OpenClaw一人公司落地案例:本地商家营销智能体月赚3万的秘密

角色:本地商家营销专家## 核心目标为商家生成高转化率的抖音营销策略,最大化 ROI。## 输入数据- 商家名称: "XX奶茶店"- 过去 30 天视频播放量: 12,000- 客单价: 28 元- 竞品平均播放量: 15,000- 市场趋势: rising## 策略生成规则1. **内容类型**:根据客单价推荐- < 30 元:美食探店 + 优惠券- > 30 元:场景化故事 + 会员权益2. **发布时间**:根据历史数据- 18:00-20:00 高峰期。

专注于Python爬虫开发,分享爬虫技巧、项目实战与反爬经验,使用Scrapy、BeautifulSoup等工具,解决数据抓取难题。 542

不用改一行代码,工作效率翻倍了?我的程序员搭子竟然是它!

有次更离谱:我写着代码突然想优化Docker镜像体积,顺嘴问了句“alpine和distroless怎么选”,它列完对比表又补了刀:“您在2023-08的项目曾因glibc兼容性问题改用distroless”——连我一年前的技术债都记得。我SQL优化直接让它重写,省了两小时?早上7点,咖啡还没咽下去,产品经理的新需求又弹了出来:“加个动态权限控制,今天上线?对了,刚让DeepSeek生成这段话时,它坚持要加一句免责声明:“建议人类程序员亲自审查代码,本人不背锅”——啧,这求生欲,比我会来事儿多了。

weixin_50019283的博客 322

WorkBuddy KiCad 实战:国产 AI 搭子不只会写代码,传感器板从零走到可审查

真正可用的 PCB 教程不能承诺“一键打样”。本课把 WorkBuddy 放在需求拆分、文件生成和审查记录的位置,KiCad 负责 ERC、DRC 与制造文件,工程师负责最终判断。 本课不会用“AI 一键完成”制造错觉,而是把 WorkBuddy、KiCad 8.0、Python 3.11 与人工审阅组成一条可复现链路。你会从“已确认的接口表、器件库来源、板框与电源方案”出发,得到“KiCad 工程、原理图、初始 BOM、ERC 报告与审查记录”,并学会用真实命令、错误信号和停止条件判断成果能不能进入下一阶

yueyeguzhuo的专栏 216

AI测试开发岗需求暴涨:2026秋招,高薪Offer都藏在这3个变化里

本文部分内容参考了霍格沃兹测试开发学社整理的相关技术资料,主要涉及软件测试、自动化测试、测试开发及 AI 测试等内容,侧重测试实践、工具应用与工程经验整理。而AI方向的岗位,恰好处于"自动化剩余"的高位。我翻了牛客网最新的offer帖,又问了几个在阿里、字节、美团的朋友,结论很一致——2026届技术岗的薪资两极分化,已经到了离谱的程度。一个接口输入A返回B,一个按钮点下去弹出C——确定的、可枚举的、可重复验证的。你用传统方法去测大模型的输出是否"正常",就跟用纸笔算圆周率一样——不是不能算,是你算不完的。

ceshiren_com的博客 290

SPI为什么不需要加上拉电阻

大家好,我是记得诚。I2C因为其开漏的结构,无法输出高电平,所以外部加上拉电阻。我们在使用SPI的时候,发现是不需要加上拉电阻的。主要因为SPI多为推挽的结构,推挽电路,高低电平都可以输出,所以外部不需要加上拉电阻。推挽电路可以用2个三极管或者2个MOS管搭建而成。

记得诚 2628

【CSP-S 提高组】考试大纲集合

【CSP-S提高组】考试大纲集合

weixin_42596089的博客 7255

万物一理:从人体进化到IT架构的取舍之道——写在2026中国系统架构师大会之前

大自然花了数十亿年,打造出一副颇为狼狈的人体架构:直立压垮腰椎、褪去体毛挨冻受伤、大脑太大易难产……虽浑身bug,却至今未垮。这些无奈的妥协,和你面对的IT架构,是否藏着相似的底层逻辑?

从底层逻辑去思考技术,去拥抱变化 457

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

异地备份的本质是故障域隔离,不是地理距离

异地备份(Offsite Backup)是保障业务连续性的核心灾备能力,其技术本质并非简单的物理位移,而是通过空间、电力、网络、管理四重维度实现故障域(Failure Domain)的彻底解耦。它建立在数据持久性、RPO/RTO可控性、密钥与数据分离等基础原理之上,具备抵御区域性断电、火灾、勒索软件、光缆中断等单点毁灭事件的技术价值。广泛应用于金融、政务、医疗、在线教育等对数据生存有强合规与高可用要求的场景。本文聚焦‘三重空间隔离验证法’与四大典型技术陷阱,揭示真正可用的异地备份必须满足电力独立、网络路径异

weixin_30460489的博客 322

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

Mythos模型如何重塑代码安全分析范式

代码安全分析正从静态扫描与动态测试走向AI驱动的深度语义理解。其核心原理在于融合抽象语法树(AST)建模、漏洞模式聚类与测试时计算(Test-time Compute),使模型能动态分配推理资源,实现对内存破坏、注入类等高危漏洞的精准定位与利用链推导。这种能力不仅提升漏洞检出率与修复效率,更推动DevSecOps流程重构——从CI/CD守门人到攻击图谱构建,再到MTTP(平均修复时间)压缩至小时级。Mythos所代表的‘AI安全分析师’范式,正在将传统SAST/DAST工具升级为具备因果推理与跨层联想能力的

weixin_33863087的博客 406

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

上一篇: 为什么Spring技术很强大?
下一篇: 先打好基础,阿里架构师一文带你深入理解JVM内存回收机制
Java_Cappuccino
博客等级 码龄7年 17粉丝 64原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值