勇往直前的专栏

当需要从数据库查询的表有上万条记录的时候，一次性查询所有结果会变得很慢，特别是随着数据量的增加特别明显，这时需要使用分页查询。对于数据库分页查询，也有很多种方法和优化的点。下面简单说一下我知道的一些方法。准备工作为了对下面列举的一些优化进行测试，下面针对已有的一张表进行说明。 表名：order_history 描述：某个业务的订单历史表 主要字段：unsigned int id，tinyint(4) int type 字段情况：该表一共37个字段，不包含tex.

SQL 优化已经成为衡量程序猿优秀与否的硬性指标，甚至在各大厂招聘岗位职能上都有明码标注，如果是你，在这个问题上能吊打面试官还是会被吊打呢？有朋友疑问到，SQL 优化真的有这么重要么？如下图所示，SQL 优化在提升系统性能中是：成本最低和优化效果最明显的途径。如果你的团队在 SQL 优化这方面搞得很优秀，对你们整个大型系统可用性方面无疑是一个质的跨越，真的能让你们老板省下不止几沓子钱。优化成本：硬件>系统配置>数据库表结构>SQL 及索引。优化效果：硬件<系统配置

问题概述使用阿里云rds for MySQL数据库（就是MySQL5.6版本），有个用户上网记录表6个月的数据量近2000万，保留最近一年的数据量达到4000万，查询速度极慢，日常卡死。严重影响业务。问题前提：老系统，当时设计系统的人大概是大学没毕业，表设计和sql语句写的不仅仅是垃圾，简直无法直视。原开发人员都已离职，到我来维护，这就是传说中的维护不了就跑路，然后我就是掉坑的那个！！！我尝试解决该问题，so，有个这个日志。方案概述方案一：优化现有mysql数据库。优点：不影响现有业务，

当需要从数据库查询的表有上万条记录的时候，一次性查询所有结果会变得很慢，特别是随着数据量的增加特别明显，这时需要使用分页查询。对于数据库分页查询，也有很多种方法和优化的点。下面简单说一下我知道的一些方法。准备工作为了对下面列举的一些优化进行测试，下面针对已有的一张表进行说明。 表名：order_history 描述：某个业务的订单历史表 主要字段：unsigned int id，tinyint(4) int type 字段情况：该表一共37个字段，不包含tex.

对于线上系统调优，它本身是个技术活，不仅需要很强的技术实战能力，很强的问题定位，问题识别，问题排查能力，还需要很丰富的调优能力。本篇文章从实战角度，从问题识别，问题定位，问题分析，提出解决方案，实施解决方案，监控调优后的解决方案和调优后的观察等角度来与大家一起交流分享本次线上高并发调优整个闭环过程。一、项目简要情况概述该项目为基于SSM架构的商城类单体架构项目，其中有一个秒杀重磅模块，如下为当前线上环境的简要架构部署图，大致描述一下：(1)项目为SSM架构(2)服务器类别：1台负载均.

声明：本文首发于博客园，作者：后青春期的Keats地址：https://www.cnblogs.com/keatsCoder/需求说明项目中有一个 Excel 导入的需求：缴费记录导入。由实施 / 用户 将别的系统的数据填入我们系统中的 Excel 模板，应用将文件内容读取、校对、转换之后产生欠费数据、票据、票据详情并存储到数据库中。在我接手之前可能由于之前导入的数据量并不多没有对效率有过高的追求。但是到了 4.0 版本，我预估导入时Excel 行数会是 10w+ 级别，而往数据库插.

“让这代码跑得快一点！！”——我碰到的第一件代码优化任务就是这么开始的。那个项目是一个巨大的 SAP 云平台应用程序，总共含有超过 3 万行的代码。整个 App 加载数据的过程非常之慢，显然用户并不喜欢这种体验。然而，我必须承认，这个项目的代码写的挺不错，数据库调用很合适，只在有需要的地方进行循环，模组化也实现的很到位。我花了两天时间，绞尽脑汁地进行各种测试，审查代码逻辑，但完全没发现到底是什么地方让这个程序变得如此之慢。就在第三天，在我穷尽了所有的办法，最后一点理智也快要消失的时候，我终于发现

作者丨jia-xin出处：https://www.cnblogs.com/YangJiaXin/p/10828244.html“前段时间刚入职一家公司，就遇到了 MySQL 亿级大表优化这事！图片来自 Pexels背景XX 实例（一主一从）xxx 告警中每天凌晨在报 SLA 报警，该报警的意思是存在一定的主从延迟。（若在此时发生主从切换，需要长时间才可以完成切换，要追延迟来...

为什么会想取这样一个标题，因为看了理论上的慢查询优化，今天！！！终于在生产上实战了。一、慢sql一问题发现将应用发布到生产环境后，前端页面请求后台API返回数据，发现至少需要6s。查看到慢sql：复现慢sql执行sql：selectcount(*)fromsync\_block\_datawhereunix\_timestamp(sync\_dt)>=...

MySQL逻辑架构介绍日常在CURD的过程中，都避免不了跟数据库打交道，大多数业务都离不开数据库表的设计和SQL的编写，那如何让你编写的SQL语句性能更优呢？先来整体看下MySQL逻辑架构图：MySQL整体逻辑架构图可以分为Server和存储引擎层。Server层：Server层涵盖了MySQL的大多数核心服务功能，以及所有的内置函数（如日期、时间、数学和加密函数等），以及...

我们有个这样的需求：每天每一个抢购商品只能买一次，并且全场抢购商品总购买次数不允许超过5次。那么，整个商品限购的流程大概如下图所示：那么，在每次购买成功商品成功后，发送的MQ大概是这样的（假设当前这笔订单有两件抢购商品）：[{"orderId": "2020020622000001","orderTime": "1581001673012","productId": "5990...

1 背景CAT 介绍CAT （Central Application Tracking）是一个实时监控系统，由美团点评开发并开源，定位于后端应用监控。应用集成客户端的方式上报中间件和业务数据，支持 Transaction、Event 和 Heartbeat 等数据类型 Metrics 报表，也支持调用链路 Trace，对于发现和定位应用问题有很大帮助。CAT 服务端也可以认为是一个 L...

谁在消耗cpu?用户+系统+IO等待+软硬中断+空闲祸首是谁？用户用户空间CPU消耗，各种逻辑运算正在进行大量tps函数/排序/类型转化/逻辑IO访问…用户空间消耗大量cpu，产生的系统调用是什么？那些函数使用了cpu周期？IO等待等待IO请求的完成此时CPU实际上空闲如vmstat中的wa 很高。但IO等待增加，wa也不一定会上...

什么是服务器并发处理能力？一台服务器在单位时间里能处理的请求越多，服务器的能力越高，也就是服务器并发处理能力越强。服务器的本质工作就是，争取以最快的速度将内核缓冲区中的用户请求数据一个不剩地都拿出来，然后尽快处理，再将响应数据放到一块又能够与发送数据的缓冲区中，接着处理下一拨请求。有什么方法衡量服务器并发处理能力？一、吞吐率量化指标：吞吐率，单位时间里服务器处理的最大请求数，单...

源宝导读：随着系统越来越庞大，越来越复杂，疑难杂症问题也越来越多。本文将介绍明源研发协同平台团队针对一次内存泄露问题的排查过程和技术探索。一、背景 内存泄漏，一个说大不大说下不小的瑕疵。作为开发者，我们都很清楚内存泄漏是我们代码问题导致的。但是话说回来，泄漏后果会很严重嘛？这不好说，如果对服务器内存的影响只有几个百分点，又或者对应用没有什么致命影响，那么修补内存泄漏就像鸡肋一样，...

来自：知乎，作者：互联网编程链接：https://www.zhihu.com/question/19719997/answer/549041957问题概述使用阿里云rds for MySQL数据库（就是MySQL5.6版本），有个用户上网记录表6个月的数据量近2000万，保留最近一年的数据量达到4000万，查询速度极慢，日常卡死。严重影响业务。问题前提：老系统，当时设计系统的人...

什么是 MRRMRR 的全称是 Multi-Range Read Optimization，是优化器将随机 IO 转化为顺序 IO 以降低查询过程中 IO 开销的一种手段，咱们对比一下 mrr=on & mrr=off 时的执行计划：其中表结构如下：mysql> show create table t1\G*************************** 1. ...

作者：风过无痕cnblogs.com/tangyanbo/p/4462734.html场景我用的数据库是mysql5.6，下面简单的介绍下场景课程表：createtableCourse( c_idintPRIMARYKEY, namevarchar(10))数据100条学生表:createtableStudent( ...

原文：http://www.monitis.com/blog/101-tips-to-mysql-tuning-and-optimization/MySQL是一个强大的开源数据库。随着MySQL上的应用越来越多，MySQL逐渐遇到了瓶颈。这里提供 101 条优化 MySQL 的建议。有些技巧适合特定的安装环境，但是思路是相通的。我已经将它们分成了几类以帮助你理解。Mysql ...

【mysql优化专题】：本专题全文围绕mysql优化进行全方位讲解，本篇为优化入门篇，让大家知道为什么要优化，究竟在优化什么。优化，一直是面试最常问的一个问题。因为从优化的角度,优化的思路,完全可以看出一个人的技术积累。那么，关于系统优化,假设这么个场景,用户反映系统太卡（其实就是高并发）,那么我们怎么优化? 如果请求过多,判定web服务器的压力过大,增加前端的web服务器,做负载均...

前文一篇「mysql优化专题」这大概是一篇最好的mysql优化入门文章（1）让大家知道msql优化，究竟在优化什么，本篇为mysql优化专题的第二篇，主要先从增删改进行优化。补充知识点：操作数据语句优化的认识通常情况下，当访问某张表的时候，读取者首先必须获取该表的锁，如果有写入操作到达，那么写入者一直等待读取者完成操作（查询开始之后就不能中断，因此允许读取者完成操作）。当读取者完成对表...

上篇讲解了「mysql优化专题」90%程序员都会忽略的增删改优化（2），相信大家都有所收获。接下来这篇是查询优化。其实，大家都知道，查询部分是远远大于增删改的，所以查询优化会花更多篇幅去讲解。本篇会先讲单表查询优化（非索引设计）。然后讲多表查询优化。索引优化设计以及库表结构优化等后面文章再讲。单表查询优化：（关于索引，后面再开单章讲解）（0）可以先使用 EXPLAIN 关键字，让你...

一、写在前面相信不少朋友都在自己公司使用Spring Cloud框架来构建微服务架构，毕竟现在这是非常火的一门技术。如果只是用户量很少的传统IT系统，使用Spring Cloud可能还暴露不出什么问题。如果是较多用户量，高峰每秒高达上万并发请求的互联网公司的系统，使用Spring Cloud技术就有一些问题需要注意了。 二、场景引入，问题初现先不空聊原理、理论，来讲一个真实...

上一篇讲的是单表查询的优化，（本文末有链接）。当然，对数据表的多表查询也是必不可少的。本篇内容主要讲解多表联合查询的优化一、多表查询连接的选择：相信这内连接，左连接什么的大家都比较熟悉了，当然还有左外连接什么的，基本用不上我就不贴出来了。这图只是让大家回忆一下，各种连接查询。 然后要告诉大家的是，需要根据查询的情况，想好使用哪种连接方式效率更高。 二、MySQL的JOIN实...

本专题讲到索引查询优化，恭喜你，已经达到mysql优化的中级水平。这篇我们要讲的是mysql优化中重点中的重点——索引优化。面试官百分百必问目录多关于索引，分为以下几点来讲解：一、索引的概述(什么是索引,索引的优缺点)二、索引的基本使用（创建索引）三、索引的基本原理（面试重点）四、索引的数据结构（B树，hash）五、创建索引的原则（重中之重，面试必问！敬请收藏！）...

当MySQL单表记录数过大时，增删改查性能都会急剧下降，可以参考以下步骤来优化：单表优化除非单表数据未来会一直不断上涨，否则不要一开始就考虑拆分，拆分会带来逻辑、部署、运维的各种复杂度，一般以整型值为主的表在千万级以下，字符串为主的表在五百万以下是没有太大问题的。而事实上很多时候MySQL单表的性能依然有不少优化空间，甚至能正常支撑千万级以上的数据量： 字段1、尽量使用TI...

前言作为一名工作了4年的程序猿，今天我将站在程序员的角度以MySQL为例探索数据库的奥秘！ 数据库基本原理我对DB的理解第一，数据库的组成：存储 + 实例不必多说，数据当然需要存储；存储了还不够，显然需要提供程序对存储的操作进行封装，对外提供增删改查的API，即实例。一个存储，可以对应多个实例，这将提高这个存储的负载能力以及高可用；多个存储可以分布在不同的机房、地域...

前言在实际项目中，曾经遭遇过线上5W+QPS的峰值，也在压测状态下经历过10W+QPS的大流量请求，本篇博客的话题主要就是自己对高并发流量控制的一点思考。 应对大流量的一些思路首先，我们来说一下什么是大流量？大流量，我们很可能会冒出：TPS（每秒事务量），QPS（每秒请求量），1W+，5W+，10W+，100W+...。其实并没有一个绝对的数字，如果这个量造成了系统的压力，影...

导读：数据库是导致应用系统运行缓慢的常见原因。面对数据库引性能问题，很多开发者或者DBA却束手无策。本文作者经过多年的实际经验，整理了一些材料，将Linux环境下MySQL性能突发事件问题排查技巧分享给大家。作者介绍：崔虎龙，云和恩墨-开源架构部-MySQL技术顾问，长期服务于数据中心（金融，游戏，物流）行业，熟悉数据中心运营管理的流程及规范，自动化运维 等方面。擅长MySQL，Redis...

作者：丁码农来源：www.cnblogs.com/dinglang常见的数据库系统优化中的一些观点：“系统性能出现问题进行优化，一定要深入了解数据库内部参数、等待事件、Latch、缓冲池、trace文件、查询/优化引擎等底层细节。”这种观点往往出自数据库“高手”，这部分人以了解数据库底层实现细节而感到非常骄傲。但是从优化角度讲数据库的等待事件、Latch等指标高等等都只是问题...

作者：小祝特烦恼 my.oschina.net/xiaozhutefannao背景本次SQL优化是针对javaweb中的表格查询做的。部分网络架构图 业务简单说明N个机台将业务数据发送至服务器，服务器程序将数据入库至MySQL数据库。服务器中的javaweb程序将数据展示到网页上供用户查看。原数据库设计 windows单机主从分离 已分表分库...

当MySQL单表记录数过大时，增删改查性能都会急剧下降，可以参考以下步骤来优化：单表优化除非单表数据未来会一直不断上涨，否则不要一开始就考虑拆分，拆分会带来逻辑、部署、运维的各种复杂度，一般以整型值为主的表在千万级以下，字符串为主的表在五百万以下是没有太大问题的。而事实上很多时候MySQL单表的性能依然有不少优化空间，甚至能正常支撑千万级以上的数据量：字段 尽量使用TINYINT...

背景生产环境有二台阿里云服务器，均为同一时期购买的，CPU、内存、硬盘等配置相同。具体配置如下：节点 CPU 内存 硬盘 其它 A 2CPU 4G 普通云盘 Centos6.4 64位+JDK1.8.0_121 B 2CPU 4G 普通云盘 Centos6.4 64位+JDK1.8.0_121 由于这二服务...

作者：莫那·鲁道原文：http://thinkinjava.cn/2019/01/fkfb/前言像我这样的菜鸟，总会有各种疑问，刚开始是对 JDK API 的疑问，对 NIO 的疑问，对 JVM 的疑问，当工作几年后，对服务的可用性，可扩展性也有了新的疑问，什么疑问呢？其实是老生常谈的话题：服务的扩容问题。正常情况下的服务演化之路让我们从最初开始。 单体应用 每个创业公...

本专题目录如下：一、为什么要进行mysql优化？（重点）二、增删改优化，多数人都会忽略的优化三、关于单表查询，可以这么优化四、关于多表查询，不得不看的优化五、索引优化（重点中的重点）六、表的优化，分表分库（重点）七、存储过程和存储函数教学八、视图应用优化详解九、引擎(InnoDB,MyISAM)的内存优化十、通过慢查询日志定位优化十一、满分主从复制面试宝...