性能测试：数据库，收藏这篇就够了

最新推荐文章于 2025-12-01 02:11:37 发布

原创最新推荐文章于 2025-12-01 02:11:37 发布 · 990 阅读

13 ·

CC 4.0 BY-SA版权

文章标签：

#数据库 #人工智能 #opencv #计算机视觉

程序员同时被 3 个专栏收录

1654 篇文章

订阅专栏

计算机

1641 篇文章

订阅专栏

运维

299 篇文章

订阅专栏

MySQL

MySQL架构
在这里插入图片描述
查询语句生命周期

Mysql服务器监听3306端口；
验证访问用户
创建MySQL线程
检查内存（Qcache）
解析SQL
生成查询计划
打开表
检查内存（Buffer Pool）
到磁盘读取数据
写入内存
返回数据给客户端
关闭表
关闭线程
关闭连接

MySQL连接数

MySQL数据库安装完成后，默认最大连接数是100，一般流量稍微大一点的论坛或网站这个连接数是远远不够的，连接数少的话，在大并发下连接数会不够用，会有很多线程在等待其他连接释放，就可能会导致数据库连接超时或者响应时间过长，所以需要调整最大连接数。

设置mysql的最大连接数
在mysql的配置文件中增加：
max_connectiton = 1000 #mysql的最大连接数，默认如果不写的话是100个
wait_timeou = 10 超时时间
查看当前有多少连接
show status like ‘%Threads_connected%’;
show processlist;

MySQL缓存

缓存有两个纬度，MySQL层：查询缓存Query Cache（QCache）；存储引擎层：InnoDB_Buffer_Pool。

查询缓存-Qcache
缓存完整的select查询结果，当查询命中缓存，MySQL会立即返回结果，跳过解析、优化和执行阶段。查询缓存会跟踪系统中的每张表，如果这些表发送变化，那么和这张表相关的所有查询缓存全部失效。查询缓存对应用程序是完全透明的。应用程序无须关心mysql是通过查询缓存返回的结果还是实际执行返回的结果。任何一个包含不确定的函数（比如now()，current_date()）的查询不会被缓存。
MySQL查询缓存可以改善性能，但是在使用的时候也有一些问题需要注意：开启查询缓存对于读写都增加了额外的开销。对于读，在查询开始前需要先检查缓存；对于写，在写入后需要更新缓存。一般情况这些开销相对较小，所以查询缓存一般还是有好处的。但也需要根据业务特性权衡是否需要开启查询缓存。

Qcache设置： Linux下为my.cnf，Windows为my.ini，[mysqld]节点下
query_cache_type = on #是否开启查询缓存，具体选项为：on/off
query_cache_size=200M #分配给查询缓存的总内存，一般建议不超过256M
query_cache_limit=1M #限制MySQL存储的最大结果，如果查询的结果比这个大，那么不会被缓存。

查询Qcache状态：show variables like ‘%query_cache%’;

have_query_cache：该mysql是否支持QueryCache
query_cache_limit：缓存块大小，超过该大小不被缓存
query_cache_min_res_unit：每个Qcache最新的缓存空间大小
query_cache_size：分配给查询缓存的总内存
query_cache_type：是否开启
query_cache_wlock_invalidate：控制当有锁加在表上的时候，是否先让该表相关的querycache失效。

监控Qcache使用情况：show status like ‘%Qcache%’;

Qcache_free_blocks：目前还有多少的剩余blocks。如果该值比较大，说明Qcache中的内存碎片比较多，可能需要寻找合适的机会进行整理。如果该值非常大，可以使用flush query cache；语句清理查询缓存碎片来提高使用性能，该语句不从缓存中移出任何查询。
Qcache_free_memory：目前剩余内存大小
Qcache_hits：缓存命中率
Qcache_inserts：多少次未命中然后插入（QueryCache命中率=Qcache_hits/（Qcache_hits+Qcache_inserts））
Qcache_lowmen_prunes：多少条Query因为内存不足而被清除出去
Qcache_not_cached：因为query_cache_type的设置或者不能被cache的query数量
Qcache_queries_in_cache：当前QueryCache中的cache的Query数量
Qcache_total_blocks：当前QueryCache中的block的数量
存储引擎层-innodb buffer poor
buffer pool 是innodb存储引擎带的一个缓存池，查询数据的时候，它首先会从内存中查询，如果内存中存在的话，直接返回，从而提高查询响应时间。
Innodb buffer pool 和qcache的区别是：qcache缓存的是sql语句对应的结果集，buffer pool中缓存的是表中的数据。Buffer pool 设置的越大越好，一般设置为服务器内存的70%。
Innodb_buffer_pool设置
innodb_buffer_pool_size：innodb_buffer_pool的大小（设置大小，即开启innodb）
innodb_buffer_pool_dump_on = on ：默认为关闭OFF。如果开启此参数，停止MySQL服务时，innodb会将innodb缓存池中的热数据保存到本地硬盘；
innodb_buffer_pool_load_at_startup = on：默认为关闭OFF。如果开启此参数，启动MySQL服务时，MySQL将本地热数据加载到innodb缓存池中。
查询innodb_buffer_pool状态：show variables like ‘%innodb_buffer_pool%’;

innodb_buffer_pool_chunk_size：设置bp的大小
innodb_buffer_pool_dump_at_shutdown：停止mysql服务的时候是否自动保存热数据
innodb_buffer_pool_load_at_startup：启动mysql服务时是否自动读取热数据
查询innodb_buffer_pool当前使用情况：show status like ‘%innodb_buffer_pool%’;
主要关注的两个参数：
innodb_buffer_pool_read_requests中共查询bp的次数；
innodb_buffer_pool_reads从物理硬盘中获取到数据的次数。
通过这两个参数可以知道bp的命中率。

MySQL慢查询

慢查询日志中记录的是执行时间较长的query，即slowquery，通过设置—log-slow-queries[=file_name]来打开该功能并设置记录位置和文件名。
慢查询日志采用简单的文本格式。其中记录了语句执行的时刻，执行消耗的时间，执行用户，连接主机等相关信息。
MySQL还提供了专门用来分析慢查询日志的工具程序mysqlslowdump，用来帮助数据库管理人员解决可能存在的性能问题。
MySQL慢查询的配置：

Linux：my.cnf文件中增加
log-slow-queries=/opt/data/slowquery.log ----指定日志文件存放位置，可以为空，系统会给一个缺省的文件host_name-slow.log
long_query_time=2 —记录超时的时间，默认为20s
log-queries-not-using-indexs ----log下来没有使用索引的query，可以根据情况决定是否开启
Windows：在my.ini的[mysqld]中添加语句
log-slow-queries=E:\web\mysql\log\mysqlslowquery.log
long_query_time =2

MySQL慢查询的执行命令
set global slow_query_log=on;
set global long_query_time=1
set global slow_query_log_file=’/opt/data/slow_query.log’

查询MySQL慢查询状态：show variables like ‘%query%’;

解析MySQL慢查询日志：mysqldumpslow命令

# mysqldumpslow -s t -t 20 -g 'select' /var/lib/mysql/xingneng205-xingneng-test-ds-slow.log
Count: 1  Time=15.00s (15s)  Lock=0.00s (0s)  Rows=1.0 (1), root[root]@[10.103.27.205]
  select sleep(N)

Died at /server/mysql/bin/mysqldumpslow line 161, <> chunk 1.

sql分析命令

explain
该命令是查看查询优化器如何决定执行查询的主要方法，这个功能有局限性，其不会考虑触发器、存储过程或函数对查询的影响，不会考虑缓存对查结果的影响，不会考虑mysql执行查询所做的特定优化。只是一个统计信息的近似结果。
使用方法就是sql语句前加explain。Explain能查看sql的执行效率，帮助我们分析select语句，让我们知道查询效率低下的原因，从而改进我们的查询。
profile
分析sql执行带来的开销是优化sql的重要手段。在MySQL数据库中，可以通过配置profiling参数来启用sql剖析。该参数开启后，后续执行的sql语句都将记录其资源开销，如IO，上下文切换，CPU，memory等。开启profile后，仅对当前session有效。执行的sql都会被profile记录。
开启profile：set@@profiling=1;
查看profile是否开启：select @@profiling；
查看已经被记录的sql：show profiles; (可以看到sql执行计划中每步的执行时间，以及cpu、内存、IO的消耗)
show profile for query n; —n为show profile中的query id
show profile cpu for query n;
show profile block for query n;
show profile memory for query n;
show profile cpu,block,io for query n;

sql优化

目的：

减少I/O次数；
降低CPU计算

方法：改变sql的执行计划，让其尽量“少走弯路”，尽量通过各种“捷径”来找到我们需要的数据，已达到“减少IO次数”和“降低CPU计算”的目标。

优化原则

尽量少join
尽量少排序：通过利用索引来排序的方式进行优化；减少参与排序的记录条数；非必要不对数据进行排序
尽量避免select*：其会造成全表扫描，显示所有的列，select需要的字段即可
尽量用jion代替子查询：mysql子查询执行计划一直存在较大的问题
尽量用union all 代替union：union 和union all的差异主要是前者需要将两个（或者多个）结果集合并后再进行唯一性过滤，这就会设计到排序，增加大量的CPU运算，加大资源消耗及延迟
禁用外键
避免大sql：一个sql只能在一个cpu上运行，高并发下，大sql容易影响性能问题；可能一个大sql把数据库搞死；拆分sql
保持事务的短小精悍：即开即用，用户即关；无关操作剔出事务，减少资源占用；保持一致性的前提下拆分事务
避免大批量更新：避开高峰；白天限制速度；加sleep
避免类型转换
避免取过量数据，建议使用limit
避免在sql语句中进行数据运算、函数运算、逻辑判断等操作
避免or：同一字段，推荐in；不同字符，推荐union
优先优化高并发的sql，而不是执行频率低某些大sql
从全局出发优化，而不是片面调整
尽可能对每一条运行在数据库中的sql进行explain
优化要从整个业务逻辑上进行。针对数据库问题进行的优化，首先要考虑不查或少查数据库，如果查询不可避免，可以考虑两种优化方式：避免磁盘IO，也就是让查询在内存中完成；通过sql和索引的调整，让MySQL用更高效的方式查询

锁
Lock的对象事务，用来锁定的是数据库中的对象，如表、行，并且一般lock的对象仅在事务commit或者rollback后释放。
特点：InnDB是通过对索引上的索引项加锁来实现行锁。意味着，只有通过索引条件检索数据，InnoDB才使用行级索，否则，InnoDB使用表级锁。
查看是否是死锁：
show engine innodb status \G;（一般日志中有dblock、lock等字样）
select * from information_schema.INNODB_TRX \G;
避免死锁方法：多线程并发下才有可能死锁；避免交叉加锁；减少涉及到的表，表联接会大大增加锁范围；避免全表更新；控制更新行数

非关系型数据库

关系型数据库通过外键关联来建立表与表之间的关系，非关系型数据库通常指数据以对象的形式存储在数据库中，而对象直接的关系通过每个对象自身的属性来决定。使用nosql的场景：数据库表schema经常变化、数据库字段是复杂的数据类型、高并发数据库请求、海量数据的分布式存储。
Nosql数据库的特点：

模式自由：不需要定义表结构，数据库中的每条记录都可能有不同的属性和格式
逆规范化：不遵循范式要求，去掉完整性约束，减少表之间的依赖
弹性可扩展：可在系统运行过程中，动态的删除和增加节点
多副本异步复制：数据快速写入一个节点，其余节点通过读取写入的日志来实现异步复制
若事务：不能完全满足事务的ACID特性，但是可以保证事务的最终一致

MongoDB
MongoDB是一款nosql类型的文档型数据库。集合=表，文档=数据。可以使用MongVUE可视化工具来连接。
MongoDB增删改查：

show dbs：查看数据库
db；查看当前数据库，db.dropDatabase();
show collections：查看集合
create collection：创建一个集合
use：创建一个数据或切换数据库，use mytest;
insert：插入数据，db.collectios.insert(doc);
find：查找数据，db.collectios.find(条件表达式);
update：修改数据，db.collectios.update({条件}，{更新的值})
remove：删除数据，，db.collectios.remove();

开启profile：MongoDB的profile和MySQL中的慢查询类似，用于记录执行时间超过多少的语句。
创建索引：db.collectios.ensureIndex({xx:1});，db.collectios. ensureIndex({xx:1,xx:1}); ensureIndex({xx:1},{“unique”:ture});
查看、删除索引：db.system.indexes.fine(); db.collections.getIndexes(); db.collections.dropIndex({xx:1}); db.user.dropIndexs();
expain：解析查询语句，db.colleciton.find({xx:xx}).explain();

Redis
连接redis，Linux下可以直接使用redis-cli进入redis命令行操作，也可以通过telnet方式连接，或可以通过redis-client可视化工具连接。
Redeis的增删改查：

select 1，选择第一个数据库
使用set关键字插入数据，set name andashu
使用get关键字获取数据，get name
使用del关键子删除数据，del name

Memcached
Memcached是一个高性能的分布式的内存对象缓存系统，目前全世界不少人使用这个缓存项目来构建自己大负载的网站，来分担数据库的压力，通过在内存里维护一个统一的巨大的hash表，它能够用来存储各种格式的数据，包括图像、视频、文件以及数据库检索的结果等。简单的说就是将数据调用到内存中，然后从内存中读取，从而大大提高读取速度。Memcached没有可视化工具，只能通过Telnet方式连接。
Memcached的增删改查:

增加使用add 关键字：
add key 0 存放时间数据大小
add name 0 30 5
查询使用get 关键字：
get key
get name
修改使用set或者replace关键字：set和replace的区别是set一个不存在的key时，会新增，replace一个不存在key时，会报错
set key 0 存放时间数据大小
replace key 0 存放时间数据大小
set name1 0 50 6
replace name 0 70 5
删除使用delete关键字
delete key
delete name1

这两年，IT行业面临经济周期波动与AI产业结构调整的双重压力，确实有很多运维与网络工程师因企业缩编或技术迭代而暂时失业。

很多人都在提运维网工失业后就只能去跑滴滴送外卖了，但我想分享的是，对于运维人员来说，即便失业以后仍然有很多副业可以尝试。

网工/运维/测试副业方向

运维网工，千万不要再错过这些副业机会！

第一个是知识付费类副业：输出经验打造个人IP

在线教育平台讲师

操作路径：在慕课网、极客时间等平台开设《CCNA实战》《Linux运维从入门到精通》等课程，或与培训机构合作录制专题课。
收益模式：课程销售分成、企业内训。

技术博客与公众号运营

操作路径：撰写网络协议解析、故障排查案例、设备评测等深度文章，通过公众号广告、付费专栏及企业合作变现。
收益关键：每周更新2-3篇原创，结合SEO优化与社群运营。

第二个是技术类副业：深耕专业领域变现

企业网络设备配置与优化服务

操作路径：为中小型企业提供路由器、交换机、防火墙等设备的配置调试、性能优化及故障排查服务。可通过本地IT服务公司合作或自建线上接单平台获客。
收益模式：按项目收费或签订年度维护合同。

远程IT基础设施代维

操作路径：通过承接服务器监控、日志分析、备份恢复等远程代维任务。适合熟悉Zabbix、ELK等技术栈的工程师。
收益模式：按工时计费或包月服务。

网络安全顾问与渗透测试

操作路径：利用OWASP Top 10漏洞分析、Nmap/BurpSuite等工具，为企业提供漏洞扫描、渗透测试及安全加固方案。需考取CISP等认证提升资质。
收益模式：单次渗透测试报告收费；长期安全顾问年费。

比如不久前跟我一起聊天的一个粉丝，他自己之前是大四实习的时候做的运维，发现运维7*24小时待命受不了，就准备转网安，学了差不多2个月，然后开始挖漏洞，光是补天的漏洞奖励也有个四五千，他说自己每个月的房租和饭钱就够了。

为什么我会推荐你网安是运维和网工测试人员的绝佳副业&转型方向?

1.你的经验是巨大优势: 你比任何人都懂系统、网络和架构。漏洞挖掘、内网渗透、应急响应，这些核心安全能力本质上是“攻击视角下的运维”。你的运维背景不是从零开始，而是降维打击。

2.越老越吃香，规避年龄危机: 安全行业极度依赖经验。你的排查思路、风险意识和对复杂系统的理解能力，会随着项目积累而愈发珍贵，真正做到“姜还是老的辣”。

3.职业选择极其灵活: 你可以加入企业成为安全专家，可以兼职“挖洞“获取丰厚奖金，甚至可以成为自由顾问。这种多样性为你提供了前所未有的抗风险能力。

4.市场需求爆发，前景广阔: 在国家级政策的推动下，从一线城市到二三线地区，安全人才缺口正在急剧扩大。现在布局，正是抢占未来先机的黄金时刻。

网工运维测试转行学习网络安全路线

在这里插入图片描述

（一）第一阶段：网络安全筑基

1. 阶段目标

你已经有运维经验了，所以操作系统、网络协议这些你不是零基础。但要学安全，得重新过一遍——只不过这次我们是带着“安全视角”去学。

2. 学习内容

**操作系统强化：**你需要重点学习 Windows、Linux 操作系统安全配置，对比运维工作中常规配置与安全配置的差异，深化系统安全认知（比如说日志审计配置，为应急响应日志分析打基础）。

**网络协议深化：**结合过往网络协议应用经验，聚焦 TCP/IP 协议簇中的安全漏洞及防护机制，如 ARP 欺骗、TCP 三次握手漏洞等（为 SRC 漏扫中协议层漏洞识别铺垫）。

**Web 与数据库基础：**补充 Web 架构、HTTP 协议及 MySQL、SQL Server 等数据库安全相关知识，了解 Web 应用与数据库在网安中的作用。

**编程语言入门：**学习 Python 基础语法，掌握简单脚本编写，为后续 SRC 漏扫自动化脚本开发及应急响应工具使用打基础。

**工具实战：**集中训练抓包工具（Wireshark）、渗透测试工具（Nmap）、漏洞扫描工具（Nessus 基础版）的使用，结合模拟场景练习工具应用（掌握基础扫描逻辑，为 SRC 漏扫工具进阶做准备）。

（二）第二阶段：漏洞挖掘与 SRC 漏扫实战

1. 阶段目标

这阶段是真正开始“动手”了。信息收集、漏洞分析、工具联动，一样不能少。

熟练运用漏洞挖掘及 SRC 漏扫工具，具备独立挖掘常见漏洞及 SRC 平台漏扫实战能力，尝试通过 SRC 挖洞搞钱，不管是低危漏洞还是高危漏洞，先挖到一个。

2. 学习内容

信息收集实战：结合运维中对网络拓扑、设备信息的了解，强化基本信息收集、网络空间搜索引擎（Shodan、ZoomEye）、域名及端口信息收集技巧，针对企业级网络场景开展信息收集练习（为 SRC 漏扫目标筛选提供支撑）。

漏洞原理与分析：深入学习 SQL 注入、CSRF、文件上传等常见漏洞的原理、危害及利用方法，结合运维工作中遇到的类似问题进行关联分析（明确 SRC 漏扫重点漏洞类型）。

工具进阶与 SRC 漏扫应用：

系统学习 SQLMap、BurpSuite、AWVS 等工具的高级功能，开展工具联用实战训练；
专项学习 SRC 漏扫流程：包括 SRC 平台规则解读（如漏洞提交规范、奖励机制）、漏扫目标范围界定、漏扫策略制定（全量扫描 vs 定向扫描）、漏扫结果验证与复现；
实战训练：使用 AWVS+BurpSuite 组合开展 SRC 平台目标漏扫，练习 “扫描 - 验证 - 漏洞报告撰写 - 平台提交” 全流程。
SRC 实战演练：选择合适的 SRC 平台（如补天、CNVD）进行漏洞挖掘与漏扫实战，积累实战经验，尝试获取挖洞收益。

恭喜你，如果学到这里，你基本可以下班搞搞副业创收了，并且具备渗透测试工程师必备的「渗透技巧」、「溯源能力」，让你在黑客盛行的年代别背锅，工作实现升职加薪的同时也能开创副业创收！

如果你想要入坑黑客&网络安全，笔者给大家准备了一份：全网最全的网络安全资料包需要保存下方图片，微信扫码即可前往获取!

因篇幅有限，仅展示部分资料，需要点击下方链接即可前往获取

优快云大礼包：《黑客&网络安全入门&进阶学习资源包》免费分享

（三）第三阶段：渗透测试技能学习

1. 阶段目标

全面掌握渗透测试理论与实战技能，能够独立完成渗透测试项目，编写规范的渗透测试报告，具备渗透测试工程师岗位能力，为护网红蓝对抗及应急响应提供技术支撑。

2. 学习内容

渗透测试核心理论：系统学习渗透测试流程、方法论及法律法规知识，明确渗透测试边界与规范（与红蓝对抗攻击边界要求一致）。

实战技能训练：开展漏洞扫描、漏洞利用、电商系统渗透测试、内网渗透、权限提升（Windows、Linux）、代码审计等实战训练，结合运维中熟悉的系统环境设计测试场景（强化红蓝对抗攻击端技术能力）。

工具开发实践：基于 Python 编程基础，学习渗透测试工具开发技巧，开发简单的自动化测试脚本（可拓展用于 SRC 漏扫自动化及应急响应辅助工具）。

报告编写指导：学习渗透测试报告的结构与编写规范，完成多个不同场景的渗透测试报告撰写练习（与 SRC 漏洞报告、应急响应报告撰写逻辑互通）。

（四）第四阶段：企业级安全攻防（含红蓝对抗）、应急响应

1. 阶段目标

掌握企业级安全攻防、护网红蓝对抗及应急响应核心技能，考取网安行业相关证书。

2. 学习内容

护网红蓝对抗专项：

红蓝对抗基础：学习护网行动背景、红蓝对抗规则（攻击范围、禁止行为）、红蓝双方角色职责（红队：模拟攻击；蓝队：防御检测与应急处置）；
红队实战技能：强化内网渗透、横向移动、权限维持、免杀攻击等高级技巧，模拟护网中常见攻击场景；
蓝队实战技能：学习安全设备（防火墙、IDS/IPS、WAF）联动防御配置、安全监控平台（SOC）使用、攻击行为研判与溯源方法；
模拟护网演练：参与团队式红蓝对抗演练，完整体验 “攻击 - 检测 - 防御 - 处置” 全流程。
应急响应专项：
应急响应流程：学习应急响应 6 步流程（准备 - 检测 - 遏制 - 根除 - 恢复 - 总结），掌握各环节核心任务；
实战技能：开展操作系统入侵响应（如病毒木马清除、异常进程终止）、数据泄露应急处置、漏洞应急修补等实战训练；
工具应用：学习应急响应工具（如 Autoruns、Process Monitor、病毒分析工具）的使用，提升处置效率；
案例复盘：分析真实网络安全事件应急响应案例（如勒索病毒事件），总结处置经验。
其他企业级攻防技能：学习社工与钓鱼、CTF 夺旗赛解析等内容，结合运维中企业安全防护需求深化理解。