面试官:MySQL 上亿大表,如何深度优化?

MySQL常见面试题3 MySQL 面试核心知识点(第三弹)├── JOIN 实现原理│ ├── NLJ / BNLJ / Index NLJ 三种算法│ ├── 驱动表 vs 被驱动表│ └── 大表 JOIN 优化:加索引、小表驱动、分步查询│├── ORDER BY 底层原理│ ├── 索引有序扫描 vs filesort│ ├── 全字段排序 vs Rowid 排序│ ├── sort_buffer_size 调优│ └── 排序优化:覆盖索引、减少排序量│├── 深分页优化。 阅读详情

点击上方“芋道源码”,选择“设为星标”

管她前浪,还是后浪?

能浪的浪,才是好浪!

每天 10:33 更新文章,每天掉亿点点头发...

源码精品专栏

 

来源:cnblogs.com/YangJiaXin

/p/10828244.html

017827685b252732917bbd867b0fc23c.jpeg


前段时间刚入职一家公司,就遇上这事!

背景

XX实例(一主一从)xxx告警中每天凌晨在报SLA报警,该报警的意思是存在一定的主从延迟(若在此时发生主从切换,需要长时间才可以完成切换,要追延迟来保证主从数据的一致性)

XX实例的慢查询数量最多(执行时间超过1s的sql会被记录),XX应用那方每天晚上在做删除一个月前数据的任务

基于 Spring Boot + MyBatis Plus + Vue & Element 实现的后台管理系统 + 用户小程序,支持 RBAC 动态权限、多租户、数据权限、工作流、三方登录、支付、短信、商城等功能

  • 项目地址:https://github.com/YunaiV/ruoyi-vue-pro

  • 视频教程:https://doc.iocoder.cn/video/

分析

使用pt-query-digest工具分析最近一周的mysql-slow.log

pt-query-digest --since=148h mysql-slow.log | less

结果第一部分cbf188a57ce55c8cd4a6a55b02cde796.png

最近一个星期内,总共记录的慢查询执行花费时间为25403s,最大的慢sql执行时间为266s,平均每个慢sql执行时间5s,平均扫描的行数为1766万

结果第二部分fb38a9fa3b13564d595b7c3385ade3b2.png

select arrival_record操作记录的慢查询数量最多有4万多次,平均响应时间为4s,delete arrival_record记录了6次,平均响应时间258s。

select xxx_record语句

select arrival_record 慢查询语句都类似于如下所示,where语句中的参数字段是一样的,传入的参数值不一样 select count(*) from arrival_record where product_id=26 and receive_time between '2019-03-25 14:00:00' and '2019-03-25 15:00:00' and receive_spend_ms>=0\G

e329219a81bb760c2276a15ad48f2dfd.pngselect arrival_record 语句在mysql中最多扫描的行数为5600万、平均扫描的行数为172万,推断由于扫描的行数多导致的执行时间长

查看执行计划

explain select count(*) from arrival_record where product_id=26 and receive_time between '2019-03-25 14:00:00' and '2019-03-25 15:00:00' and receive_spend_ms>=0\G;
*************************** 1. row ***************************
id: 1
select_type: SIMPLE
table: arrival_record
partitions: NULL
type: ref
possible_keys: IXFK_arrival_record
key: IXFK_arrival_record
key_len: 8
ref: const
rows: 32261320
filtered: 3.70
Extra: Using index condition; Using where
1 row in set, 1 warning (0.00 sec)

用到了索引IXFK_arrival_record,但预计扫描的行数很多有3000多w行

show index from arrival_record;
+----------------+------------+---------------------+--------------+--------------+-----------+-------------+----------+--------+------+------------+---------+---------------+
| Table | Non_unique | Key_name | Seq_in_index | Column_name | Collation | Cardinality | Sub_part | Packed | Null | Index_type | Comment | Index_comment |
+----------------+------------+---------------------+--------------+--------------+-----------+-------------+----------+--------+------+------------+---------+---------------+
| arrival_record | 0 | PRIMARY | 1 | id | A | 107990720 | NULL | NULL | | BTREE | | |
| arrival_record | 1 | IXFK_arrival_record | 1 | product_id | A | 1344 | NULL | NULL | | BTREE | | |
| arrival_record | 1 | IXFK_arrival_record | 2 | station_no | A | 22161 | NULL | NULL | YES | BTREE | | |
| arrival_record | 1 | IXFK_arrival_record | 3 | sequence | A | 77233384 | NULL | NULL | | BTREE | | |
| arrival_record | 1 | IXFK_arrival_record | 4 | receive_time | A | 65854652 | NULL | NULL | YES | BTREE | | |
| arrival_record | 1 | IXFK_arrival_record | 5 | arrival_time | A | 73861904 | NULL | NULL | YES | BTREE | | |
+----------------+------------+---------------------+--------------+--------------+-----------+-------------+----------+--------+------+------------+---------+---------------+
show create table arrival_record;
..........
arrival_spend_ms bigint(20) DEFAULT NULL,
total_spend_ms bigint(20) DEFAULT NULL,
PRIMARY KEY (id),
KEY IXFK_arrival_record (product_id,station_no,sequence,receive_time,arrival_time) USING BTREE,
CONSTRAINT FK_arrival_record_product FOREIGN KEY (product_id) REFERENCES product (id) ON DELETE NO ACTION ON UPDATE NO ACTION
) ENGINE=InnoDB AUTO_INCREMENT=614538979 DEFAULT CHARSET=utf8 COLLATE=utf8_bin |
  • 该表总记录数约1亿多条,表上只有一个复合索引,product_id字段基数很小,选择性不好

  • 传入的过滤条件 where product_id=26 and receive_time between '2019-03-25 14:00:00' and '2019-03-25 15:00:00' and receive_spend_ms>=0 没有station_nu字段,使用不到复合索引 IXFK_arrival_record的 product_id,station_no,sequence,receive_time 这几个字段

  • 根据最左前缀原则,select arrival_record只用到了复合索引IXFK_arrival_record的第一个字段product_id,而该字段选择性很差,导致扫描的行数很多,执行时间长

  • receive_time字段的基数大,选择性好,可对该字段单独建立索引,select arrival_record sql就会使用到该索引

现在已经知道了在慢查询中记录的select arrival_record where语句传入的参数字段有 product_id,receive_time,receive_spend_ms,还想知道对该表的访问有没有通过其它字段来过滤了?


神器tcpdump出场的时候到了

使用tcpdump抓包一段时间对该表的select语句

tcpdump -i bond0 -s 0 -l -w - dst port 3316 | strings | grep select | egrep -i 'arrival_record' >/tmp/select_arri.log

获取select 语句中from 后面的where条件语句

IFS_OLD=$IFS
IFS=$'\n'
for i in `cat /tmp/select_arri.log `;do echo ${i#*'from'}; done | less
IFS=$IFS_OLD
arrival_record arrivalrec0_ where arrivalrec0_.sequence='2019-03-27 08:40' and arrivalrec0_.product_id=17 and arrivalrec0_.station_no='56742'
arrival_record arrivalrec0_ where arrivalrec0_.sequence='2019-03-27 08:40' and arrivalrec0_.product_id=22 and arrivalrec0_.station_no='S7100'
arrival_record arrivalrec0_ where arrivalrec0_.sequence='2019-03-27 08:40' and arrivalrec0_.product_id=24 and arrivalrec0_.station_no='V4631'
arrival_record arrivalrec0_ where arrivalrec0_.sequence='2019-03-27 08:40' and arrivalrec0_.product_id=22 and arrivalrec0_.station_no='S9466'
arrival_record arrivalrec0_ where arrivalrec0_.sequence='2019-03-27 08:40' and arrivalrec0_.product_id=24 and arrivalrec0_.station_no='V4205'
arrival_record arrivalrec0_ where arrivalrec0_.sequence='2019-03-27 08:40' and arrivalrec0_.product_id=24 and arrivalrec0_.station_no='V4105'
arrival_record arrivalrec0_ where arrivalrec0_.sequence='2019-03-27 08:40' and arrivalrec0_.product_id=24 and arrivalrec0_.station_no='V4506'
arrival_record arrivalrec0_ where arrivalrec0_.sequence='2019-03-27 08:40' and arrivalrec0_.product_id=24 and arrivalrec0_.station_no='V4617'
arrival_record arrivalrec0_ where arrivalrec0_.sequence='2019-03-27 08:40' and arrivalrec0_.product_id=22 and arrivalrec0_.station_no='S8356'
arrival_record arrivalrec0_ where arrivalrec0_.sequence='2019-03-27 08:40' and arrivalrec0_.product_id=22 and arrivalrec0_.station_no='S8356'
select 该表 where条件中有product_id,station_no,sequence字段,可以使用到复合索引IXFK_arrival_record的前三个字段

综上所示,优化方法为,删除复合索引IXFK_arrival_record,建立复合索引idx_sequence_station_no_product_id,并建立单独索引indx_receive_time

delete xxx_record语句

a0c9a960992d9bfa6df6565ed0764cc9.png

该delete操作平均扫描行数为1.1亿行,平均执行时间是262s

delete语句如下所示,每次记录的慢查询传入的参数值不一样

delete from arrival_record where receive_time < STR_TO_DATE('2019-02-23', '%Y-%m-%d')\G

执行计划

explain select * from arrival_record where receive_time < STR_TO_DATE('2019-02-23', '%Y-%m-%d')\G
*************************** 1. row ***************************
id: 1
select_type: SIMPLE
table: arrival_record
partitions: NULL
type: ALL
possible_keys: NULL
key: NULL
key_len: NULL
ref: NULL
rows: 109501508
filtered: 33.33
Extra: Using where
1 row in set, 1 warning (0.00 sec)

该delete语句没有使用索引(没有合适的索引可用),走的全表扫描,导致执行时间长

优化方法也是 建立单独索引indx_receive_time(receive_time)

基于 Spring Cloud Alibaba + Gateway + Nacos + RocketMQ + Vue & Element 实现的后台管理系统 + 用户小程序,支持 RBAC 动态权限、多租户、数据权限、工作流、三方登录、支付、短信、商城等功能

  • 项目地址:https://github.com/YunaiV/yudao-cloud

  • 视频教程:https://doc.iocoder.cn/video/

测试

拷贝arrival_record表到测试实例上进行删除重新索引操作XX实例arrival_record表信息

du -sh /datas/mysql/data/3316/cq_new_cimiss/arrival_record*
12K /datas/mysql/data/3316/cq_new_cimiss/arrival_record.frm
48G /datas/mysql/data/3316/cq_new_cimiss/arrival_record.ibd
select count() from cq_new_cimiss.arrival_record;
+-----------+
| count() |
+-----------+
| 112294946 |
+-----------+
1亿多记录数

SELECT
table_name,
CONCAT(FORMAT(SUM(data_length) / 1024 / 1024,2),'M') AS dbdata_size,
CONCAT(FORMAT(SUM(index_length) / 1024 / 1024,2),'M') AS dbindex_size,
CONCAT(FORMAT(SUM(data_length + index_length) / 1024 / 1024 / 1024,2),'G') AS table_size(G),
AVG_ROW_LENGTH,table_rows,update_time
FROM
information_schema.tables
WHERE table_schema = 'cq_new_cimiss' and table_name='arrival_record';
+----------------+-------------+--------------+------------+----------------+------------+---------------------+
| table_name | dbdata_size | dbindex_size | table_size(G) | AVG_ROW_LENGTH | table_rows | update_time |
+----------------+-------------+--------------+------------+----------------+------------+---------------------+
| arrival_record | 18,268.02M | 13,868.05M | 31.38G | 175 | 109155053 | 2019-03-26 12:40:17 |
+----------------+-------------+--------------+------------+----------------+------------+---------------------+

磁盘占用空间48G,mysql中该表大小为31G,存在17G左右的碎片,大多由于删除操作造成的(记录被删除了,空间没有回收)


备份还原该表到新的实例中,删除原来的复合索引,重新添加索引进行测试

mydumper并行压缩备份

user=root
passwd=xxxx
socket=/datas/mysql/data/3316/mysqld.sock
db=cq_new_cimiss
table_name=arrival_record
backupdir=/datas/dump_$table_name
mkdir -p $backupdir
  nohup echo `date +%T` && mydumper -u $user -p $passwd -S $socket -B $db -c -T $table_name -o $backupdir -t 32 -r 2000000 && echo `date +%T` &

并行压缩备份所花时间(52s)和占用空间(1.2G,实际该表占用磁盘空间为48G,mydumper并行压缩备份压缩比相当高!)

Started dump at: 2019-03-26 12:46:04
........

Finished dump at: 2019-03-26 12:46:56

du -sh   /datas/dump_arrival_record/
1.2G  /datas/dump_arrival_record/

拷贝dump数据到测试节点

scp -rp /datas/dump_arrival_record root@10.230.124.19:/datas

多线程导入数据

time myloader -u root -S /datas/mysql/data/3308/mysqld.sock -P 3308 -p root -B test -d /datas/dump_arrival_record -t 32

real 126m42.885s user 1m4.543s sys 0m4.267s

逻辑导入该表后磁盘占用空间

du -h -d 1 /datas/mysql/data/3308/test/arrival_record.*
12K /datas/mysql/data/3308/test/arrival_record.frm
30G /datas/mysql/data/3308/test/arrival_record.ibd
没有碎片,和mysql的该表的大小一致
cp -rp /datas/mysql/data/3308 /datas

分别使用online DDL和 pt-osc工具来做删除重建索引操作 先删除外键,不删除外键,无法删除复合索引,外键列属于复合索引中第一列

nohup bash /tmp/ddl_index.sh &
2019-04-04-10:41:39 begin stop mysqld_3308
2019-04-04-10:41:41 begin rm -rf datadir and cp -rp datadir_bak
2019-04-04-10:46:53 start mysqld_3308
2019-04-04-10:46:59 online ddl begin
2019-04-04-11:20:34 onlie ddl stop
2019-04-04-11:20:34 begin stop mysqld_3308
2019-04-04-11:20:36 begin rm -rf datadir and cp -rp datadir_bak
2019-04-04-11:22:48 start mysqld_3308
2019-04-04-11:22:53 pt-osc begin
2019-04-04-12:19:15 pt-osc stop
online ddl 花费时间为34 分钟,pt-osc花费时间为57 分钟,使用onlne ddl时间约为pt-osc工具时间的一半

*做DDL 参考 *



82df9f27a9ab272a1967b22b3a99ca06.png

实施

由于是一主一从实例,应用是连接的vip,删除重建索引采用online ddl来做。停止主从复制后,先在从实例上做(不记录binlog),主从切换,再在新切换的从实例上做(不记录binlog)

function red_echo () {

        local what="$*"
        echo -e "$(date +%F-%T)  ${what}"
}

function check_las_comm(){
    if [ "$1" != "0" ];then
        red_echo "$2"
        echo "exit 1"
        exit 1
    fi
}

red_echo "stop slave"
mysql -uroot -p$passwd --socket=/datas/mysql/data/${port}/mysqld.sock -e"stop slave"
check_las_comm "$?" "stop slave failed"

red_echo "online ddl begin"
 mysql -uroot -p$passwd --socket=/datas/mysql/data/${port}/mysqld.sock -e"set sql_log_bin=0;select now() as  ddl_start;ALTER TABLE $db_.\`${table_name}\` DROP FOREIGN KEY FK_arrival_record_product,drop index IXFK_arrival_record,add index idx_product_id_sequence_station_no(product_id,sequence,station_no),add index idx_receive_time(receive_time);select now() as ddl_stop" >>${log_file} 2>& 1
 red_echo "onlie ddl stop"
 red_echo "add foreign key"
 mysql -uroot -p$passwd --socket=/datas/mysql/data/${port}/mysqld.sock -e"set sql_log_bin=0;ALTER TABLE $db_.${table_name} ADD CONSTRAINT _FK_${table_name}_product FOREIGN KEY (product_id) REFERENCES cq_new_cimiss.product (id) ON DELETE NO ACTION ON UPDATE NO ACTION;" >>${log_file} 2>& 1
 check_las_comm "$?" "add foreign key error"
 red_echo "add foreign key stop"

red_echo "start slave"
mysql -uroot -p$passwd --socket=/datas/mysql/data/${port}/mysqld.sock -e"start slave"
check_las_comm "$?" "start slave failed"

*执行时间 *

2019-04-08-11:17:36 stop slave mysql: [Warning] Using a password on the command line interface can be insecure. ddl_start 2019-04-08 11:17:36ddl_stop 2019-04-08 11:45:132019-04-08-11:45:13 onlie ddl stop 2019-04-08-11:45:13 add foreign key mysql: [Warning] Using a password on the command line interface can be insecure. 2019-04-08-12:33:48 add foreign key stop 2019-04-08-12:33:48 start slave

*再次查看delete 和select语句的执行计划 *

explain select count(*) from arrival_record where receive_time < STR_TO_DATE('2019-03-10', '%Y-%m-%d')\G
*************************** 1. row ***************************
id: 1
select_type: SIMPLE
table: arrival_record
partitions: NULL
type: range
possible_keys: idx_receive_time
key: idx_receive_time
key_len: 6
ref: NULL
rows: 7540948
filtered: 100.00
Extra: Using where; Using index
explain select count(*) from arrival_record where product_id=26 and receive_time between '2019-03-25 14:00:00' and '2019-03-25 15:00:00' and receive_spend_ms>=0\G;
*************************** 1. row ***************************
id: 1
select_type: SIMPLE
table: arrival_record
partitions: NULL
type: range
possible_keys: idx_product_id_sequence_station_no,idx_receive_time
key: idx_receive_time
key_len: 6
ref: NULL
rows: 291448
filtered: 16.66
Extra: Using index condition; Using where
都使用到了idx_receive_time 索引,扫描的行数大大降低

索引优化后

delete 还是花费了77s时间

delete from arrival_record where receive_time < STR_TO_DATE('2019-03-10', '%Y-%m-%d')\G
672ac9a1cf3db3d33ccb78aa9facab2c.png

delete 语句通过receive_time的索引删除300多万的记录花费77s时间*

delete大表优化为小批量删除

*应用端已优化成每次删除10分钟的数据(每次执行时间1s左右),xxx中没在出现SLA(主从延迟告警) *0dce911a47b4480f41068304ad08ce16.png

*另一个方法是通过主键的顺序每次删除20000条记录 *

#得到满足时间条件的最大主键ID
#通过按照主键的顺序去 顺序扫描小批量删除数据
#先执行一次以下语句
 SELECT MAX(id) INTO @need_delete_max_id FROM `arrival_record` WHERE receive_time<'2019-03-01' ;
 DELETE FROM arrival_record WHERE id<@need_delete_max_id LIMIT 20000;
 select ROW_COUNT();  #返回20000


#执行小批量delete后会返回row_count(), 删除的行数
#程序判断返回的row_count()是否为0,不为0执行以下循环,为0退出循环,删除操作完成
 DELETE FROM arrival_record WHERE id<@need_delete_max_id LIMIT 20000;
 select ROW_COUNT();
#程序睡眠0.5s

总结

  • 表数据量太大时,除了关注访问该表的响应时间外,还要关注对该表的维护成本(如做DDL表更时间太长,delete历史数据)。

  • 对大表进行DDL操作时,要考虑表的实际情况(如对该表的并发表,是否有外键)来选择合适的DDL变更方式。

  • 对大数据量表进行delete,用小批量删除的方式,减少对主实例的压力和主从延迟。



欢迎加入我的知识星球,一起探讨架构,交流源码。加入方式,长按下方二维码噢:

bcbd082600485b0f453a5f7a53aad88c.png

已在知识星球更新源码解析如下:

1cccfd610355eed159940e55020f941f.jpeg

339d30ed46f6dde735cc860e90bddcca.jpeg

4ace9601e72d6aa95ddf22d6bedf726d.jpeg

1807458f56bd3cb90c4a1b959797b789.jpeg

最近更新《芋道 SpringBoot 2.X 入门》系列,已经 101 余篇,覆盖了 MyBatis、Redis、MongoDB、ES、分库分表、读写分离、SpringMVC、Webflux、权限、WebSocket、Dubbo、RabbitMQ、RocketMQ、Kafka、性能测试等等内容。

提供近 3W 行代码的 SpringBoot 示例,以及超 4W 行代码的电商微服务项目。

获取方式:点“在看”,关注公众号并回复 666 领取,更多内容陆续奉上。

文章有帮助的话,在看,转发吧。
谢谢支持哟 (*^__^*)
qcc304x笔记之手机端显示电量(九) 默认的sdk有些安卓手机不支持电量显示,所以需要加电量显示的补丁 流程分析 1. 首先新建一个task,并将task注册给电池模块 appBatteryRegister(batteryRegistrationForm) 实现handler处理函数,当battery模块电池电量更新后,会将电池百分比值发送到本模块,然后我们就可以在handler中将实时电量同步到手机端了。 hfpAtCmdInit atCmdTask.task.handler = appAtCmdHandleM... 阅读详情

相关推荐

项目计划书、规划文档模板

项目计划书、规划文档模板 最近通过项目实践经历,整理出的一套项目计划书(仅供自己参考梳理思路使用) 有喜欢的文末加VX 辛苦码字如有转载请标明出处谢谢!——木研 更新的简版项目规划文档! 原版文件请+vx :baierfa ...

weixin_43194923的博客 992

MySQL亿级大表优化实战....

编辑:业余草来源:https://www.xttblog.com/?p=4951背景XX 实例(一主一从)xxx 告警中每天凌晨在报 SLA 报警,该报警的意思是存在一定的主从延迟。(...

xmt1139057136的专栏 1521

STM32CubeMX的正交编码器encoder

由于最近干活遇到需要获取正交编码的功能,所以返回来研究一下STM32CubeMX的编码器功能,之前也更新过STM32的定时器功能,但是因为之前搞平衡车的正交编码器没有搞清楚原理,就直接用了脉冲输入功能草草了事,现在也算是为之前的年轻买单了,不过看到现有的Encoder说明都比较简单,所以就当是为开发者做贡献了,我研究清楚之后来一篇博客。

ASWaterbenben的博客 1万+

MySQL 上亿大表如何优化?

点击上方“Java基基”,选择“设为星标”做积极的人,而不是积极废人!每天14:00更新文章,每天掉亿点点头发...源码精品专栏原创 | Java 2021超神之路,很肝~中文详细注释的开源项目RPC 框架 Dubbo 源码解析网络应用框架 Netty 源码解析消息中间件 RocketMQ 源码解析数据库中间件 Sharding-JDBC 和 MyCAT 源码解析作业调度中间件 Elast...

weixin_44421461的博客 188

从流量到凭证:实战解析SMB协议中的NTLMv2/v1哈希提取与破解

本文详细解析了SMB协议中NTLMv2/v1哈希的提取与破解实战技巧。从流量捕获、哈希格式处理到Hashcat高效破解,提供了一套完整的操作指南。文章特别强调了NTLMv2和NTLMv1哈希的区别及处理要点,并分享了防护建议与检测方法,帮助安全人员提升渗透测试效率。

weixin_30642561的博客 118

国产AI芯动力:复旦微FMQL100TAI900 FPGA原型验证板全解析

本文全面解析了复旦微FMQL100TAI900 FPGA原型验证板在国产AI硬件领域的创新突破。该板卡采用全栈国产化设计,具备出色的AI推理性能、视频处理能力和接口生态,特别适合工业质检、智能交通等场景。文章详细介绍了其芯片架构、存储子系统、接口扩展及电源设计,并分享了实战开发经验,为开发者提供了一套可靠的国产计算平台解决方案。

weixin_29250573的博客 458

MySQL调优到底有多难,为什么大厂面试官总是偏爱这个问题

前两天我突然看到了一组数据,让我有点震惊!国内居然有83%的开发人员都在使用MySQL数据库!我承认是我格局小了,不过后来冷静下来仔细想了想倒也确实如此,毕竟MySQL是互联网中非常热门的数据库,在高并发业务场景下,一条好的SQL语句能为企业节省大量的运作时间和成本。如果优化得好,每秒可高达 57 万的写入!这也是为何互联网大厂面试官最爱考察数据库底层和性能调优的原因。因此,了解其底层原理和架构的设计非常重要,比如 MySQL的存储引擎,很大程度上决定了 MySQL 整体的执行效率和工作性能。

z1ztai的博客 1961

高效穿搭博主内容制作指南:DeepSeek+豆包+即梦AI+剪映黄金工作流

大家好,我是硅基打工人! 只需3步实现AI自动化生成穿搭带货图文,日均产出效率提升10倍

TuFuir的博客 2677

腾讯技术专家整理的MySQL深度优化四件套:深度优化+面试集锦+思维导图

作为一名后端开发,MySQL 是工作上最常用的关系型数据库之一。但随着移动互联网的高速发展,集群架构已经成为主流趋势,对于数据库的高并发,高可用等指标的要求也越来越高。 应聘者是否具备相应的底层机制和原理的驾驭能力,成为了互联网公司筛选人才的重要考核标准。如果只停留在建库、创表、增删查改等基本操作的水平,迟早会被企业淘汰掉。比如,面试官经常会问到: 如何提高查询语句性能?如何突破单库性能瓶颈?如何做到数据库的高并发与高可用? 为了解答MySQL 体系架构、执行流程、索引优化等问题,这里给大家推荐.

weixin_50666791的博客 174

避坑指南:LISFLOOD-FP模型数据单位、参数文件与results文件夹结果解析全攻略

本文详细解析了LISFLOOD-FP洪水模拟模型的关键应用环节,包括数据单位校验、参数文件优化及结果文件解读与可视化。特别针对常见的单位混淆问题,提供了从DEM到边界条件的全面校验方法,并深入剖析了.par参数文件的配置技巧,帮助用户避免模型崩溃和结果失真。

weixin_42533622的博客 237

32、机械臂数字孪生模型创建指南

本文介绍了如何在MATLAB Simscape中为一款3自由度(DOF)微型机械臂创建数字孪生模型。内容涵盖硬件参数测量、Simulink模型搭建流程,包括初始条件设置、基座与上部主体构建、上臂结构设计等关键步骤。通过使用Solid、Revolute Joint和Rigid Transform等模块,实现机械臂多体系统建模,并支持后续运动仿真与物理系统的对比诊断。读者可依据指南逐步完成模型构建,相关资源可通过MATLAB File Exchange或指定网站获取。

qsc9012345的博客 217

mysql 索引类型_颠覆你的认知!MySQL深度优化四件套:深度优化+面试集锦+思维导图...

作为一名后端开发,MySQL 是工作上最常用的关系型数据库之一。但随着移动互联网的高速发展,集群架构已经成为主流趋势,对于数据库的高并发,高可用等指标的要求也越来越高。应聘者是否具备相应的底层机制和原理的驾驭能力,成为了互联网公司筛选人才的重要考核标准。如果只停留在建库、创表、增删查改等基本操作的水平,迟早会被企业淘汰掉。比如,面试官经常会问到:如何提高查询语句性能?如何突破单库性能瓶颈?如何做到...

weixin_39537049的博客 87

【ELK】最新版ELK日志搜集,过滤与展示,手把手教你搭建企业级ELK日志平台

ELFK是一套完整的日志集中处理方案。 E:ElasticSearck ES 分布式索引型非关系数据库 存储logstash输出的日志 全文检索引擎,保存的格式是json格式 L:logstash 基于java语言开发的,数据收集引擎。日志的收集,可以对数据进行过滤,分析,汇总,以标准格式输出 K:Kiabana 是es的可视化工具。对es存储的数据进行可视化展示,分析和检索。 F: FileBeat是一个轻量级日志采集器,Filebeat属于Beats家族的6个成员之一。

景天科技苑 7万+

美团面试:ES+Redis+MySQL高可用,如何实现?

HA高可用、异地多活 相关的面试题,是非常常见的面试题。以上的内容,如果大家能对答如流,如数家珍,基本上 面试官会被你 震惊到、吸引到。最终,让面试官爱到 “不能自已、口水直流”。offer, 也就来了。在面试之前,建议大家系统化的刷一波 5000页《尼恩Java面试宝典PDF》,里边有大量的大厂真题、面试难题、架构难题。很多小伙伴刷完后, 吊打面试官, 大厂横着走。在刷题过程中,如果有啥问题,大家可以来 找 40岁老架构师尼恩交流。另外,如果没有面试机会,可以找尼恩来帮扶、领路。

架构师尼恩 2180

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

MySQL索引深度优化:B+树原理与最左前缀原则的实战指南

值得注意的是,随着2025年人工智能和大数据技术的进一步发展,数据库 workloads 正在发生显著变化。越来越多的企业开始部署AI驱动的查询优化器,但即便如此,基础索引原理的理解仍然不可或缺。正如业界专家所指出的:“再智能的优化器也无法弥补糟糕的索引设计。对于有志于成为优秀架构师的技术人而言,深入掌握MySQL索引优化不仅是为了应对面试,更是为了在实际工作中构建高性能、高可用的系统架构。接下来的章节将带领大家踏上这段从原理到实践的深度探索之旅。

zuiyuelong的博客 1289

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

吃透【MySQL深度优化四件套】,面试可以横着走(建议收藏)

作为一名后端开发,MySQL 是工作上最常用的关系型数据库之一。但随着移动互联网的高速发展,集群架构已经成为主流趋势,对于数据库的高并发,高可用等指标的要求也越来越高。 应聘者是否具备相应的底层机制和原理的驾驭能力,成为了互联网公司筛选人才的重要考核标准。如果只停留在建库、创表、增删查改等基本操作的水平,迟早会被企业淘汰掉。比如,面试官经常会问到: 如何提高查询语句性能? 如何突破单库性能瓶颈?...

xingduan5153的博客 405

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

颠覆认知的MySQL性能优化四件套:深度优化+面试集锦+思维导图

作为一名后端开发,MySQL 是工作上最常用的关系型数据库之一。但随着移动互联网的高速发展,集群架构已经成为主流趋势,对于数据库的高并发,高可用等指标的要求也越来越高。 应聘者是否具备相应的底层机制和原理的驾驭能力,成为了互联网公司筛选人才的重要考核标准。如果只停留在建库、创表、增删查改等基本操作的水平,迟早会被企业淘汰掉。比如,面试官经常会问到: 如何提高查询语句性能?如何突破单库性能瓶颈?如何做到数据库的高并发与高可用? 为了解答MySQL 体系架构、执行流程、索引优化等问题,这里给大家推荐.

文章中资料均可获取,有需要请添加yunduoa2019即可 116

GLM-4.7-Flash应用场景:HR智能面试官——岗位JD解析+候选人问答生成

本文介绍了如何利用星图GPU平台自动化部署GLM-4.7-Flash镜像,构建HR智能面试官应用。该方案能深度解析岗位描述,并自动生成专业、结构化的面试问题与模拟回答,显著提升招聘环节的效率和专业性。

weixin_31688273的博客 101

面试官没告诉你的索引冷知识:从哈希碰撞到回表优化的工程实践

本文深入解析MySQL索引的B+树结构及其工程实践优化,涵盖聚簇索引、回表问题、联合索引的最左匹配原则等核心知识点。通过实际案例和SQL示例,揭示索引失效的边界条件及优化策略,帮助开发者提升数据库查询性能。特别适合面试准备及生产环境索引优化参考。

weixin_29231263的博客 852

AI时代Java程序员的核心竞争力:JVM调优、并发编程与MySQL深度优化

在软件开发领域,理解底层原理和系统性能优化是工程师的核心价值。从计算机科学基础概念出发,程序运行时的内存管理、并发控制与数据库操作是构建高可用系统的关键技术支柱。JVM(Java虚拟机)作为Java应用的运行环境,其内存模型与垃圾回收机制直接决定了应用的稳定性和吞吐量;并发编程涉及多线程协同与数据一致性,是应对高并发场景的基石;而MySQL等关系型数据库的索引原理、事务隔离与锁机制,则是保障数据准确性与查询效率的关键。这些深度知识构成了解决线上复杂问题(如内存泄漏、死锁、慢查询)的能力,也是当前企业技术选型

weixin_33888907的博客 426

java.sql SQLException: no such table: user

💡 亲爱的技术伙伴们:你是否正在为这些问题焦虑——✅ 简历投出去杳无音信,明明技术不差却总卡在面试?✅ 每次终面都紧张不已,不知道面试官到底想要什么答案?✅ 技术知识点零零散散,遇到系统设计题就头脑一片空白?🎯这不是普通的面试题汇总,而是凝聚多年面试官经验的。我不仅告诉你答案,更帮你建立面试官的思维模式。🔗🎯 精准人群定位🔥 《》(完整技术体系)🚀⚡🌊🛠️🔒🔄👥🏗️🚀 立即行动,改变从现在开始!🔗不要再让面试成为你职业发展的绊脚石!用时间系统准备,轻松应对各种技术面试场景。💪。

我是Java程序员廖志伟,感谢朋友们的支持!不定期贡献一篇高品质、过万文字、图文并茂且附有视频解说、满载代码示例注释的良心之作,坚决杜绝粗制乱造。 846
上一篇: 我在项目里用@Transactional注解控制事务,结果完全不生效,纳尼?
下一篇: 发现一个超级牛逼的实战项目,太强了!
公众号-芋道源码
博客等级 码龄10年 1639粉丝 377原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值