线上出个 bug! MySQL 建个索引也有坑呢?

使用Mysql对URL进行索引 在抓取页面的时候,很重要的一点就是要对URL进行索引,避免重复抓取。 开始想了几条路线: 一个是自己做一个索引文件,定义一个bit数组,每一位代表对应的URL是否被抓取过(0或1)。对URL进行Hash或者crc到bit数组的指定位。虽然轻便,但是要自己维护,难免不会出bug。 一个是用Lucene或者Solr,虽然简单,但是有点重量级,感觉大炮打蚊子。 一个是用mysql,对URL进行c 阅读详情

前言

我只是创建个索引而已,没想到还这些遇到个诡异的问题!😱😱

话说你平时创建mysql时遇到过以下创建索引报错的情况吗?

报错提示如下

Specified key was too long; max key length is 767 bytes
//需要添加索引的字段的长度太长,超过了767字节

🚩什么?索引长度限制?我从没遇到过啊,MySQL还会对索引键的长度有限制?

是的,一般都不会遇到,不过这个问题我一个同事就遇到了!

他用同样表结构和加索引的语法,都是相同的,但是一个测试环境和一个线上MySQL版本,一个执行成功一个执行失败!

事故现场:

同事A的迭代开发测试完了,准备将环境放到预发布了,在添加索引的时候居然创建索引报错了,瞬间一脸郁闷,我测试过得了啊!

是的,没错,虽然测过了,但是因为版本不同,在为数据库字段类型(varchar(255))创建索引的时候,指定的字段有可能会超过了存储引擎默认的长度!

当然你会问,为啥要为varchar(255)创建索引啊,这个就不多追问了!

不过刚好趁对这个问题有印象,今天可以聊聊MySQL单表对索引限制的知识点!

不同存储引擎索引长度

既然MySQL 对每个单表中所创建的索引长度是有限制,我们先看下不同的存储引擎下对表的限制是什么样的。

图片

MyISAM

  • • 单列索引:最大长度不能超过 1000 bytes,否则会报警,但是创建成功,最终创建的是前缀索引(取前333个字符)。

  • • 联合索引:索引长度和不能超过 1000 bytes,否则会报错,创建失败

InnoDB
  • • 单列索引:超过 767 bytes的,给出warning,最终索引创建成功,取前缀索引(取前 255 字符)

  • • 联合索引:各列长度不超过 767 字节 ,如果有超过 767 bytes 的,则给出报警,索引最后创建成功,但是对于超过 767 字节的列取前缀索引,与索引列顺序无关,总和不得超过 3072 ,否则失败,无法创建

默认情况下utf编码一个字符占三个字节,也就是说在InnoDB引擎中,4个varchar(255)字段就把单表索引长度给占满了哦!

3072 / 767 约等于 4, 而varchar(255),在utf8编码下是765字节,因此四个varchar(255)字段就快超过综合3072了

MySQL版本对索引长度限制

图片

MySQL5.5 版本:引入了 innodb_large_prefix,用来禁用大型前缀索引,以便与不支持大索引键前缀的早期版本的 InnoDB 兼容

开启 innodb_large_prefix 可以使单索引的长度限制达到 3072 字节(但是联合索引总长度限制还是 3072 字节),禁用时单索引的长度限制为 767 字节
MySQL5.7: MySQL5.5版本与MySQL5.6 版本,innodb_large_prefix 是默认关闭的,在 MySQL5.7 及以上版本则默认开启
MySQL8.0 版本:innodb_large_prefix 已被移除,从版本 8.0 开始,索引长度限制由行格式决定

 若行格式为 DYNAMIC 或 COMPRESSED 时,限制值为 3072,而行格式 REDUNDANT 或 COMPACT 时,限制值为 767。

MySQL在5.7及以上版本在InnoDB引擎中默认行格式是 DYNAMIC,所以限制长度为3072字节。

字符集对索引长度影响

了解完存储引擎和不同MySQL版本对索引长度的限制,我们以InnoDB引擎为例,看MySQL不同的字符集对索引长度有啥影响。

未开启 innodb_large_prefix

图片

未开启 innodb_large_prefix

MySQL5.7默认开启了innodb_large_prefix,或者更高版本,比如MySQL8

图片

UTF8编码占用3个字节,能表示除了表情符之外的其他字符,UFT8mb4占用4个字节,既能表示汉字也能表示表情符。

解决方案

针对这个问题,一般来说可以考虑一下几种方式去处理

  • • 将varchar(255)字段改成更小的字符长度类型

  • • 如果是MySQL5.5版本与MySQL5.6 版本,可以启用innodb_large_prefix参数,来使得单个索引字段的长度突破767

  • • 这种大字段类型可以考虑前缀索引

毕竟varchar(255)这种长度的类型作为索引相对来说并不是那么合适!

MySQL排查篇:该如何定位并解决线上突发的Bug与疑难杂症? 其实排查这类问题不难,主要是得先定位到对应的线程,然后再找出OS线程对应的MySQL线程,找到对应的MySQL线程后,再找到其正在执行的SQL语句,因为线程是执行这条语句才导致占用高额CPU资源的,因此最后只需要把SQL的逻辑调整合理后,就能够彻底解决CPU占用过高的问题。为啥不写如何解决内存相关的问题呢? 阅读详情

相关推荐

海豚调度器(dolphinscheduler)再次使用,添加钉钉预警

1,首先我们部署是海豚调度器 1.3.8版本,由于页面只有邮件预警,所以在了解源码的同时,需要添加钉钉预警 2,说明,这一块是同事搞的,不是我搞的,新版本的dolphinscheduler已经有了钉钉模块,只是新版本还没有发布 3,我们现在只是添加简单的钉钉预警,任务成功或者失败会发送邮件+钉钉 4,具体操作 找到最新的源码devhttps://github1s.com/apache/dolphinscheduler/blob/dev/dolphinscheduler-alert/src/ma...

qq_31866793的博客 3086

MySQL 8.0中移除的功能(二)

• mysql_options()中的MYSQL_OPT_GUESS_CONNECTION、MYSQL_OPT_USE_EMBEDDED_CONNECTION、MYSQL_OPT_USE_REMOTE_CONNECTION和MYSQL_SET_CLIENT_IP选项。这个功能可能在MySQL 9.0中被移除。• CMake中的WITH_EMBEDDED_SERVER、WITH_EMBEDDED_SHARED_LIBRARY和INSTALL_SECURE_FILE_PRIV_EMBEDDEDDIR选项。

hay23455的博客 1380

su03t语音模块烧录识别不出问题解决方法

su03t语音sdk烧录无法识别问题

weixin_49387645的博客 6390

解决mysql创建索引时报错Index column size too large. The maximum column size is 767 bytes.

表的字段索引长度限制,由于MySQL的Innodb引擎表索引字段长度的限制为767字节,如果在varchar(255)或char(255)类型字段上创建索引会失败,当然还有其他情形也会产生此错误。然后重启mysql服务systemctl restart mysql。如此以后,添加索引就不会报此类错误。

shenxiaomo1688的博客 1458

从BAM到bigWig:用UCSC工具链完成测序数据可视化的完整流程

本文详细介绍了从BAM文件到bigWig格式的基因组数据可视化完整流程,涵盖UCSC工具链配置、文件格式转换、参数优化及常见问题解决方案。通过实战指南帮助研究人员高效完成测序数据可视化,特别适合ChIP-seq和RNA-seq数据分析。

weixin_29309213的博客 709

AUTOSAR—TM模块介绍及使用概要

根据所要测量的场景不同,有1us16bit、1us24bit、1us32bit、100us32bit四种类型可选;TM模块在服务层,提供一些基于时间的服务功能,如测量CPU和任务的负载,周期执行一些回调函数。2、对于需要在不同时间执行不同逻辑的周期任务中,可以搭建时间状态机:参考Tm用户手册;定时器复位、获取时间宽度、定时器转换、定时器同步、繁忙等待。偏移定时器实例的参考时间,直接将定时器数值进行偏移;以1us16bit定时器类型为例,讲几个常用函数。同步两个定时器,把源定时器时间值给到目的定时器。

qq_42479987的博客 613

小白学习MySQL - 索引键长度限制的问题

最近在工作中,碰到了个很诡异的问题,需求是在两个MySQL数据库为同一张表增加一个二级索引(单键值字段(x varchar(500))),表结构和加索引的语法,都是相同的,但是一个库执行成...

bisal的专栏 3047

【强化学习】强化学习中,训练过程的稳定性是什么?该如何进行衡量?请详细进行解释

在强化学习中,训练过程的稳定性指的是算法在训练过程中表现出一致的行为,并且能够稳定地收敛到一个好的策略。收敛性:算法是否能够在有限的时间内收敛到一个近似最优的策略。鲁棒性:算法在不同的初始条件或环境扰动下的表现是否稳定。方差:算法在多次运行中表现出的变异程度。稳定的训练过程意味着算法的训练曲线平滑奖励信号变化小,且策略或价值函数的变化是渐进的。

wq6qeg88的博客 1631

mysql 创建索引失败,MYSQL索引失效的各种情形总结

没有查询条件,或者查询条件没有建立索引在查询条件上没有使用引导列查询的数量是大表的大部分,应该是30%以上。索引本身失效查询条件使用函数在索引列上,或者对索引列进行运算,运算包括(+,-,,/,! 等) 错误的例子:selectfrom test where id-1=9; 正确的例子:select * from test where id=10;对小表查询提示不使用索引统计数据不真实CBO计算走...

weixin_29514317的博客 1494

DSI3接口介绍

DSI3(distributed system interface)分布式系统接口,是一种强大且通用的总线协议,旨在将多个遥感器和执行器互连到中央控制模块。在单总线中集成了电压信号、电流信号还有电源,甚至引用了3位状态机概念(反向数据),从逻辑0/1扩展到了0/1/2。

Airer_00的博客 4386

超详细!Linux 服务器 6 大核心性能测试(附自动脚本 + 结果分析秘籍)---Linux 服务器性能测试文档

本文档旨在提供 Linux 服务器的 CPU、内存和磁盘性能测试方案,包括详细的测试大纲、操作步骤以及一键化测试脚本,帮助管理员快速评估服务器性能状况。通过以上测试方案,可以全面评估 Linux 服务器的 CPU、内存和磁盘性能,为系统优化、容量规划和问题排查提供重要参考依据。使用 sysbench 进行 CPU 基准测试。使用 sysbench 测试内存读写性能。使用 fio 工具进行更全面的磁盘测试。使用 dd 命令测试磁盘顺序读写性能。使用 dd 命令测试内存读写速度。记录磁盘 IO 性能。

jundao1997的专栏 383

【058】MySQL 索引系列之二:7 个索引失效坑,让我半夜被叫起来改 BUG!菜鸟必看避坑指南

程序员王二处理生产环境数据库索引失效的案例,详细分析了7种常见的索引失效场景及解决方案:1)联合索引顺序错误;2)模糊查询%开头;3)对索引字段使用函数/运算;4)OR连接无索引字段;5)隐式类型转换;6)范围查询后字段失效;7)SELECT *回表过多。文中提供了Java测试代码验证不同场景下的性能差异,并总结了实用的"索引使用顺口溜"。最后指出技术问题的本质在于对细节的理解,开发者的成熟体现在提前规避风险的能力而非应急处理。

编程技术圈 965

LeRobot 入门教程(二)强化学习训练及 SmolVLA 模型微调

本文介绍了LeRobot框架中基于人类在环的样本高效强化学习(HIL-SERL)工作流,包含真实机器人训练和模拟环境训练两大模块。在真实机器人部分,详细说明了从配置设置、工作空间边界确定、演示数据收集、奖励分类器训练到演员-学习者架构部署的全流程,并强调了人类干预的关键作用。同时介绍了适用于模拟训练的gym_hil环境及其配置使用方法。最后,文章提供了微调SmolVLA基础模型的指南,包括数据集收集、微调步骤和模型评估方法。该工作流实现了人机协作的高效强化学习,适用于各类机器人操作任务。

2506_90492529的博客 3902

MySQL 逻辑删除 + 唯一索引踩坑实录:一次并发场景下的真实线上事故复盘

唯一索引不是补丁,而是数据库对你历史数据的一次终审。“你过去,其实早就出过问题。

weixin_44876263的博客 802

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

这个 MySQL bug 99% 的人会踩坑!

你好,我是坤哥这周收到一个 sentry 报警,如下 SQL 查询超时了。select*fromorder_infowhereuid=5837661orderbyid...

weixin_44742132的博客 190

锂电池充电器电路设计 里面有电路

锂电池充电器电路设计 里面有电路 3.7V升压到5V电路设计。

这个 MySQL bug 99% 的人会踩坑!

往期热门文章:1、公司产品太多了,怎么实现一次登录产品互通? 2、用了BigDecimal就不会资损?了解下BigDecimal这五个坑 3、一个依赖搞定 Spring Boot 反爬虫,防止接口盗刷! 4、千万不要把 Request 传递到异步线程里面!有坑! 5、不卷了!入职字节一周就果断跑了。最近收到一个 Sentry 报警,如下 SQL 查询超时了。select ...

Java后端技术 527

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

mysql在线上建索引_MySQL下使用Inplace和Online方式创建索引的教程

MySQL各版本,对于add Index的处理方式是不同的,主要有三种:(1)Copy Table方式这是InnoDB最早支持的创建索引的方式。顾名思义,创建索引是通过临时表拷贝的方式实现的。新建一个带有新索引的临时表,将原表数据全部拷贝到临时表,然后Rename,完成创建索引的操作。这个方式创建索引,创建过程中,原表是可读的。但是会消耗一倍的存储空间。(2)Inplace方式这是原生MySQL ...

weixin_28761725的博客 1809

MySQL 调优技巧|索引什么时候失效?为什么?

优化慢SQL,这是在工作或者面试中都不可避免的问题。这篇文章我们就来讲讲慢SQL的优化的一些方法!

面向生活编程 1185

这个 MySQL Bug 99% 的人会踩坑!

往期热门文章:1、一个Bug能有多大影响:亏损30亿、致6人死亡、甚至差点毁灭世界... 2、推荐几个9月爆火的 GitHub 电商项目 3、18 个终端命令行工具,绝对让你感觉自己像个1...

Java后端技术 359

【引用】这个 MySQL bug 99% 的人会踩坑!

这个 MySQL bug 99% 的人会踩坑!

wolf909867753的专栏 329

mysql数据获取方式 索引全扫描_MySQL 全索引扫描的bug

一 简介在检查某业务数据库的slowlog 时发现一个慢查询,查询时间 1.57s ,检查表结构 where条件字段存在正确的组合索引,正确的情况下优化器应该选择组合索引,而非为啥会导致慢查询呢? 且看本文慢慢分析。二 分析案例中的MySQL数据库版本 5.6.16 将生产环境的sql做适当修改,where条件不变。读者朋友可以测试一下其他的版本。root@rac1 10:48:11>exp...

weixin_39953102的博客 312

这个 MySQL bug,99% 的人会踩坑!

我们知道MySQL是基于成本来选择是基于全表扫描还是选择某个索引来执行最终的执行计划的,所以看起来是全表扫描的成本小于基于idx_uid_stat索引执行的成本,不过我的第一感觉很奇怪,这条SQL虽然是回表,但它的limit是1,也就是说只选择了满足uid=5837661中的其中一条语句,就算回表也只回一条记录,这种成本几乎可以忽略不计,优化器怎么会选择全表扫描呢。这种写法有关,如果n比较小很大概率会走全表扫描,如果n比较大则会选择正确的索引。......

m0_71777195的博客 246

MySQL唯一索引有重复值且不是bug的场景

围绕着关系型数据库唯一索引相关的问题,还是不少的,可参考历史文章,《MySQL唯一索引和NULL空值之间的关系》《Oracle唯一索引和NULL空值之间的关系》《MySQL和Oracle在索引名称唯一性方面的不同设计》《主键和唯一约束的索引肯定唯一?》碰巧看到GreatSQL社群推送的这篇文章《故障案例:MySQL唯一索引有重复值,官方却说This is not a bug》,给我们介绍了MySQ...

bisal的专栏 520
上一篇: 一口气搞懂分库分表 12 种分片算法,大厂都在用
下一篇: 10个最危险的Linux命令,rm -rf /* 排第一?
Java_2017_csdn
博客等级 码龄10年 329粉丝 49原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值