MySQL优化:淘宝核心库上的MySQL运维

淘宝MySQL分布式处理系统Cobar部署 立即下载

        业界举世瞩目的“2012数据库技术大会”已于2012年4月13日在京盛大召开,本次大会已经是IT168、ITPUB、IXPUB、ChinaUnix联合主办的第三届数据库技术会议。大会将针对大数据架构设计、数据库安全、分布式数据库、商业智能、NoSQL、Hadoop等多个重点话题进行深入探讨。此次大会得到了全国数据库技术高手们的高度关注与支持,是当前象征最高技术水平的数据库工程师盛会。


        在当天下午的MySQL应用实践专场中来自淘宝网的DBA架构师周振兴为与会人员带了淘宝核心库优化实践课程《核心库上的MySQL运维》。


        MySQL已经成为淘宝最主要的在线数据存储工具,周振兴老师这次将为大家介绍淘宝MySQL DB架构,以及如何实现切换(Failover)、如何优化、维护MySQL,从而低成本,高效率的支持淘宝在线数据业务。




MySQL@TaoBao


        周振兴介绍说,MySQL在淘宝已经支撑起相当多的业务,登录过淘宝的用户都会看到以下所示的界面。



▲ 淘宝购物界面


        此界面中的多数信息都是存放在MySQL中的,如URL、欢迎信息、价格、物流、评价等。淘宝的业务是垂直划分的,如商品中心、交易中心等很多业务线,所有的APP都是通过中间层TDDL(淘宝分布式数据层)访问到数据库(群集)。商品中心现有5TB的数据,应用、搜索和数据仓库都需要用到数据库,但搜索和数据仓库通过中间层访问的是数据库中的配置信息,监控系统会随时异常的访问进行预警。

        容灾也是DBA必须要考虑的,多个MySQL主机中的某台主机一旦发生故障,如果是关键节点,则会自动将其访问切换到其他主机上,早期通过IP地址实现数据库的切换,提供给客户端的数据库连接IP,因为切换后,IP地址变了,如果手动更改程序,就不太现实。所以,现在改用域名的方式。因为DNS可以进行相应的配置。操作起来比较灵活。


MySQL表优化

        周振兴现场为大家介绍了MySQL Optimize Table,很难说Optimize Table到底能不能提高系统运行效率,但是有一点是肯定的:它能够帮我们回收更多的空间、减少“碎片”(defragment)。在InnoDB的维护过程中,我们总会遇到磁盘耗尽、或者InnoDB Tablespaces用完的情况。这时候,在考虑扩容等方案之前,最好先使用Optimize Table试试。如果你的表大字段(Text Blob Varchar),并且更新、删除较频繁的话,Optimize之后可能会腾出大量的空间。目前支持optimize命令的引擎有 MyISAM, InnoDB, and ARCHIVE,对于InnoDB,会将optimize命令映射为ALTER TABLE命令,该命令会重建数据表,更新索引统计信息、回收主键索引中空间。如果你的MySQL是有备库的,如果你只希望在主库上执行的话,那么可以加上关键字NO_WRITE_TO_BINLOG(或者LOCAL,意思完全相同)。这对于MM结构的MySQL数据库尤为重要,因为很多时候,你只是想在备库上执行,而不希望影响主库。



        当运营中的MySQL服务器增多的时候,Bug也在所难免,如何处理Bug?周振兴给大家介绍了一些工具和方法,他说,尝试找到Bug重现的场景,确定这是一个Bug,而不是一个Mistake。一般遇到Bug,都能在MySQL Bug找到线索,如果能够确定是Bug,可以看看新的版本是不是已经修复,如果修复则可以考虑升级小版本号。另外,找到Bug重现的场景,还可以考虑绕过Bug(workaround),让自己的应用或者DDL尽量避免Bug出现。有时候,新版本新特性会带来一些Bug,不得以我们还可以考虑降级版本,虽然这是不推荐的做法,因为这样的可能陷入死循环。

淘宝mysql数据库高可用的设计实现 MySQL高可用的难题 • TMHA的整体设计 • TMHA如何实现异常切换 • TMHA如何保证数据一致性 • TMHA如何实现自动切换 • TMHA如何解决主备库延迟 立即下载

相关推荐

淘宝MySQL十大经典案例_final

淘宝MySQL十大经典案例,可以看看,获取些设计经验,里面内容还是很不错的。

作为数据库核心成员,如何让淘宝不卡顿?

简介:TDDL(Tabao Distributed Data Layer)是淘宝开源的一个用于访问数据库的中间件,集成了分库分表,主备,读写分离,权重调配,动态数据库配置等功能。本文以2007年TDDL初诞生时的视角,介绍TDDL是如何一步步设计成型的,希望能帮助同学们简单收获:常规数据库效率问题解决思路、TDDL框架设计基本思路以及分布式数据库设计思路等。时间倒转穿越回2007年年底一觉醒来,我还是照常去上班,走到西溪湿地附近,马路没有,高楼没有,有的是小山坡和金色的稻田。一番打听之后,才知道此时没有什么

阿里云开发者 2万+

MySQL性能优化诊断脚本

NULL 博文链接:https://eric-gao.iteye.com/blog/889271

多方面进行MySQL性能优化(详解篇)

这种集群的架构对减轻主数据库服务器的压力有非常好的效果,但是随着业务数据越来越多,如果某张表的数据量急剧增加,单表的查询性能就会大幅下降,而这个问题是读写分离也无法解决的,毕竟所有节点存放的是一模一样的数据啊,单表查询性能差,说的自然也是所有节点性能都差。上面这条语句可以展示innodb存储引擎的当前运行的各种信息,大家可以据此找到MySQL当前的问题,限于篇幅不在此意义说明其中信息的含义,大家只要知道MySQL提供了这样一个监控工具就行了,等到需要的时候再来用就好。

tigerhhzz的博客 7905

淘宝数据库架构演进历程

资源名称:淘宝数据库架构演进历程内容简介:淘宝数据库发展的三个阶段 用户,商品,交易现在的架构 MySQL源代码研究的一些思路 淘宝自主数据库Oceanbase原理介绍SQL语句变化多 表 关 联 Join单 表 复 杂 查 询主 键 查 询SQL语句复杂程度由繁到简的过程,折射出淘宝数据架构的一些变化。淘宝电子商务网站的特点 高并发,PV13亿,光棍节促销PV达到了17亿 数据实时性 资源太大,传百度网盘了,链接在附件中,有需要的同学自取。

基于DSP28335的Matlab/Simulink代码生成实验七:A/D采样

实验七:讲解如何使用DSP的ADC模块,通过代码生成技术控制DSP进行电流采样,是后续实现电机闭环控制的重要环节。通过简单的实验来熟悉代码生成的过程。最终实现复杂算法代码自动生成,进行高性能电机控制!

m0_73869369的博客 4725

淘宝十年资深架构师吐血总结淘宝的数据库架构设计和采用的技术手段。

​ 综上所述,淘宝的数据库架构设计采用了分布式数据库技术,通过分库分表、数据冗余、异步复制、读写分离等技术手段来解决数据库的性能、可用性和扩展性问题。同时,淘宝还采用了一系列中间件来协调分布式系统的操作,保证了数据的一致性和高性能。这些技术手段的综合应用,使得淘宝的数据库能够承受双十一这种高并发、高压力的交易活动。

zxyhj的博客 4938

9 HAL库驱动框架简述(STM32HAL库)

HAL库外设的使用步骤总结如下:1、定义并填充xxx外设句柄结构体。2、如果遵循HAL库规范,通过HAL_xxx_MspInit()函数,实现外设底层资源的初始化,包括但不限于GPIO、时钟、DMA、中断等资源的初始化。3、调用HAL库的对应外设初始化函数,形如:HAL_xxx_Init()。4、初始化完成,开始使用外设。5、使用方法具体查看对应外设的HAL库驱动包中的说明:补充:HAL库使用主线外设初始化外设使用。

qq_25218501的博客 1982

MySQL 高级性能优化架构实战篇 千万级高并发交易一致性系统基础

MySQL 高级性能优化实战包含范式设计,索引原理,执行计划,慢查询,锁和事务。旨在帮助程序设计人员架构千万级高并发交易一致性系统时全面,本课程适合Java初中高级程序员、开发经理、项目经理、架构师、CTO。

EDF Browser使用说明和技巧

edf browser使用说明和一些小技巧

Erhu_666的博客 8326

告别付费!手把手教你用DataV.GeoAtlas获取全国街道级GeoJSON数据(附完整避坑指南)

本文详细介绍了如何免费使用阿里云DataV.GeoAtlas工具获取全国街道级GeoJSON数据。通过可视化选取、格式转换、数据校验等步骤,提供了一套完整的避坑指南和工作流,帮助前端和可视化开发者高效解决高精度地图数据获取难题,节省成本并提升开发效率。

weixin_29085865的博客 901

淘宝内部分享:MySQL & MariaDB性能优化

摘要:MySQL是目前使用最多的开源数据库,但是MySQL数据库的默认设置性能非常的差,必须进行不断的优化,而优化是一个复杂的任务,本文描述淘宝数据库团队针对MySQL相关的数据库优化方案。 编者按:MySQL是目前使用最多的开源数据库,但是MySQL数据库的默认设置性能非常的差,必须进行不断的优化,而优化是一个复杂的任务,本文描述淘宝数据库团队针对MySQL数据库Metadata Lo

小饼仙子的专栏 1679

保姆级教程:Synology NAS共享文件夹从创建到权限设置的完整流程

本文提供了一份详尽的Synology NAS共享文件夹创建与权限设置指南。重点讲解了如何将NAS接入企业AD域,并利用域管理员账户进行集中身份验证和权限管理。文章从基础概念、域环境配置、文件夹创建、精细化权限分配到客户端访问与维护,完整覆盖了构建安全高效企业级文件共享空间的全流程,旨在帮助管理员实现便捷的团队协作与数据安全管理。

u9v0w的博客 555

试看《MySQL 8.0运维与优化》(清华大学出版社)

业界知名MySQL布道师、MySQL社区经理Frederic Descamps倾情推荐!他希望这本书能被翻译成英文。

姚远OracleACE的博客 902

HighScore3.0实战指南:XRD物相分析从入门到精通(持续更新版)

本文提供HighScore3.0软件进行XRD物相分析的完整实战指南。从软件设置、数据导入、背景扣除、寻峰等预处理步骤,到核心的Search & Match物相搜索匹配、Rietveld精修定量,以及结果输出与常见问题排查,系统讲解了从入门到精通的全流程操作与核心技巧,帮助用户高效完成材料物相鉴定与分析工作。

weixin_29310605的博客 1044

基于STM32的智慧农业大棚监测与控制系统设计与实现

摘要:本文设计了一种基于STM32F103C8T6单片机的智慧农业大棚监测与控制系统,集成多参数环境监测、智能控制和远程管理功能。系统可实时采集光照、CO2、温湿度和土壤湿度等参数,通过OLED显示并采用双模式控制机制:自动模式下根据阈值调节设备,手动模式下支持APP或按键控制。通过ESP8266模块接入机智云平台实现数据云存储和远程控制。测试表明系统具有高精度(温度±0.5℃、CO2±50ppm)、快速响应(<2s)和稳定运行(30天无故障)等特点,有效解决了传统大棚调控不及时等问题。创新点包括多参

3254968421的博客 485

淘宝大牛们——晒一晒淘宝网技术内幕

淘宝网是一个在线商品数量突破一亿,日均成交额超过两亿元人民币,注册用户接近八千万的大型电子商务网站,是亚洲最大的购物网站。那么对于淘宝网这样大规模的一个网站,我猜想大家一定会非常关心整个网站都采用了什么样的技术?前端设计和后台架构有哪些内幕?淘宝所依赖的数据库到底是什么?它用到了哪些存储技术?淘宝网的应用服务器上采用的是Linux操作系统。在应用服务器前端,淘宝采用了Web Server做了一次转

Vivian Liu的专栏 3955

锁的艺术:Java并发中的常用锁策略与实践

对java锁相关内容进行整理分析:乐观锁 VS 悲观锁+自旋锁 VS 适应性自旋锁+无锁 VS 偏向锁 VS 轻量级锁 VS 重量级锁+公平锁 VS 非公平锁+可重入锁 VS 非可重入锁+独享锁 VS 共享锁

曾经“等你生日那天”都遥远得像未来,如今却可欢愉的挥手说“下个十年见” 171万+

看淘宝大牛们晒一晒淘宝网技术内幕

看淘宝大牛们晒一晒淘宝网技术内幕   淘宝网是一个在线商品数量突破一亿,日均成交额超过两亿元人民币,注册用户接近八千万的大型电子商务网站,是亚洲最大的购物网站。那么对于淘宝网这样大规模的一个网站,我猜想大家一定会非常关心整个网站都采用了什么样的技术?前端设计和后台架构有哪些内幕?淘宝所依赖的数据库到底是什么?它用到了哪些存储技术?淘宝网的应用服务器上采用的是Linux操作系统。在应用服

Li_soso的专栏 2355

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

淘宝大牛门晒一晒淘宝网技术内幕

http://wenku.it168.com/redian/taobao/ 淘宝数据库篇淘宝前端设计篇淘宝后台架构篇淘宝存储篇   淘宝网是一个在线商品数量突破一亿,日均成交额超过两亿元人民币,注册用户接近八千万的大型电子商务网站,是亚洲最大的购物网站。那么对于淘宝网这样大规模的一个网

冷月宫主的专栏 2280

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

晒淘宝网技术内幕

http://blog.chinaunix.net/uid-28302540-id-3431394.html 淘宝网是一个在线商品数量突破一亿,日均成交额超过两亿元人民币,注册用户接近八千万的大型电子商务网站,是亚洲最大的购物网站。那么对于淘宝网这样大规模的一个网站,我猜想大家一定会非常关心整个网站都采用了什么样的技术?前端设计和后台架构有哪些内幕?淘宝所依赖的数据库到底是什么?它用到了哪些存储

lishenglong666的专栏 919

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

谈谈阿里系的技术积累 是什么让旗下网站爆发惊人能量

喧嚣的双 11 促销活动已经结束,淘宝、天猫、支付宝等阿里旗下的网站在当天爆发出惊人的能量,让人瞠目结舌:全天总交易额达到 191 亿,其中天猫132 亿,淘宝 59 亿,支付宝日订单数量超过一亿笔。金额已经超过美国去年”网购星期一”最高纪录,当然也超过今年的黑色星期五的 10.42 亿美元。尽管大淘宝在促销开始的时候服务稍有不稳定,但整天下来服务堪称可靠。这是个值得称赞的成就。 从另一个角度看数

yysct2005的专栏 766

谈谈阿里系的技术积累(修改版)

喧嚣的双 11 促销活动已经结束,淘宝、天猫、支付宝等阿里旗下的网站在当天爆发出惊人的能量,让人瞠目结舌:全天总交易额达到 191 亿,其中天猫132 亿,淘宝 59 亿,支付宝日订单数量超过一亿笔。金额已经超过美国去年”网购星期一”最高纪录,当然也超过今年的黑色星期五的 10.42 亿美元。尽管大淘宝在促销开始的时候服务稍有不稳定,但整天下来服务堪称可靠。这是个值得称赞的成就。 从另一个角度看数

ajian005的专栏 1283

谈谈阿里系的技术积累

转载于冯大辉博文:http://dbanotes.net/review/alibaba_group_tech.html 喧嚣的双 11 促销活动已经结束,淘宝、天猫、支付宝等阿里旗下的网站在当天爆发出惊人的能量,让人瞠目结舌:全天总交易额达到 191 亿,其中天猫132 亿,淘宝 59 亿,支付宝日订单数量超过一亿笔。金额已经超过美国去年“网购星期一”最高纪录,...

weixin_34150830的博客 134
上一篇: 使用MySQL自身日志功能查找慢查询
下一篇: 2012中国数据库技术大会演讲PPT下载
lanxe
博客等级 码龄23年 22粉丝 19原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值