小滴课堂-学习笔记:生产环境数据库性能监控和优化面试环节

MYSQL——数据库面试问题 本博文主要分享数据库在面试的常见的面试问题与解答,帮助大家快速的学习了解数据库的相关知识。帮助你更好的应对面试中的问题。 阅读详情

logo 愿景:"让编程不再难学,让技术与生活更加有趣"


更多架构课程请访问 xdclass.net

目录

第1集 生产环境的数据库,你会做哪些操作保证安全

第2集 你知道Mysql里面有多少种日志

第3集 层层套路之数据库主从复制里面知识考查

第4集 层层套路之数据库主从同步遇到的问题

第5集 Mysql主从复制数据一致性校验方案怎么做

​


第1集 生产环境的数据库,你会做哪些操作保证安全

简介:生成环境监控指标和安全

  • 考点:是否有监控和数据安全思维
  • 难度:【 ** ***】
  • 针对线上的数据库,你会做哪些监控,业务性能 + 数据安全 角度分析
大厂一般都有数据库监控后台,里面指标很多,但是开发人员也必须知道
​
业务性能
    1、应用上线前会审查业务新增的sql,和分析sql执行计划
        比如是否存在 select * ,索引建立是否合理
    2、开启慢查询日志,定期分析慢查询日志
​
    3、监控CPU/内存利用率,读写、网关IO、流量带宽 随着时间的变化统计图
    
    4、吞吐量QPS/TPS,一天内读写随着时间的变化统计图
​
数据安全
    1、短期增量备份,比如一周一次。 定期全量备份,比如一月一次
​
    2、检查是否有非授权用户,是否存在弱口令,网络防火墙检查
​
    3、导出数据是否进行脱敏,防止数据泄露或者黑产利用
​
    4、数据库 全量操作日志审计,防止数据泄露
    
    5、数据库账号密码 业务独立,权限独立控制,防止多库共用同个账号密码
    
    6、高可用 主从架构,多机房部署

 

 

第2集 你知道Mysql里面有多少种日志

简介:mysql常见日志的考查

  • 考点:mysql常见日志种类和作用

  • 难度:【 ** ** 】

  • Mysql有多少种常见的日志,分别解释日志的作用

    redo 重做日志
      作用:确保事务的持久性,防止在发生故障,脏页未写入磁盘。重启数据库会进行redo log执行重做,到达事务一致性
      
    undo 回滚日志
      作用:保证数据的原子性,记录事务发生之前的数据的一个版本,用于回滚。
      innodb事务的可重复读和读取已提交 隔离级别就是通过mvcc+undo实现
      
    errorlog 错误日志
      作用:Mysql本身启动、停止、运行期间发生的错误信息
      
    slow query log 慢查询日志
      作用:记录执行时间过长的sql,时间阈值可以配置,只记录执行成功
    ​
    binlog 二进制日志
      作用:用于主从复制,实现主从同步
      
    relay log 中继日志
      作用:用于数据库主从同步,将主库发送来的binlog先保存在本地,然后从库进行回放
      
    general log 普通日志
      作用:记录数据库操作明细,默认关闭,开启会降低数据库性能

     

 

第3集 层层套路之数据库主从复制里面知识考查

简介:数据库主从的用途、原理流程

  • 考点:是否搭建过主从,并掌握原理
  • 难度:【 ** ***】
  • 你们数据库是单点的吗?有没做多节点优化 ,怎么做的
我们公司数据库不是单节点,是多节点的,有做主从复制
  • 既然搭建过数据库主从复制,你能画下流程图说下异步复制原理不

image-20200229195643201

 

 

 

 

 

 

 

 

第4集 层层套路之数据库主从同步遇到的问题

简介:数据库主从遇到的问题和解决办法

  • 考点:搭建过主从,肯定有遇过些问题,解决思路
  • 难度:【 ** ** *】
  • 你们搭建数据库主从复制的目的有哪些

 

容灾使用,用于故障切换
业务需要,进行读写分离减少主库压力
 
  • 既然你们搭建了主从同步,且你们日增量数据量也不少,有没遇到同步延迟问题
  • 为什么会有同步延迟问题,怎么解决?
 

image-20200229195817665

 

 

 

 

第5集 Mysql主从复制数据一致性校验方案怎么做

简介:数据库主从复制数据一致性校验方案

  • 考点:搭建主从复制,有没做过数据一致性校验
  • 难度:【 ** ** *】
  • 什么场景下会出现主从数据不一致
1、本身复制延迟导致
2、主库宕机或者从库宕机都会导致复制中断
3、把一个从库提升为主库,可能导致从库和主库的数据不一致性
  • 是否有做过主从一致性校验,你是怎么做的,如果没做过,你计划怎么做
  • 如果不一致你会怎么修复
Mysql主从复制是基于binlog复制,难免出现复制数据不一致的风险,引起用户数据访问前后不一致的风险
所以要定期开展主从复制数据一致性的校验并修复,避免这些问题

解决方案之一,使用Percona公司下的工具

pt-table-checksum工具进行一致性校验

  原理:
  主库利用表中的索引,将表的数据切割成一个个chunk(块),然后进行计算得到checksum值。
  从库也执相应的操作,并在从库上计算相同数据块的checksum,然后对比主从中各个表的checksum是否一致并存储到数据库,最后通过存储校验结果的表就可以判断出哪些表的数据不一致


pt-table-sync(在从库执行)工具进行修复不一致数据,可以修复主从结构数据的不一致,也可以修复非主从结构数据表的数据不一致

  原理:在主库上执行数据的更改,再同步到从库上,不会直接更改成从的数据。在主库上执行更改是基于主库现在的数据,也不会更改主库上的数据,可以同步某些表或整个库的数据,但它不同步表结构、索引,只同步不一致的数据


注意:
  默认主库要检查的表在从库都存在,并且同主库表有相同的表结构
  如果表中没有索引,pt-table-checksum将没法处理,一般要求最基本都要有主键索引
  pt-table-sync工具会修改数据,使用前最好备份下数据,防止误操作
  • pt-table-checksum怎么保证某个chunk的时候checksum数据一致性?
当pt工具在计算主库上某chunk的checksum时,主库可能在更新且从库可能复制延迟,那该怎么保证主库与从库计算的是”同一份”数据,答案把要checksum的行加上for update锁并计算,这保证了主库的某个chunk内部数据的一致性


官方地址:https://www.percona.com/downloads/percona-toolkit/LATEST/

其他资料:https://www.cnblogs.com/zishengY/p/6852280.html

 

PX4飞控参数详解-Multicopter Position Control​多旋翼位置控制 Maximum horizontal velocity for which position hold is enabled (use 0 to disable check)//启用悬停时的最大水平速度(使用 0 可禁用此检查)(仅适用MPC_POS_MODE 0 或 MPC_ALT_MODE 2)Maximum horizontal and vertical jerk in Position/Altitude mode//位置/高度模式下的最大水平和垂直加加速度。 阅读详情

相关推荐

Fusion 360嵌入式外壳建模实战:从草图到可装配结构

参数化三维建模是现代电子结构设计的核心能力,其本质是通过几何约束与特征驱动实现设计意图的精确表达和快速迭代。Fusion 360作为集成CAD/CAM/CAE的云端平台,以时间轴驱动的参数化工作流、基于基准面的草图约束机制和面向制造的特征操作逻辑,显著提升了嵌入式硬件的结构验证效率。该技术价值在于支持工程师在无专业机械背景前提下,独立完成PCB适配、散热布局、接口开孔与装配干涉检查等关键任务,广泛应用于3D打印原型、CNC加工外壳及IoT终端结构开发。本文以ESP32冰箱监控终端为实例,详解从基准定义、草图

weixin_35671843的博客 588

8 种超牛的在线测试数据生成器,快来一探究竟!

在本文中,我们将讨论一些可用于为你的软件应用程序生成测试数据的免费在线测试数据生成器。

伤心的辣条 5351

Java后端开发实战:手把手教你用e签宝API搞定电子合同签署(附完整代码)

本文详细解析了Java后端开发中如何通过e签宝API实现电子合同签署的全流程,包括环境配置、核心架构设计、Token管理、签署流程实现及回调处理等关键环节。通过完整的代码示例和最佳实践,帮助开发者高效集成电子签名服务,提升企业数字化转型效率。

weixin_42662293的博客 529

jmeter常用插件(tps,响应时间,监控服务器资源)

jmeter作为一个开源的接口性能测试工具,其本身的小巧和灵活性给了测试人员很大的帮助,但其本身作为一个开源工具,相比于一些商业工具(比如LoadRunner),在功能的全面性上就稍显不足。 这篇博客,就介绍下jmeter的第三方插件jmeter-plugins.org和其中常用的几种插件使用方法。 一、下载安装及使用 下载地址:jmeter-plugins.org 安装:下载后文件...

liuwkk的博客 1万+

FGC_grasp复现

FGC_GraspNet复现

qq_39568387的博客 385

【人工智能】Gemini怎么使用智能体的能力? Gemini Gems: 定制你的AI智能体

Gems 是 Gemini 的定制版本。你可以通过设定特定的指令(Instructions),让它变成你需要的专家。一旦创建,它会记住这些设定,你不需要在每次对话时重复输入背景信息。目前创建和使用自定义 Gems 通常需要订阅(Google One AI Premium 计划)。对于大多数用户来说,Gemini Advanced 中的 Gems是使用智能体能力的最直接方式。它能让你把重复性的提示词封装成一个好用的工具。

奶爸的编程之路,也就一周冷个三天 778

mysql免费的线上测试库申请

仅适合个人测试!!非商用。

KKDKK_的博客 1676

使用R语言实现循环神经网络RNN进行文本生成

首先,让我们回顾一下循环神经网络(Recurrent Neural Networks,RNN)的基本概念。RNN是一种深度学习技术,特别适合处理序列数据,如时间序列和文本数据。RNN的关键特性是它的隐藏状态,这个状态可以捕捉到当前输入之前的信息。这使得RNN能够利用前面的信息来影响后续的输出,从而对序列数据进行有效的处理。

斌擎科技 724

在线sqlserver_分享 5 个免费的在线 SQL 数据库环境

今天给大家分享几个在线的免费 SQL 运行环境,也就是在线数据库。这些网站可以帮助我们快速运行一些 SQL 语句的测试或者验证,同时还可以在网络上进行分享,关键不需要自己安装数据库。SQL FiddleSQL Fiddle 提供了 MySQL、Oracle、PostgreSQL、SQLite 以及 SQL Server 数据库环境,使用时无需注册。其中,左侧文本框用于输入初始化语句创建表结构和数据...

weixin_35998791的博客 9797

【离线OCR】微信离线实现图片OCR文本和表格识别

基于微信本地OCR引擎(由最新版微信自动安装)。通过Python对其官方调用逻辑进行完整翻译和封装,使开发者可以用简单的API调用其强大的OCR功能。

专注于医院数据分析技术与系统开发的创作与分享。 2622

Python爬虫实战:如何爬取汽车之家报价信息

本文通过实战介绍了如何使用Python编写爬虫,抓取汽车之家网站的车型、价格、配置等信息。在爬虫实现过程中,我们使用了requests库来发送HTTP请求,使用解析HTML页面,提取嵌入的JSON数据,并将数据存储到CSV文件中。同时,我们还介绍了如何使用反爬虫策略(如随机User-Agent、请求延时、代理池等)来规避反爬虫机制,确保爬虫的稳定性。

2201_76125261的博客 1594

mysql 查询姓张或者姓王_MySQL查询语句练习题,测试基本够用了

MySQL查询语句练习题,测试基本够用了Sutdent表的定义字段名字段描述数据类型主键外键非空唯一自增Id学号INT(10)是否是是是Name姓名VARCHAR(20)否否是否否Sex性别VARCHAR(4)否否否否否Birth出生年份YEAR否否否否否Department院系VARCHAR(20)否否是否否Address家庭住址VARCHAR(50)否否否否否Score表的定义字段名字段描述数...

weixin_28994227的博客 3893

ICC2(一)import design —— tluplus

itf转tluplus相关命令 TLUPlus是存储RC系数的二进制表格式。 TLUPlus模型通过包括宽度,空间,密度和温度对电阻系数的影响,可以估算RC计算net delay。 1.2 产生TLUplus的方法 Itf文件转TLUplus的命令: grdgenxo -itf2TLUPlus -i xx.itf-o xx.tlu+ itf: interconnect technology format file 含每层的厚度,面积等参数 itf同样可以转nxtgrd格式文...

m0_61544122的博客 5483

数据库在线测试

林鹏 2174

迈瑞BS系列全自动生化分析仪LIS协议接口手册(内含HL7和ASTM)

迈瑞BS系列全自动生化分析仪LIS协议接口手册,内含HL7和ASTM)

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

测试用数据库数据

学习数据库的时候,需要一些数据库数据,自己一个个输入太麻烦,这里是自己在网上找的测试数据,直接复制到数据库sql语句编辑页面(比如sqlyog软件)里,运行即可,非常方便。CREATE DATABASE db_test; CREATE TABLE employees ( emp_no INT NOT NULL COMMENT '主键', birt...

Mars_idea的博客 6935

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

19年全新elementUI项目实战教程vue整合Echarts后台权限视频教程

  

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

小滴课堂-学习笔记:小滴课堂面试专题介绍+简历分析+投递

愿景:"让编程不再难学,让技术与生活更加有趣" 更多架构课程请访问 xdclass.net 目录 第1集 小滴课堂面试专题课程介绍+适合人员+学后水平 第2集 小滴课堂面试专题第一季大纲速览,你知道多少 第3集 互联网公司校/社招的招聘要求解读 第4集 学历/部分招聘条件不符合? 互联网公司简历投递技巧 第5集 BAT大厂社招、校招、内推常见的面试形式有多少 第6集 拿到面试通知,怎样应对互联网公司的多轮面试 第7集 社招+校招被技术面试完虐系列之多方位考查点 干货文档 第1集 小滴.

dev666的博客 2399

生产环境的数据库,你会做哪些操作保证安全

简介:生成环境监控指标和安全 •考点:是否有监控和数据安全思维 •难度:【 ** ***】 •针对线上的数据库,你会做哪些监控,业务性能 + 数据安全 角度分析 大厂一般都有数据库监控后台,里面指标很多,但是开发人员也必须知道 业务性能 1、应用上线前会审查业务新增的sql,和分析sql执行计划 比如是否存在 select * ,索引建立是否合理 2、开启慢查询日志,定期分析慢查询日志 3、监控C...

qq_38480786的博客 785

一道面试题引出的系列数据库性能,数据安全问题及解决方案

友情链接: http://enmotech.com/web/classify/43.html http://enmotech.com/web/classify/28.html ...

congwei1159的博客 720

MySQL实战优化高手09 生产经验:如何为生产环境中的数据库部署监控系统?

1、生产环境的数据库可不能裸奔啊!之前我们已经给大家讲解完了数据库的压测相关的知识,想必大家只要利用我们讲解的知识,在自己的公司里,哪怕DBA团 队、QA团队都没法给你提供专业的数据库压测技术支持,但是大家手上拿到一个数据库之后,其实自己也可以通过各种工具 和命令,非常好的完成一台机器上的数据库的压测了。你应该可以心里非常有数,一台什么样配置的机器,部署了一个数据库之后,利用sysbench构造了多少个表和数据量,然后 模拟了多少个线程压测的时候,机器的各项硬件负载在可以接受的范围内时,数据库的QPS和TP

fegus的博客 445

小滴课堂-学习笔记:(1)JAVASE课程

愿景:"让编程不再难学,让技术与生活更加有趣" 更多架构课程请访问 xdclass.net 目录 第1集 茫茫人海中为何选择java这门语言 第2集 速成系列java从入门到告诉高手课程介绍 第3集 Java语言编程发展历程和JVM概述 第4集 概念理解面向对象编程和特点 第二章 Java开发环境准备和基础语法第一季 第2集 新版Java环境变量配置 第3集 完成你的第一个Java程序Hello World 第4集 Hello World程序剖析Java语法 第三章 集成开发环..

dev666的博客 2015

数据库性能监控和优化

生产环境的数据库,哪些操作保证安全 业务性能 1、应用上线前审查业务新增的sql,分析sql执行计划。比如是否存在 select * ,索引建立是否合理等。 2、开启慢查询日志,定期分析慢查询日志。 3、监控CPU/内存利用率,读写、网关IO、流量带宽随着时间的变化统计图。 4、吞吐量QPS/TPS,一天内读写随着时间的变化统计图。 数据安全 1、短期增量备份,比如一周一次。 定期全量备份,比如一月一次。 2、检查是否有非授权用户,是否存在弱口令,网络防火墙检查。 3、导出数据是否进行脱敏处理,防止数据泄露

也人Gw的博客 1150

小滴课堂-学习笔记: Javaweb核心里面的转发-重定向和EL表达式你知道多少

愿景:"让编程不再难学,让技术与生活更加有趣" 更多架构课程请访问 xdclass.net 目录 第1集 【面试必备】请求转发RequestDispatcher你知道多少 第2集 EL表达式-让JSP访问JavaBean中的数据更简单 第3集 【面试必备】什么是请求重定向sendRedirect 干货文档 第1集 【面试必备】请求转发RequestDispatcher你知道多少 简介:讲解请求转发RequestDispatcher的知识点 什么是请求转发: r...

dev666的博客 249

小滴课堂-新版JavaWeb零基础到实战专题课程-19

小滴课堂,旨在让编程不在难学,让技术与生活更加有趣。随着互联网+的时代,在线教育技术越来越便捷,小滴课堂依托在线教育时间以及空间上的便利,为广大IT从业者提供了更为方便、快捷的学习交流途径、提供大量高质量的IT在线课程。更多教程请访问xdclass.net(添加VX:xdclass99)...

xdclass888的博客 423

【MySQL】20个经典面试题,全部答对月薪10k+

欢迎加入QQ群讨论更多内容,群号:835870546 原文链接:http://bbs.51cto.com/thread-1470880-1.html Part2:经典题目 1、MySQL的复制原理以及流程 基本原理流程,3个线程以及之间的关联; 2、MySQL中myisam与innodb的区别,至少5点 (1)、问5点不同; (2)、innodb引擎的4大特性 (3)、...

u013252072的博客 23万+

小滴课堂-项目大课学习笔记(2)海量数据存储-分布式文件存储系统

在了解分布式文件存储之前,我们可以先来了解一下什么是分布式存储,分布式存储的系统又分为哪些 什么是分布式存储 在近些年来,随着各大的互联网公司的大数据应用的崛起,分布式系统被广泛的投入到实践当中。互联网分布式系统与传统的分布式系统区别就是互联网的规模大,成本低。在不同的互联网公司中,会根据自己的需求来设置出合适自己的方案,而分布式系统底层起支撑作用就是分布式存储系统。 分布式存储的四大特征 扩展性:分布式存储可以通过添加机器的方式,使得系统的整体性能得以提升 低成本:低成本:分布式存储系统

xdclass888的博客 1223
上一篇: 小滴课堂-学习笔记:缓存的常见面试题你知道多少
下一篇: 小滴课堂-学习笔记:数据库设计查询和上线里面的坑
dev666
博客等级 码龄9年 100粉丝 106原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

dev666

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值