关于数据库你应该知道的那些事儿

服务器被攻击植入挖矿病毒,CPU占用高问题排查处理(.systemd-service.sh) 客户服务器遭攻击,部署的应用服务经常性被停止,服务器CPU占用居高不下,top查看如下: 可以看到第一个bash任务,占用cpu近400%,非正常的应用程序和脚本任务,多半是被植入了木马信息。 查看该进程的符号连接,发现已经是被删除的状态 /usr/bin/-bash (deleted),无法查看其启动程序的信息 查看定时任务:cat /etc/crontab,发现都是正常的应用程序定时脚本 又用 crontab -l 查看了一下,发现了异常定时任务如下,同top里的异常任务一致... 阅读详情

作者|Mahdi Yusuf

原文链接|https://architecturenotes.co/things-you-should-know-about-databases/

数据库存储了应用程序中大部分的信息,但我们对数据库的运作方式知之甚少。本文将讨论使用数据库时最重要的两个主题:索引和事务。

索引

索引是一种数据结构,有助于减少请求数据的查找时间(就像教科书的索引一样,它可以帮你找到正确的一页)。索引让我们跳过查询每条记录的繁琐任务,付出的代价是额外的存储、内存和更新(更慢的写入速度)的成本。

少量的数据很容易管理(班级出勤表),但当数据变多时(城市的出生登记)就不那么容易了。在一页纸上 VS 在一千页纸上找东西,你的方式会有什么变化?随着存储和收集的数据越来越多,在数据库中找到需要的数据会变得越来越慢,所以,我们会逐渐用上各种工具,比如索引就可以帮助我们快速获得相关数据。

索引的原理是按照搜索数据的逻辑来存储这些数据。比如想按名字搜索列表,就按照名字对列表进行排序。但是这种方法有几个问题,比如:

  • 如果想以多种方式搜索数据怎么办?

  • 该如何向列表中添加新数据?这样做快吗?

  • 如何更新数据?

  • 这些任务的时间复杂度是怎样的?

看来我们需要更好的方法来快速获得需要的无序数据。

比如下图,底层数据无序地分散在存储设备中,并被随机分配。现在,大多数生产型服务器都配备了固态硬盘(SSD),但在某些情况下,还是会需要机械硬盘(HDD),但随着固态硬盘价格的大幅下降,这种情况越来越少了。

+─────+─────────+──────────────+| id  | name    | city         |+─────+─────────+──────────────+| 1   | Mahdi   | Ottawa       || 2   | Elon    | Mars         || 3   | Jeff    | Orbit        || 4   | Klay    | Oakland      || 5   | Lebron  | Los Angeles  |+─────+─────────+──────────────+

将少量数据写入内存很快,而且搜索起来也很快,但如果要搜索的数据无法完全存在内存中呢?或者从磁盘上读取所有数据的时间耗费太久该怎么办?

+──────────+─────────+───────────────────+| id       | name    | city              |+──────────+─────────+───────────────────+| 1        | Mahdi   | Ottawa            || 2        | Elon    | Mars              || 3        | Jeff    | Orbit             || 4        | Klay    | Oakland           || 5        | Lebron  | Los Angeles       || ...      | ...     | ...               || 1000000  | Steph   | San Francisco     || 1001000  | Linus   | Portland          |+───────+─────────+──────────────────────+

因此,开发者会使用某种字典(比如哈希表)和一种捷径来找到特定行,确认需要的数据是否在那儿,而不需要扫描整个磁盘。这也叫做索引的叶子节点(index leaf nodes),它们被赋予一个特定的列作为索引,可以存储匹配行的位置。

叶子节点是索引列和相应数据记录行在磁盘上位置间的映射,快速获取该行的方法就是通过索引列来引用某一行。扫描索引的速度会更快,因为这样寻找所需数据的时候不用读取一堆数据块,而且这样便于缓存,进一步加快了整个过程。

叶子节点的大小是统一的,我们会在每个块中尽可能多地存储叶子节点。由于这种结构需要在逻辑上对事物进行排序,双向链表可以很好地解决快速添加和删除数据的问题。

这样有两个好处:它允许我们向前或向后读取索引叶子节点,以及当我们删除或添加新行时,可以快速重建索引结构。

由于叶子节点在磁盘上并不是按顺序排列的,我们需要一种方法来获得正确的索引叶子节点。

B 树

可以想像, 在学校里学习 B 树时会让人抓狂,但它们很强大,也确实值得学习。

B+ 树是一个树形结构,每个中间节点都指向其各自叶子节点的最高节点值。这为找到需要的数据的索引叶子结点提供了一条清晰的路径。这种结构是自下而上建立的,因此一个中间节点覆盖所有叶子节点,直到我们到达顶部的根节点。这种树状结构是平衡的,因为整个树的深度是统一的。

B 树 vs. B+ 树

相比 B 树,B+ 树的主要优势是中间节点不存储任何数据,相反,所有的数据都被链接到叶子节点上,这样可以更好地缓存。其次,叶子节点是连着的,所以如果需要做索引扫描时只需要做一次线性遍历,而不是上下来回遍历整颗树,导致从磁盘加载更多的索引数据。

对数扩展 Logarithmic Scalability

大家都知道数据呈指数增长(公司估值最好也是这样),但数据的规模越大往往对我们越不利,而 B 树是对抗它首当其冲的工具。

根据中间节点可以存储的项目(M)以及树的深度(N),我们可以找到 M 和 N 的关系,下表列举了 M = 5 的情形。

Tree Height (N)Index Leaf Nodes
3125
4625
53125
615625
778125
8390625
91953125

因此,当索引叶子节点的数量呈指数增长时,树的高度增长得相当缓慢(相对索引叶子节点的数量)。再加上平衡的树高,几乎可以立即查找到指向磁盘上实际数据的相关索引叶节点。

这也太美妙了!

事务

事务(Transaction)是指查询,写入或更新数据库中各种数据项的一个程序执行单元(Unit),由事务开始 Begin 和事务结束 Commit/Rollback 之间执行的所有操作组成。

ACID 是数据库管理系统为保证事务是正确执行而需具备的四个特性:

  • 原子性 Atomicity

  • 一致性 Consistency

  • 隔离性 Isolation

  • 持久性 Durability

下文将主要解释事务的隔离性(Isolation)。现在,大多数系统不需要人们手动管理事务,但这样增加的灵活性往往可以达到更好的效果。

👇比如手动创建的事务可能长这样:

-- Manual transaction with commit. BEGIN;SELECT * FROM people WHERE id =1;COMMIT or ROLLBACK;

读现象 Read Phenomena

多个事务并发执行时,在读取数据方面可能碰到一些问题,即读现象,了解这些现象对于 debug 以及了解你系统的容忍度很重要。

不可重复读 Non-repeatable Reads

如上图,如果在一个事务内两次读到的数据不一样,就是不可重复读。在特定模式下,并发的数据库修改是被允许的,于是会有这样的情况:刚刚读取的值被修改,两次读取得到了不同的结果。

脏读 Dirty Reads

当执行一次读取时,另一个事务更新了同一行,但没有提交,你又执行了一次读取,你可以读取未提交的(脏)值,但这不是一个持久的状态变化,与数据库的状态不一致,也就是脏读。

幻读 Phantom Reads

幻读发生在处理总量的时候,比如在一个事务中要求获得客户的数量,在两次读取之间,一位客户注册或删除了账户,但如果你的数据库不支持事务的范围锁,将导致你得到两个不同的值。

隔离级别 Isolation Level

SQL 定义了 4 种标准隔离级别,这些级别应该被全局配置。

Repeatable Read

这确保了在第一次读取所建立的事务内的一致读取。如上图:一旦做了第一次读取,这个表就会在事务的持续时间内被锁定,所以在这个事务之外发生的任何事情都不会有任何影响。这种隔离级别能避免不可重复读和脏读的影响,当它被锁定在数据库的特定视图上时,可能会有数据不一致,所以在这种情况下应该尽可能使得事务短暂。

Serializable

这种隔离级别是最有限制性的,因为它一次只允许运行一个查询。所有类型的读现象都不会发生,因为数据库从一个稳定状态过渡到下一个。在这种模式下,请注意加上一些重试机制,因为查询可能因为并发问题而失败。较新的分布式数据库都利用这种隔离级别来保证一致性,比如 CockroachDB(https://www.cockroachlabs.com/)。

Read Committed

这种隔离模式与可重复读取不同,每次读取都会创建一致性(提交)时间快照。因此,如果在同一个事务中执行多次读取,这种模式很容易受到幻读的影响。

Read Uncommitted

可读取未确认隔离级别没有任何事务锁,也就是说,你可以看到未提交的数据,导致脏读(这是一场噩梦😱)。

以上是一些关于数据库入门的事儿。

脑机接口(BCI)从原理到开发实战 09|SSVEP应用:通过视觉刺激控制设备 本文介绍了稳态视觉诱发电位(SSVEP)脑机接口技术。SSVEP是一种高效的非侵入式BCI范式,当用户注视特定频率闪烁的视觉刺激时,大脑枕叶会产生对应的节律性响应。文章详细阐述了SSVEP的神经机制、刺激范式设计、数据预处理方法,重点讲解了典型相关分析(CCA)这一核心识别算法。相比运动想象和P300范式,SSVEP具有信息传输率高(60-100 bits/min)、信号稳定、无需训练等优势,在高速拼写、设备控制等领域应用广泛。文章还提供了完整的电极选择、滤波、分段等预处理流程,以及CCA和滤波器组CCA的 阅读详情

相关推荐

汽车底盘技术解析:从悬架调校到智能化,如何评价国产车底盘实力

汽车底盘作为决定车辆驾驶质感、安全性和耐久性的核心系统,其技术内涵远不止于悬架结构。从行驶系、转向系到制动系的协同工作,底盘调校是一门融合机械原理与工程实践的艺术。在电动化与智能化浪潮下,底盘技术正经历从被动适应到主动响应的变革,CDC可变阻尼减震器和空气悬架等技术的应用,让底盘具备了通过OTA升级实现性能优化的可能。国产汽车品牌如奇瑞、吉利等,通过平台化架构研发与调校经验积累,正推动底盘技术从“能用”向“好用”乃至“塑造独特驾驶风格”迈进。理解底盘技术,需超越简单的结构对比,关注其在实际路况中的滤震性、支

weixin_34413103的博客 387

你需要知道的NoSQL数据库10件事

<br />知名数据库专家Guy Harrison曾写过一篇博文《10 things you should know about NoSQL databases》,对NoSQL的优势与劣势进行了一个简单总结,其中包括NoSQL的5个优势和NoSQL的5个挑战。阿里巴巴的DBA童家旺对该文进行了翻译,现转载于此,供大家借鉴学习。全文如下:<br />关系数据模型已经流行了几十年了,但是一种新型的数据库(即NoSQL)正在吸引各大企业的关注。下面是对其优势与劣势的一个简单总结。<br />在过去的1/4世纪中,

1475

别再为倍福EL6021/EL6022的RS485接线头疼了!手把手教你硬件跳线与软件配置(附Modbus RTU主站例程)

本文详细解析了倍福EL6021/EL6022模块的RS485硬件跳线与软件配置方法,包括Modbus RTU主站编程实战。从端子定义、跳线操作到TwinCAT 3环境设置,提供完整的通信例程和故障排查技巧,帮助工程师快速解决工业现场通信问题。

weixin_30634661的博客 593

关于 NoSQL 数据库你应该了解的 10 件事

此篇文章转载至开源中国,链接为:http://www.oschina.net/translate/10-things-you-should-know-about-nosql-databases 英文原文:10 things you should know about NoSQL databases 参与翻译 (4人) : dawndusk, wanche

学习与分享 859

在已有win10系统下安装Ubuntu,最后出现执行‘grub-install/dev/nvme0n1p5‘失败的致命错误的解决方案

本人电脑型号戴尔灵越,两个SSD512G固态硬盘,c盘为系统盘. Ubuntu版本为20.04LTS,在官网下载https://ubuntu.com/download/desktop/thank-you?version=20.04.3&architecture=amd64 系统盘制作工具为Rufus-3.15http://rufus.ie/zh/ 安装过程网上很多,在这里就不赘述了. 其他安装过程都很顺利,直至安装最后出现这个 本来安装了到最后还以为成了,结果又不行...... 后.

XiaoChen_gugugu的博客 1万+

python轮胎缺陷检测_基于深度学习的轮胎缺陷无损检测与分类技术研究

基于深度学习的轮胎缺陷无损检测与分类技术研究【摘要】:随着汽车行业快速发展及汽车保有量的持续增长,大大增加了对轮胎的需求,而轮胎质量在很大程度上决定了轮胎的使用寿命,也是在行驶过程中对人们生命财产安全的保障,同时对轮胎进行在线质量检测也便于轮胎生产企业及时发现生产线中存在的不合格产品,以此来调整机械设备甚至轮胎的生产工艺,避免造成生产材料的浪费。因此,检测轮胎质量是轮胎生产过程中必不可缺少的一部分...

weixin_39689428的博客 1428

debug下数据库连接的问题

今天debug程序,刚开始可以通过,但debug了一定次数后便开始了报错,说是too many connection,应该是数据库连接太多了的问题,重启了一下idea后便可以了,不知道问题到底处在哪里,是数据库连接池连接数目的问题么?

a693490554的博客 957

SCL3400-D01双轴高精度倾角计

简介 两轴高精度加速度计,提供两个模式。 ±30° with 10 Hz LPF ±90° with 40 Hz LPF Resolution up to 32768 LSB/g Ultra-low 0.0009°/√Hz noise density 这款传感器是替换之前村田的停产的模拟量系列的芯片,正在测试中,具体效果大伙可以评测。 一、引脚连接图 引脚图兼容SCL3300 二、SPI接口 1.SCL3300和SCL3400略有区别如下图 左边为SCL3...

专注惯导领域 3809

【翻译】关于数据库,你应该知道的事情

这是《你应该知道的事情》系列的第一篇文章。把它看作是对各种主题的基本原则进行分级的入门读物。今天我们讨论的是数据库! 考虑到数据库在我们的应用程序中存储了几乎所有的状态,人们对数据库在表面上的运作方式知之甚少,这常常令人惊讶。然而,这对于大多数系统的整体成功来说是基础性的。因此,今天,我将解释在使用时最重要的两个主题:索引和事务。所以,在没有完全进入数据库特定怪癖的情况下,我将涵盖你应该了解的关于索引的一切。我将简要地谈一谈事务和隔离级别,以及它们如何影响你对特定事务的推理。索引是一种数据结构,有助于减少请

超级码力 456

AgentScope 2.0 扩展开发完全指南:从中间件到模型适配器的深度实践

本文系统讲解 AgentScope 2.0 框架的五大扩展机制,涵盖中间件系统的洋葱模型与钩子设计、ChatModelBase 基类与多供应商适配器开发、工作空间(本地/Docker/E2B)的抽象接口与生命周期管理、凭据工厂与 MCP 协议集成、以及工具协议与存储后端扩展。文中提供完整的架构图、代码示例与故障排查指南,帮助开发者快速掌握 AgentScope 的插件化扩展体系。

program哲学 300

LDRA Testbed软件静态分析_常见问题及处理

通过前面的几篇文章,LDRA Testbed软件静态分析的内容基本讲解完了,本篇文章将针对使用Testbed进行软件静态分析的常见问题进行介绍。 到此为止,LDRA Testbed软件静态分析的内容已经全部讲完,如果有问题,欢迎私信提问(不经常登录,回复可能不及时,见谅)。下一篇文章将开始讲解如何使用Testbed进行单元测试。

文章主要涉及嵌入式软件开发、测试、项目管理等,欢迎交流,共同进步。 2593

openGauss账本数据库,你不知道的那些事儿

本文将通过对比官方文档关于“设置账本数据库”中的几个章节,结合源码来说说文档中操作步骤背后的原理。官方文档账本数据库融合了区块链思想,将用户操作记录至两种历史表中:用户历史表和全局区块表。当用户创建防篡改用户表时,系统将自动为该表添加一个 hash 列来保存每行数据的 hash 摘要信息,同时在 blockchain 模式下会创建一张用户历史表来记录对应用户表中每条数据的变更行为;而用户对防篡改用户表的一次修改行为将记录至全局区块表中。

2301_79720856的博客 930

零基础DSP实战TMS320F28035:第九节,ADC比较器&EPWM

ADC比较器框图如下所示:-电压-----------------------------输出-电压A>电压B------------------ 1-电压A

sinat_30943509的博客 2537

prometheus数据库监控-那些你必须知道的事儿

技术导语: 正如标题描述的,本章将介绍如何通过prometheus的客户端工具postgres-exporter实现postgresql数据库的监控,当然prometheus社区还提供了其他类型的数据库监控客户端,如mysql-exporter,这里就不多列举了。 客户端可执行文件 postgres-exporter 客户端配置文件 custom.yaml pg_replication: query: "SELECT EXTRACT(EPOCH FROM (now() - pg_last_xact_.

inteligent7的博客 664

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

Outlook Express 6 (OE6) for Win7/Win8/Win10

英文版 Outlook Express6.0, 兼容Win7/Win10/WinXP,解压就可用。

关于数据库连接池你不知道的事儿 C3P0 Druid

1.数据库连接池 1.1为什么需要数据库连接池 复习线程池 1. 初始化一些线程,提供给程序使用 2. 节约了资源,关于线程的开闭资源,节约了内存空间 3. 例如初始化5个线程对象,这里有10个线程目标 首先执行5个线程目标,其他线程目标等待 5个线程目标执行完毕,会执行其他线程,不会关闭线程。 数据库连接池 现在的代码有什么问题 每一次执行业务都需要申请新的数据库里链接,同时运行结束之后关闭资源。 会导致...

tony_yang6的博客 185

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

不列入数据库中_关系型数据库中你不知道的那些事儿

数据库技术所研究的问题:科学的组织和存储数据;高效的获取和处理数据数据SQL语言,又叫做结构化查询语言。SQL是专为数据库而建立的一个操作命令集,是数据库专用的语言。使用SQL语句的时候,只需要发出“做什么”的命令,具体“怎么做”是不需要使用者来参与的,直接看SQL语句反馈的结果就可以。数据库的基本架构组成:1.数据 data定义:对客观事物的符号表示,如图形符号,数字,字母等等。数据是数据库存储...

weixin_42516581的博客 84

djano 字段不重复_关系型数据库中你不知道的那些事儿

数据库技术所研究的问题:科学的组织和存储数据;高效的获取和处理数据数据SQL语言,又叫做结构化查询语言。SQL是专为数据库而建立的一个操作命令集,是数据库专用的语言。使用SQL语句的时候,只需要发出“做什么”的命令,具体“怎么做”是不需要使用者来参与的,直接看SQL语句反馈的结果就可以。数据库的基本架构组成:1.数据 data定义:对客观事物的符号表示,如图形符号,数字,字母等等。数据是数据库存储...

weixin_39532352的博客 151

闪耀 DTCC | 华为云分布式数据库和数据库安全技术中那些你不知道的事儿

点击蓝色字关注"数据库技术大会" 一起玩耍哦~华为云是领先的云服务品牌,为客户提供稳定可靠、安全可信、可持续演进的云服务。面向大中型企业,华为云帮助他们解决云转型中的困难...

338

数据仓库那些事儿

在文章开始前,各位读者大人如果听过数据仓库或者知道数据仓库,可以思考下数据仓库跟数据库有什么区别。如果未听过数据仓库,我猜你也想知道为什么有数据库了,还要数据仓库。思考过...

zzzzMing -大数据/数据分析/数据挖掘 268

hive olap 数据仓库_数据仓库那些事儿

在文章开始前,各位读者大人如果听过数据仓库或者知道数据仓库,可以思考下数据仓库跟数据库有什么区别。如果未听过数据仓库,我猜你也想知道为什么有数据库了,还要数据仓库。思考过后,我们来开始吧。一、什么是数据仓库?简单讲,数据仓库是一种特殊的数据库。数据仓库一般以主题为出发点进行的,也就是业务核心,集成多种数据源的数据,会随着时间的变化而变化,因为随着时间数据的量会改变,而且以读操作为主,所以基本不会丢...

weixin_42395213的博客 165

什么是dB?为什么要用dB?dB家族成员有哪些?

dB-分贝是从事通信、射频的同学经常会用到的一个词汇,它的英文全称是Decibel简写为dB。我们常说“回波损耗是多少dB?”,“插入损耗是多少dB?”,“发射功率是多少dBm?”,“天线增益是多少dBi?”对于从事射频和通信行业的同学来说,这些都不是事儿,但对于不了解的同学来说,让人有点头大,那么到底什么是dB,为什么要用dB?请看以下讲解: 1.什么是dB? dB本质上是比值的对数值。 如何理解这句话? 取个dBm的例子:比如我先现在测得的功率是100mW那么换算成dBm(dBm就是功率相对于1mW的比

m0_37618640的博客 1万+

数据仓库上云那些事儿

数据仓库上云已经不是什么新鲜概念,这里简单聊一聊在这个过程中需要考虑的问题。 首先,某些话题不是一两句能说清楚,所以,这里我们不聊以下话题: 技术平台的对比。这里我们不做任何对比分析,如不特殊说明均指Azure以及微软相应的产品。 某个产品的好坏。 法务,合规。不同公司有不同的规定。 国家大事。这个我们知道就好,不在这里聊。但是我想强调一点是,即使只搞技术,国家民族大义也是头等大事,不然你会吃亏。 上不上云 To be or not to be, this is a question..

哥本哈士奇的博客 716

关于分布式分片,你该知道的事儿

复制技术讨论的是将同一份数据拷贝到多个节点,每个节点保存相同的数据内容,以冗余来提高可靠性。而数据库分片是和水平分表(将一个表里的行拆分成不同的表)有着一定关系的一种数据拆分方式,它讨论的是将数据进行划分(也有点类似于水平划分),划分的小块叫做逻辑分片(logical shards),然后分配到不同的节点(也做叫物理分片,physical shards)上去,这样每个节点负责处理一部分数据,可以达到提高读写性能的目的。为了避免混淆,下文中把逻辑分片称作分片,物理分片叫做物理节点。

xiaopan的博客 2409
上一篇: 研发日记 | 开源软件 Goreleaser X CGO 最佳实践是如何诞生的
下一篇: 新宠儿还是新玩具?Bun 速览
Bytebase
博客等级 码龄5年 1350粉丝 258原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值