【数据库汇总】

DB-Engines定期发布最新全球数据库信息汇总和排名 DB-Engines是一项收集和呈现数据库管理系统(DBMS)信息的倡议。除了已建立的关系DBMS之外,还强调了正在发展的NoSQL领域的系统和概念。 数据库引擎排名是一个数据库管理系统的列表,根据它们当前的流行程度进行排名。该名单每月更新一次。 数据库管理系统概述中显示了许多系统的最重要属性。您可以检查每个系统的属性,并可以并排比较它们。 在数据库百科全书中,对这个主题的术语和概念进行了解释。 阅读详情

三层模式/两级映像
内模式:数据物理结构和存储方式的描述
逻辑模式:数据库中全体数据的逻辑结构和特征的描述,是数据库系统模式的中间层
外模式:数据库用户使用的局部数据的逻辑结构和特征的描述,介于模式与应用之间
外模式/模式保证了数据的逻辑独立性(逻辑模式改变,应用程序不变)
模式/内模式保证了数据的物理独立性(应用程序与数据的物理存储无关)
关系数据模型
域:一组具有相同数据类型的值的集合(列)
笛卡尔积:所有域的所有取值的一个组合,不能重复。(xyz)
元组:二维表中的一行
候选码:在关系中能唯一标识元祖的属性或属性集
主码:选做元组标识的候选键
主属性:候选码的各个属性
完整性约束
对关系的约束条件
外码:一个关系中(参照表)的一个属性是另一个关系(被参照表)的主码,则该关系称为参照表的外码
实体完整性:主码唯一且不为空,主属性不取空
参照完整性:定义外码与主码之间的引用规则,外码的取值必须等于被参照表中某个元组的主码值或者取空值(外键值还未确定)
用户自定义完整性:针对某一关系数据库的约束条件,反映某一具体数据必须满足的语义要求,如是否可取空值
关系代数
传统的集合运算:属性个数相同,对应属性列必须属于同一个域
并:属于A或属于B
交:属于A且属于B
差:属于A但不属于B
投影和选择
投影π:从R中选择若干属性列组成新的关系
选择:从R中选择满足条件C的各个元组
笛卡尔积和连接
笛卡尔积:关系之间的乘积
R关系:n个属性,x个元组
S关系:m个属性,y个元组
R×S:m+n个属性,x*y个元组
连接:先对R和S进行笛卡尔积,然后选择满足比较条件的元组
等值连接:从R和S中选取A、B属性值相等的元组
自然连接∞:在公共属性上进行的等值连接,两个关系中必须具有公共属性,结果中去除重复列
重命名ρ:给关系或关系中的列重新命名
数据定义
创建表CREATE TABLE
关系名、属性名、属性数据类型、完整性约束
删除表DROP TABLE
修改表ALTER TABLE
创建视图CREATE VIEW
删除视图DROP VIEW
创建索引CREATE INDEX
删除索引DROP INDEX
视图:是从一个或几个基本表中导出的表,不独立存储在数据库中,数据库中只存放视图的定义而不存放视图对应的数据。
索引:类似于图书索引,能够快速定位到要查询的内容,能够加快数据库查询,但是需要占用一定的操作空间。
SQL数据控制
1.完整性:数据库中数据的有效性、正确性与相容性
2.并发控制:当多个用户并发的对数据库进行操作时,对它们加以控协调以保证并发操作正确执行并保证数据库的一致性
3.恢复:当发生故障使数据库处于不一致状态时将数据库恢复到一致状态(事务、提交、回滚)
4.安全性:保护数据库防止不合法的使用造成数据的泄漏和破坏(存取控制GRANT、REVOKE)
数据库设计基本步骤
数据库设计:构造最优的数据模型,建立数据库及其应用系统的过程
(1)需求分析:了解分析用户需求
(2)概念结构设计:通过对用户需求进行综合、归纳与抽象,形成独立于DMS的概念模型(概念模式) ER模型
(3)逻辑结构设计:将概念结构转换为数据模型(逻辑模式、外模式)
(4)物理结构设计:为逻辑数据模型选取最适合应用环境的物理结构(内模式)
(5)数据库实施:根据逻辑设计和物理设计的结果建立数据库,编写调试应用程序
(6)数据库运行和维护:在数据库与运行过程中不断对其评估、调整与修改
ER模型
实体:应用中可以区别的客观存在的事物,同一类实体的集合构成实体集(矩形框)
属性:实体的某一个特征。能够唯一标识一个实体的属性称为实体标识符(椭圆框)
联系:一个或多个实体之间的关系(菱形框)
区别实体和属性:属性不能再有需要描述的性质,不能与其他实体具有联系
联系的类型:1:1,1:n,m:n
合并ER图的冲突
命名冲突、结构冲突、属性冲突
ER图转换为关系模式
实体:每个实体转化为一个关系模式,实体属性即关系模式的属性,实体标识符即关系模式的key
UML中组合和聚集的区别
组合:部分对象只能存在于组合对象中,组合体消亡时部分体必然消亡(衣服由袖子、纽扣组合而成)
聚集:聚集对象由部分对象组成,但是各个组成部分是可以拆开独立存在的(电脑由主机、键盘、鼠标聚集而成)
数据依赖
定义属性之间的相互关联,主要体现属性值是否相等,分为函数依赖、多值依赖、连接依赖。
函数依赖:函数X取值能决定函数Y取值,则称函数依赖
平凡函数依赖:(A,B)->A
非平凡函数依赖:(A,B)->C
完全函数依赖:(A,B)->C,但是A!->C且B!->C
传递函数依赖:A->B,B->C,则A->C
什么是规范化理论
通过分解关系模式来消除关系模式中不适合的数据依赖,以解决插入异常、删除异常、更新异常和数据冗余问题。
范式
范式是符合某一种级别的关系模式的集合。
1NF:所有属性都是不可分的基本数据项
2NF:该关系模式属于1NF,且每个非主属性都完全函数依赖于R的主键( (A,B)决定C,但是A不能决定C,B也不能决定C)
3NF:该关系模式属于1NF,且不存在非主属性对码的传递函数依赖(A决定B,B决定C,则A决定C)
BCNF:该关系的每个决定属性集都包含候选码
关系模式的规范化
1NF->2NF:消除非主属性对码的部分函数依赖
2NF->3NF:消除非主属性对码的传递函数依赖
3NF->BCNF:消除主属性对码的部分和传递函数依赖
BCNF->4NF:消除非平凡非函数依赖的多值依赖
4NF->5NF:消除非候选码所蕴含的连接依赖
数据库的安全性管理
1.方法:用户标识与鉴定,存取控制,视图,审计,密码存储
2. 存取控制:保证用户只能访问其有权存取的数据,定义存取权限(grant,revoke),检查存取权限
3. 定义视图:为视图授权
4. 审计:建立审计日志记录用户对数据库的操作记录
5. 数据加密:将明文转化为密文进行传输
并发控制
对多用户并发存取同一数据的操作进行控制防止出现数据不正确
数据不一致性
读脏数据、不可重复读、丢失修改
事务
事务是用户定义的一个数据库操作序列,这些操作要么全做要么全不做,是一个不可分割的工作单位,是并发控制和恢复的基本单位。
事物的ACID特性
原子性:事务是数据库的逻辑工作单位
一致性:事务执行的结果必须是使数据库从一个一致性状态变到另一个一致性状态
隔离性:不能被其它事务干扰
持续性:事务一旦提交,对数据库中数据的改变就是永久性的,接下来的操作不应该对其执行结果有影响
破坏ACID特性的操作
多个事务并行运行,不同事务的操作交叉运行;事务在运行过程中被强制停止。
封锁
封锁是一个实现并发控制的技术,是事务T在对某个数据对象进行操作之前先向系统发送请求,将其加锁,加锁后事务T就对该数据对象有了一定的控制,在事务T释放他的控制之前,其他事务不能更改此数据对象。
排它锁:当事务T对数据加X锁后,不允许其他事务对数据加锁
共享锁:当事务对数据加S锁后,其他事务只能对该数据加S锁,直到该事务释放S锁
封锁协议(数据不一致)
一级封锁协议:事务T修改数据R之前必须先加X锁,直到事务结束再释放,可以防止丢失修改并保证事务T是可恢复的
二级封锁:在一级封锁协议的基础上,事务读取数据之前必须先加S锁,直至读完才可释放,可以进一步防止读脏数据,但不能保证数据可重复读
三级封锁:一级封锁协议的基础上,事务读取数据前必须先加S锁,直到事务结束再释放,进一步防止了不可重复读。
两段锁(保证可串行化调度)
所有的加锁操作都在解锁操作之前
死锁和活锁
活锁:系统可能使某个事务永远处于等待状态得不到封锁的机会(先来先服务)
死锁:系统中有两个或两个以上的事务处于互相等待的状态而造成任何一个失误都无法继续执行(一次封锁法、顺序封锁法、定期检测、超时法、等待图法)
数据转储
数据转储是数据库恢复的基本技术,转储即DBA定期将整个数据库复制到磁盘或另一个磁盘保存起来的过程,分为静态转储和动态转储。静态转储是系统中无运行事务时进行的转储操作,转储操作开始的时刻,数据库处于一致行状态,转储期间不允许对数据库进行任何的存取、修改活动,得到的一ID那个是一个数据一致性的副本,动态转储是指转储期间允许对数据库进行存取或修改,且对转储期间的修改活动登记下来建立日志文件,这样后援副本加上日志文件就可以将数据库恢复到某一时刻的正确状态。海量转储每次转储全部数据库,增量转储只转储上次转储后更新过的数据。
恢复步骤
事务故障:反向扫描日志文件,查找该事务的更新操作,对更新操作执行逆操作
系统故障:正向扫描日志文件,找出故障发生前已提交的事务队列和未完成的事务队列,对未完成的事务进行UNDO处理,对已完成的数据进行REDO处理
介质故障:装入最新的数据库后备副本,装入转储结束时刻的日志文件副本,启动系统恢复命令由DBMS完成恢复功能即重做事务
为什么REDO正向扫描UNDO反向扫描
若存在同一个数据多个UNDO操作,需要将数据恢复到第一个UNDO事务之前,正向处理无法实现,对同一个数据的多个REDO操作,需要将数据恢复到最后一个成功事务之后,应该正向扫描
触发器
是一种特殊的存储过程,在插入、删除或修改特定表中的数据时触发执行,比数据库本身标准的功能有更精细更复杂的数据控制能力。
数据字典
数据字典是分析阶段的工具,由数据项、数据结构、数据流、数据存储和处理过程组成,供人查询对不了解的条目的解释,在结构化分析中给数据流图上每个成分加以定义和说明
数据库系统的功能
数据库的定义与操作、共享数据的并发控制、数据安全和保密
数据库为什么要设置并发
解决多用户同时访问的问题
如何进行sql优化
查询时尽量避免全表扫描,避免在where子句中对null进行判断或使用or作为连接条件,否则将会导致引擎放弃使用索引而进行全表扫描
数据库概念模型
概念模型是现实世界到机器世界的一个中间层次,用于信息世界的建模,将需求分析阶段的应用需求抽象为信息世界的结构
代数优化
通过对关系代数表达式的等价变换来提高查询效率。
启发式优化:选择运算尽可能先做,将投影运算和选择运算同时进行,投影与其前后的双目运算结合起来,把某些选择同在他前面要执行的笛卡尔积结合起来成为一个连接运算,找出公共子表达式
候选码:能够唯一标识关系的属性

银行数据仓库体系实践(10)--汇总指标层和集市模型设计 建立多层次的数据访问服务体系,有力提升数据仓库的价值。基于指标汇总层、集市层、可以提供面向业务人员的即席数据查询、以及面向应用开发者的数据接口、应用访问接口,满足不同类型应用的需要。 1、汇总指标层模型设计原则及步骤 1.1建设目标: 汇总指标层也叫中间层,他提炼出对ODS具有共性的数据访问、统计需求,从而构建出的一个面向支持应用的、提供共享的数据访... 阅读详情

相关推荐

Frida提取Cocos游戏XXTEA密钥的实战方法论

XXTEA是一种轻量级分组加密算法,广泛用于移动端游戏通信保护;其128位密钥的安全性直接决定网络协议逆向成败。在Cocos引擎生态中,密钥常以静态常量、JNI动态传递或Native运行时派生三种形态存在,导致传统静态分析失效。Frida凭借跨Java/Native注入能力与内存实时观测优势,成为捕获密钥‘出生瞬间’的关键工具——尤其适用于hook xxtea_encrypt函数入口、监控JNI参数传递、设置内存断点追踪派生过程等场景。本文聚焦Cocos2d-x与Cocos Creator项目,覆盖从密钥识

weixin_33509600的博客 416

数据库知识点复习

数据库

qq_48566899的博客 502

Apollo学习笔记(4)坐标系

百度Apollo项目用到了多种坐标系,其中帮助文档提及的坐标系包括: 全球地理坐标系(The Global Geographic coordinate system ) 局部坐标系—东-北-天坐标(The Local Frame – East-North-Up,ENU) 车身坐标系—右-前-天坐标(The Vehicle Frame —Right-Forward-Up,RFU) 车身坐标系—前-左-天坐标(The Vehicle Frame —Front-Left-Up,FLU) 还有一种Frenet坐标

qq_24649627的博客 5798

【数据库复习】第四章数据库恢复技术

例]在转储期间的某个时刻Tc,系统把数据A=100转储到磁带上,而在下一时刻Td,某一事务将A改为200。转储结束后,后备副本上的A已是过时的数据了。T2和T4在检查点之后才提交,它们对数据库所做的修改在故障发生时可能还在缓冲区中,尚未写入数据库,所以要REDO。即使多个事务并发执行,每个事务都感觉不到系统中有其他事务在执行,以保证数据库的一致性。如果在执行事务之前数据库是一致的,那么在执行事务之后数据库也还应该是一致的。为恢复数据库,首先由DBA重装数据库后备副本,将数据库恢复至Tb时刻的状态。

weixin_62495164的博客 1734

中文实体关系抽取数据集大盘点:从百度Duie2.0到医疗CBLUE,哪个更适合你的NLP项目?

本文全面分析了中文实体关系抽取领域的主流数据集,包括百度DuIE 2.0、医疗CBLUE等,帮助开发者根据项目需求选择最适合的数据集。文章详细对比了各数据集的特点、适用场景及优化策略,为自然语言处理项目提供实用指南。

weixin_29284657的博客 121

一文搞定学术英语写作 (斯坦福SCI论文写作课程笔记)

0.前言: 本文基于斯坦福Kristin Sainani 教授的学术论文写作公开课——SCI论文写作(Writing in the Sciences)。在此基础上进行章节顺序的重排及部分内容的删减,以方便第一次进行英语学术论文写作的同学快速上手。 时间充足和想要系统学习英文学术写作的同学,十分建议观看完整课程视频,一定会受益匪浅!课程地址如下: 课程B站地址:https://www.bilibili.com/video/BV1zv41177JQ 1.论...

Ogmx的博客 3万+

数据库恢复技术

数据库恢复技术 故障种类 1.事务故障:某个事务在运行过程中由于种种原因未运行至正常终止点就夭折了 事务故障的恢复: (1)对于可预见的错误,由事务程序来处理 (2)对于不可预见的错误,由DBMS强行回滚该事务 2.系统故障:整个系统的正常运行突然被破坏,所有正在运行的事务都非正常终止,内存中数据缓冲区的信息全 部丢失,外部存储设备上的数据未受影响 系统故障的恢复: (1)清除尚

liuke 1384

【SOFA】SOFA框架+Win10+VS2019 配置

SOFA (Simulation Open Framework Architecture)官网 SOFA 是一个开源的仿真框架,用于实时的物理仿真,而且主要针对医学上的仿真。主要用于研究人员开发新的算法,也可以作为一个有效的快速成型工具或是物理引擎。 官网中给出的配置方法写的很清晰,有着各个库或者软件的版本要求,仔细看按版本要求来 官网配置地址 官网给了两种方 1.通过脚本自动配置 2. 自己下载相关库通过CMake进行生成 第一种 没使用,不知道是否好使,因为如果其中有下载的东西,国内不一定能成功,大家可

GordonWei 5260

数据库系统原理简答题

1、 2、 3、 4、 5、 6、 7、 8、 9、 10、 11、 12、 13、 14、 15、 16、 17、 18、 19、 20、 21、 22、 23、 24、 25、 26、 27、 28、 29、 30、 31、 32、 33、 34、 35、 36、 37、 38、 39、 40、 41、 42、 43、 44、 45、 46、 47、 48、 49、 50、 51、 52、 53、 54、 55、 56、 57、 58、 59、 60、 61、 62、 63、 64、 65、 66、 6

qq_40907977的博客 3万+

STM32开发笔记85: SX1268驱动程序设计(芯片唤醒)

单片机型号:STM32L053R8T6 本系列开发日志,将详述SX1268驱动程序的整个设计过程,本篇介绍芯片唤醒驱动程序。 一、RxDutyCycle模式 在讲述本篇内容之前,我们先来看一下SX1268的一种模式RxDutyCycle,译为中文为接收占空比模式。其可使用SetRxDutyCycle命令进入RxDutyCycle模式,我们来看一下该命令的详细解释。 该命令具有2个参数,...

snmplink的博客 4068

使用菱FX5U系列PLC实现以太网通信的具体方法示例

接下来,我们将创建一个简单的CPU通信功能,以实现与其他设备的以太网通信。在上述代码中,我们首先设置访问号,然后创建一个数据读取命令(M_READ)和一个数据写入命令(M_WRITE)。此外,在实际应用中,您还需要确保PLC和其他设备之间的网络连接正常,并且遵循相应的通信协议。在上述代码中,我们执行了数据读取命令,并将接收到的响应存储在M_RESPONSE变量中。通过简单CPU通信功能,菱FX5U系列PLC可以实现与其他设备的以太网通信。我们将提供相应的源代码和详细的说明,以帮助您轻松实现这一功能。

DevCyberX的博客 1525

《数据库系统概论》学习笔记——第十章:数据库恢复技术

故障是不可避免的系统故障:计算机软、硬件故障人为故障:操作员的失误、恶意的破坏等。数据库的恢复:把数据库从错误状态恢复到某一已知的正确状态(亦称为一致状态或完整状态)

jzb的博客 2860

YOLOv8多传感器融合技术——毫米波雷达融合技术详解

本文介绍了YOLOv8与毫米波雷达融合技术在自动驾驶系统中的应用。毫米波雷达具有全天候工作、测距测速精准等优势,但存在分辨率低等局限。通过融合YOLOv8的视觉检测能力,可显著提升系统在恶劣环境下的感知性能。文章详细阐述了融合实现方法,包括雷达数据处理、目标投影匹配、置信度融合等关键技术,并提供了评估指标和应用场景分析。这种多传感器融合方案能有效弥补单一传感器的不足,为自动驾驶提供更可靠的环境感知能力,是实现高级别自动驾驶的重要技术支撑。

u010117029的博客 174

数据仓库、数据库开发面试题目汇总:

1、游标分几种? 2、显式游标怎么使用 3、大表怎么更新数据 4、聚合函数与分析函数的差别? 5、函数和存储过程的差别 6、你接触过最大的表 7、怎么做优化的 8、会不会MERGE INTO? 9、怎么看执行计划 10、索引分那几种? 11、你做过那些项目,写过那些报表 12、谈谈你一个项目的业务逻辑 13、你在该项目做什么。 14、为什么离职 15、想往什么方向发展

1311

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

SIMATIC S7-1200, S7-1500 PID 控制[手册]

SIMATIC S7-1200, S7-1500 PID 控制[手册]

FoodMart数据仓库mysql表及数据初始化及重度汇总脚本

数据仓库FoodMart完整初始化表及数据Mysql版-数仓入门必知必会案例

数据科学汇集 3179

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

数据仓库资源汇总

<br />1) 数据仓库方面的原创文章汇总 :http://blog.youkuaiyun.com/baoqiangwang/archive/2009/10/15/4677776.aspx<br /><br /><br />

QBing --无论如何,都不应放弃对能力的追求 969

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

数据仓库,笔记汇总

啊大苏打

qq_43530597的博客 386

数据仓库之汇总层(DWS)设计概要

数仓为什么要分层 合理的数据仓库分层一方面能够降低耦合性,提高重用性,可读性可维护性,另一方面也能提高运算的效率,影响到数据需求迭代的速度,近而影响到产品决策的及时性。建立数据分层可以提炼公共层,避免烟囱式开发,可见一个合适且合理的数仓分层是极其重要。 通用分层设计思路 ODS:操作型数据(Operational Data Store),指结构与源系统基本保持一致的增量或者全量数据。作为DW数据的一个数据准备区,同时又承担基础数据记录历史变化,之所以保留原始数据和线上原始数据保持一致,方便后期数据核对

ytp552200ytp的博客 8642

人脸数据库汇总

转载自:http://blog.youkuaiyun.com/onlyyouandme/article/details/5596915 防止博主删文章 人脸数据库汇总 2009年08月07日 星期五 02:11 P.M. 人脸数据库汇总 ■Annotated Database (Hand, Meat, LV Cardiac, IMM face) (http://www2.imm.dtu.dk/~aam/) ■...

Anthony's Blog 2875

Oracle Database In-Memory资源汇总页面

从OOW 2019 DBIM session片子中,推荐了一个Database In-Memory汇总页面,如下: https://blogs.oracle.com/in-memory/dbim-resources 其中OOW 2019的Hands on Lab可以抽空做一下。

In-Memory Computing Technology 480

数据仓库生产问题汇总

数据仓库生产问题汇总 开篇-项目整体流程 你可以简单说/画一下你们的项目流程吗? 第一章:数据源问题 1:数据来源于 Mysql,简单说一下大概有什么表,都采集什么业务 字段 2:每天的数据量多大 ?增量多少、全量数据多少 3: Mysql 采用什么版本的? 4:你接触的业务数据最大的表多大?多少行? 5:你们业务库中大概有多少表? 6:你们采用的是什么调度方式 ?为什么? 7:凌晨调度的话,如果出现问题有什么处理机制? 8:你们调用是串行调度还是并行调度? 9:调度过程中,上一个调度和下一个调度有没有先后

HelloWowofei的博客 997

关于本博客数据仓库方面的原创文章汇总

  关于本博客数据仓库方面的原创文章汇总 收藏  此文于2010-01-04被推荐到优快云首页 如何被推荐? 关于数据仓库方面的文章汇总   我的数据仓库之路! 关于数据仓库维度处理的系列文章 1 关于数据仓库维度数据处理的方法探究系列—— 维的概述 2 关于数据仓库维度数据处理的方法...

weixin_34387284的博客 71

数据仓库汇总层(DWS)建模方法与步骤

关于数据仓库的分层,似乎大家都有一个共同的认识。但涉及到每一层该如何去建模,可能每个人都有自己的理解。 数据建模,毫无疑问是数仓建设的重中之重,然后,在实际的开发过程中,会把大量的时间都投入到了需求开发,往往会忽略数据建模,尤其是DWS层的建模。长此以往,数据模型变的越来越杂乱,指标口径无法统一,造成的结果就是:虽然表很多,但是却很难取数。 本文主要介绍DWS层建模的基本方法论,希望对你有所帮助。 1、数仓为什么要分层? 合理的数据仓库分层一方面能够降低耦合性,提高重用性,可读性可维护性,另

cdfunlove的博客 5360

GO中不同数据库database查询方法汇总

GO中database查询方法汇总

qq_41368619的博客 708
上一篇: 【操作系统汇总】
下一篇: 【计算机组成原理汇总】
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值