On-Disk还是In-Memory：两种数据库对比

最新推荐文章于 2024-08-07 19:31:46 发布
转载 最新推荐文章于 2024-08-07 19:31:46 发布 · 2.7k 阅读 · 0
文章标签：

#Hadoop #shark #存储 #数据库 #技术

本文深入探讨了传统硬盘数据库和内存数据库的功能和特性，通过比较帮助DBA直观了解两种数据库的不同之处，以便根据业务需求选择合适的数据库技术。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

http://club.techtarget.com.cn/space/viewspacepost.aspx?postid=5827

我们所知道的最普遍的传统数据库包括Oracle和MySQL等，如果按照数据存储的介质，我们可以把它们称为硬盘数据库，因为数据是存放在外部存储介质当中的。相对应，还有一种数据库我们可以称它为内存数据库，即In-Memory Database，简称IMDB(同某知名被墙电影网站同名。。。)，它的数据全部存储在内存里，使用比较普遍的产品包括Oracle的TimesTen以及IBM的SolidDB等。

　　随着企业用户对于数据库性能的需求不断增加以及硬件设备的成本降低，内存数据库受到了更多的认可。但是每一种数据库产品或技术都有它的优点和不足，还是那句话，无论使用什么样的技术，它都取决于你的业务应用需求。在本文中，我就将对传统硬盘数据库同内存数据库的功能和特性做一个简单的比较，DBA可以拿来做一个最直观的参考。


TiDB系列之：认识TiDB数据库，使用TiUP部署TiDB集群，同时部署TiCDC的详细步骤
zhengzaifeidelushang的博客
04-25 643
TiUP 的直接功能是作为 TiDB 生态中的包管理器，但这并不是它的最终使命。TiUP 的愿景是将 TiDB 生态中所有工具的使用门槛降到极致，这个仅仅靠包管理功能是做不到的，还需要引入一些额外的包来丰富这个系统，它们一起加入到 TiUP 生态中，让 TiDB 的世界变得更简单。TiUP 系列文档的主要内容就是介绍 TiUP 及这些包的功能和使用方式。Usage:Examples:Flags:可用的命令install：用于安装特定版本的组件list：查看可用组件列表或组件可用版本列表。
内存数据库与磁盘数据库
chenkaifang的博客
09-02 8642
参考网址：https://blog.youkuaiyun.com/dh2442897094/article/details/64440130 1、磁盘数据库需要频繁地访问磁盘来进行数据的操作，由于对磁盘读写数据的操作一方面要进行磁头的机械移动，另一方面受到系统调用（通常通过CPU中断完成，受到CPU时钟周期的制约）时间的影响，当数据量很大，操作频繁且复杂时，就会暴露出很多问题。 内存数据库数据处理速度比传统...
内存数据库及技术选型
朱小厮的博客
08-23 3083
点击上方“朱小厮的博客”，选择“设为星标”后台回复"书"，获取后台回复“k8s”，可领取k8s资料依靠内存来存储数据的数据库管理系统，也称为内存数据库，成为了解决高并发、低...
磁盘数据库 vs 内存数据库
06-06 1177
内存数据库全部数据存储在内存中，具备更极致的读写性能在数据库发展早期，由于硬件性能的局限，数据库系统通常采用基于磁盘的设计，数据在内存中进行相应处理并以磁盘块 为单位存储在磁盘上。而内...
磁盘数据库啊和内存数据库是啥？
fgh123的博客
12-21 327
文章目录坐而论道caici 坐而论道 原来PostgreSQL是个磁盘数据库啊！ 沃特玛一直以为是内存数据库呢！ caici 百度文库记载的 内存数据库与磁盘数据库
磁盘数据库与内存数据库的特点比较
weixin_34218579的博客
03-06 795
欢迎关注公众号：吴先生的伊甸园典型的磁盘数据库就是最常用的 Oracle，Mysql等。典型的内存数据库如 Redis。这俩种数据库的比较如下：传统磁盘数据库的优点 – 传统数据库的ACID机制成熟、可靠；– 提供强大的数据定义语言（DDL）及数据操作语言（DML），提供 SQL 支持； – 提供一定的主动机制（如触发器，Trigger）和后台数据处理能力（如存 储过程，Stored Proced...
pythonsqlite3 memory_python-SQLite性能基准测试-为什么：memory：这么慢...只有磁盘速度的1.5倍？...
weixin_27889245的博客
01-13 932
为什么在sqlite中：memory：这么慢？我一直在尝试查看通过使用内存中的sqlite与基于磁盘的sqlite是否可以获得任何性能改进。 基本上，我想以启动时间和内存为代价来获得非常快速的查询，这些查询在应用程序过程中不会对磁盘造成影响。但是，以下基准测试仅能使我提高速度1.5倍。 在这里，我正在生成一百万行随机数据，并将其加载到同一表的基于磁盘和内存的版本中。 然后，我在两个数据库上运行随机...
SAP-HANA多租户数据库容器MTX：架构优势与实施要点
SAP HANA多租户数据库容器MTX作为先进数据库技术的代表，提供了高效率和灵活性的数据处理解决方案。本文首先概述了MTX的架构优势，包括其在性能、资源管理和安全性方面的特点。随后，文章详细介绍了实施MTX前的准备...
inflxdb状态码500(cache-max-memory) 以及 influxdb 配置文件
weixin_33881041的博客
05-24 4233
由于今天线上influxdb写入失败，查看日志出现大量500，而且是针对一个database的，比较郁闷，如果是都是500可以理解，单一库500 不太好查。本来是python调用方法写入的，debug比较困难。所以就简单的curl写入一个测试表试试：日志记录为：（注意出了问题查看日志，日志位置找influxdb的配置文件） [httpd]xxxxxxx--[24/...
收集的面试题 二
qq_53134616的博客
01-28 4536
十一 1、Redis是什么，怎么持久化 Redis是一个高性能的内存数据库，以key-value方式存储数据，可以作为缓存使用。 Redis支持RDB和AOF两种持久化机制。持久化功能有效地避免因进程退出造成的数据丢失问题，下次重启时利用之前持久化的文件即可实现数据恢复。 RDB：RDB持久化是把当前进程数据生成快照保存到硬盘的过程，触发RDB持久化过程分为手动触发和自动触发。 触发机制 手动触发分别对应save和bgsave命令 save命令：阻塞当前Redis服务器，知道RDB...
data model in memory and disk
weixin_33671935的博客
08-31 94
2019独角兽企业重金招聘Python工程师标准>>> ...
内存数据库比磁盘数据库好在哪里？
ssyzuu的博客
06-20 226
想了解内存数据库比磁盘数据库好在哪里，搜一下就能出来很多答案，今天我就举个具体的例子来说明，应该会更直观生动一点。随着业务数据量的发展和业务复杂度的增长，某家运营商的经分系统在日常数据处理上呈现以下三个技术特点： 数据量大，数据仓库表随业务量逐步发展，典型单表记录数达到亿万级，需要复杂关联分析和高频更新；无索引条件下的多表关联的复杂查询性能瓶颈，主要是多表关联或者无索引时查询缓慢，每当遇到业务高峰期，核心应用响应及时性压力巨大，影响业务报表的生成效率；查询频率高、并发大、数据库负载高，工单由单次任务加上定时
15.6 InnoDB 磁盘（On-Disk）结构
影三人
10-19 1414
15.6 InnoDB 磁盘（On-Disk）结构，本章节较长。
SAP HANA 高性能内存数据库
lixinkuan的博客
10-27 5120
最近，用到了SAP HANA内存数据库，听过这套集群搭建公司已花费超过2亿RMB。今天对于这款德国SAP制造的内存数据库做一个简单的介绍和总结。 虽然在处理大数据方面性能很赞，但是花费太高，不是一般小公司能够承担起的，所以不是很流行，在DB-Engines排名不是很高。 一、HANA是什么 HANA(High-Performance Analytic Appliance)高性能分析设...
京东JIMDB（Jingdong In Memory DataBase，京东内存数据库）
qqq2018的博客
11-11 3947
特性、应用有点乱，了解下有什么功能，用于解决什么问题的就行 由来： 当一个网页被打开时，为了提供良好的用户体验，提高用户购买的转化率，往往一个纯静态的页面已无法满足业务的需要，后台会有几十上百个服务为这个页面提供动态的个性化的数据。比如根据用户过往的购买记录和上网的浏览信息帮他推荐感兴趣的商品，告诉用户这些商品购买比例如何，好评度怎么样，什么时间段可以送货到家，这个商品有没有促销，能不能用券，如果缺货需要提醒用户这个商品当前是预定状态，还有很多就不一一列举，这么多的服务需要调用，而且要在每秒成千上万次请
oracle in-memory database 使用,In-Memory Database Cache 概述
weixin_42298743的博客
04-07 219
Oracle In-Memory Database Cache 概述 Oracle In-Memory Database Cache (IMDB Cache) 是一个 Oracle Database 产品选件，非常适于将 Oracle 数据库中对性能影响极大的数据子集缓存在应用层中，以提高应用响应速度。借助该解决方案，应用使用 SQL 和 PL/SQL 语句在缓存表上执行读/写操作时，将能够...
in-memory databases
踏入神的领域
11-06 2605
metadata的本质是一个只读关系数据库
cadence学习记录
weixin_46564335的博客
08-07 2259
1.元件符号原理图2.焊盘，封装3.原理图转PCB4.画PCB。
mysql 【周四】day11
热气球
05-07 443
innodb 存储引擎的体系结构 磁盘结构(on-disk) 表空间结构（共享表空间、独立表空间） 介绍：表空间的概念源于Oracle数据库。最初的目的是为了能够很好的做存储的扩容。 共享（系统）表空间 存储方式 idbdata1~idbdataN，5.5版本默认的表空间类型 5.5版本： 系统相关：（全局） 数据字典信息（表基本结构信息、状态、系统参数、属性等） 用户数据：表数据行、表的索引数据...
文章目录概况安装PostgreSQL设置主节点设置从节点验证故障处理，主从节点切换从节点扩容概况CentOS Linux release 7.7.1908PostgreSQL13三台服务器，一主两从，实时复制。主节点读写，从节点只读，读写分离不借助插件或第三方中间件，仅使用PostgreSQL自带的流复制功能Replication主节点可建库建表、可读写，两个从节点为只读，程序使用时可以将查询和统计相关服务读取从节点，通过读写分离减少数据库读写压力设置同步复制，为热备份，数据实时同步，对于大多数业务来说，可以认为三个库数据完全相同，当一个库故障时，其他库仍然可提供服务，增加服务可用性当主节点故障时，数据无法更新，只能手动将从节点升格为主节点，需要修改服务的数据库连接配置等，服务短暂不可用（也可提前准备好监控和切换脚本，服务不可用时尽早发现和切换）。需要根据自己业务特点，是否能接受此种情况，来决定是否使用此方式。单点故障，自动切换的集群，可以考虑使用PGPool-II 等第三方中间件搭建，后面研究好我会出一篇文档安装PostgreSQL命令如下，具体可参考我之前的博客《PostgreSQL简介和安装部署》# 安装 repository 源:sudo yum install -y https://download.postgresql.org/pub/repos/yum/reporpms/EL-7-x86_64/pgdg-redhat-repo-latest.noarch.rpm# 安装 PostgreSQL13:sudo yum install -y postgresql13-server# 初始化数据库，并设置启动命令和开机启动:sudo /usr/pgsql-13/bin/postgresql-13-setup initdbsudo systemctl enable postgresql-13sudo systemctl start postgresql-13# 另外，查看状态，关闭命名和重启命令sudo systemctl status postgresql-13sudo systemctl stop postgresql-13sudo systemctl restart postgresql-13123456789101112131415三个节点安装完成后，就可以开始使用了可以创建用户、赋予权限、修改密码，可以建库建表早一些功能测试等默认安装创建的数据库，没有主从之分，都是主节点，可以使用这条语句验证下是否为从节点，查询结果为"f"表示false，当前数据库节点为主库节点sudo -u postgres /usr/pgsql-13/bin/psql -c "select pg_is_in_recovery()"1下面开始搭建集群，关闭三个PostgreSQL服务，开始改配置文件设置主节点主从节点可以自己规划好，准备好不同机器就行，也可以使用最小集群一主一从主要是修改2个配置文件，都在data目录下，一个是数据库基础配置，一个是访问权限控制默认初始化的数据库，data目录在/var/lib/pgsql/13/data修改文件夹里面的pg_hba.conf，设置 Replication 访问策略，允许流复制# replication privilege.# 追加一条“允许postgres用户，通过全部网络地址使用 Replication ”的策略host replication postgres 0.0.0.0/0 trust123继续修改数据库配置文件postgres.conf，进行一些参数设置，允许流复制# -----------------------------# PostgreSQL configuration file# -----------------------------# - Connection Settings -listen_addresses = '*' # what IP address(es) to listen on;#port = 5432 # (change requires restart)max_connections = 200 # (change requires restart)# - Authentication -#authentication_timeout = 1min # 1s-600spassword_encryption = scram-sha-256 # md5 or scram-sha-256#------------------------------------------------------------------------------# RESOURCE USAGE (except WAL)#------------------------------------------------------------------------------# - Memory -shared_buffers = 1GB # min 128kB 官方推荐内存设置带大小为系统内存的1/4temp_buffers = 64MB # min 800kBwork_mem = 64MB # min 64kBmax_stack_depth = 4MB # min 100kBdynamic_shared_memory_type = posix # the default is the first option#------------------------------------------------------------------------------# WRITE-AHEAD LOG#------------------------------------------------------------------------------wal_level = replica # minimal, replica, or logicalfsync = on # flush data to disk for crash safetysynchronous_commit = on # synchronization level;wal_log_hints = on # also do full page writes of non-critical updates# - Checkpoints -checkpoint_timeout = 10min # range 30s-1dmax_wal_size = 1GBmin_wal_size = 80MB# - Archiving -archive_mode = on # enables archiving; off, on, or always# (change requires restart)archive_command = 'cp %p /data/postgresql/archive/%f' # command to use to archive a logfile segment#-----------------------------------------------------------------------------# REPLICATION#------------------------------------------------------------------------------max_wal_senders = 10 # max number of walsender processes 设置了可以最多有几个流复制的链接# (change requires restart)wal_keep_size = 1024 # in megabytes; 0 disablesmax_slot_wal_keep_size = 10 # in megabytes; -1 disableswal_sender_timeout = 120s # in milliseconds; 0 disables# - Standby Servers -hot_standby = on # "off" disallows queries during recovery#------------------------------------------------------------------------------# REPORTING AND LOGGING#------------------------------------------------------------------------------# - Where to Log -log_destination = 'stderr' # Valid values are combinations oflogging_collector = on # Enable capturing of stderr and csvloglog_directory = 'log' # directory where log files are written,# can be absolute or relative to PGDATAlog_filename = 'postgresql-%a.log' # log file name pattern,log_truncate_on_rotation = on # If on, an existing log file with thelog_rotation_age = 1d # Automatic rotation of logfiles willlog_rotation_size = 50MB # Automatic rotation of logfiles willlog_min_duration_statement = 2000 # 配置数据库慢查询时间，如果超过配置的时间，就会将查询的SQL语句记录到日志# - What to Log -log_connections = onlog_disconnections = onlog_line_prefix = '%m [%p] ' # special values:log_timezone = 'Asia/Shanghai'datestyle = 'iso, mdy'#intervalstyle = 'postgres'timezone = 'Asia/Shanghai'# These settings are initialized by initdb, but they can be changed.lc_messages = 'en_US.UTF-8' # locale for system error message# stringslc_monetary = 'en_US.UTF-8' # locale for monetary formattinglc_numeric = 'en_US.UTF-8' # locale for number formattinglc_time = 'en_US.UTF-8' # locale for time formatting# default configuration for text searchdefault_text_search_config = 'pg_catalog.english'shared_preload_libraries = '' # citus (change requires restart)1234567891011121314151617181920212223242526272829303132333435363738394041424344454647484950515253545556575859606162636465666768697071727374757677787980818283848586启动服务，使配置生效，主节点设置完毕sudo systemctl start postgresql-13# 或sudo systemctl restart postgresql-13123设置从节点主从要保持一致，主要是 data 保持一致，我们可以直接将主节点data同步到从节点如果从节点没有关闭，可以先关闭 sudo systemctl stop postgresql-13去默认的data位置，删除所有文件
最新发布
03-29
### 安装与配置 PostgreSQL 13 在 CentOS 7.7.1908 下的一主两从高可用集群 #### 1. 环境准备 在三台服务器上分别安装 CentOS 7.7.1908，确保每台机器的硬件资源满足需求。以下是各节点的基础信息： - **主节点 (Master)** IP 地址：`192.168.123.10` CPU：4 核 内存：4GB - **从节点 1 (Slave 1)** IP 地址：`192.168.123.20` CPU：4 核 内存：4GB - **从节点 2 (Slave 2)** IP 地址：`192.168.123.30` CPU：4 核 内存：4GB 确保所有节点之间的网络连通性正常。 --- #### 2. Yum 源配置 编辑 `/etc/yum.repos.d/pgdg.repo` 文件，添加以下内容以支持 PostgreSQL 的官方仓库[^1]： ```ini [pgdg13] name=PostgreSQL 13 for RHEL/CentOS $releasever - $basearch baseurl=https://download.postgresql.org/pub/repos/yum/13/redhat/rhel-$releasever-$basearch enabled=1 gpgcheck=1 gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-PGDG ``` 运行命令更新 yum 缓存： ```bash yum makecache fast ``` --- #### 3. 安装 PostgreSQL 和 repmgr 插件 在所有节点上执行以下命令来安装 PostgreSQL 及其管理工具 `repmgr`： ```bash yum install -y postgresql13-server postgresql13-contrib repmgr15 ``` 初始化主节点上的数据库实例： ```bash /usr/pgsql-13/bin/initdb -D /var/lib/pgsql/13/data/ ``` 启动并设置开机自启服务： ```bash systemctl enable --now postgresql-13 ``` --- #### 4. 主节点配置 修改主节点的配置文件 `/var/lib/pgsql/13/data/postgresql.conf`，启用流复制功能[^2]: ```conf listen_addresses = '*' wal_level = replica max_wal_senders = 10 hot_standby = on archive_mode = on archive_command = 'cd .' ``` 允许从节点连接，在 `/var/lib/pgsql/13/data/pg_hba.conf` 中添加如下条目： ```conf host replication all 192.168.123.20/32 md5 host replication all 192.168.123.30/32 md5 ``` 重启主节点的服务使更改生效： ```bash systemctl restart postgresql-13 ``` --- #### 5. 备份主节点数据至从节点 在主节点上创建用于复制的用户账户： ```sql CREATE USER repl REPLICATION LOGIN CONNECTION LIMIT 1 ENCRYPTED PASSWORD 'your_password'; ``` 使用 `pg_basebackup` 工具将主节点的数据备份到两个从节点上[^5]。例如，在 Slave 1 执行以下命令： ```bash su - postgres pg_basebackup -h 192.168.123.10 -U repl -D /var/lib/pgsql/13/data -Fp -Xs -P -R ``` 完成后调整目录权限： ```bash chown -R postgres:postgres /var/lib/pgsql/13/data chmod 700 /var/lib/pgsql/13/data ``` 重复上述操作完成第二个从节点的数据同步。 --- #### 6. 配置从节点 在每个从节点的 `/var/lib/pgsql/13/data/recovery.conf` 文件中指定主节点的信息（对于 PostgreSQL 13，此文件已被移除，改为直接编辑 `postgresql.auto.conf` 或通过其他方式定义恢复参数）。可以手动创建一个触发器文件实现自动切换为主节点的功能。 启动从节点服务前确认配置无误： ```bash systemctl start postgresql-13 ``` 验证从节点是否成功进入只读模式： ```sql SELECT pg_is_in_recovery(); -- 如果返回 true，则表示当前处于 standby 模式。 ``` --- #### 7. 实现读写分离 利用负载均衡技术或者应用程序层面逻辑区分查询请求发送目标。推荐采用 HAProxy 或 PgBouncer 来分发流量给不同的后端实例[^4]。 --- #### 8. 故障切换方案 借助 `repmgr` 提供的自动化脚本简化故障检测与接管流程。具体步骤包括但不限于监控心跳信号丢失情况下的重新选举过程以及通知管理员介入干预必要时刻的手动干预措施[^3]。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值