NoSQL :一个帝国的崛起

Etcd与zookepr等的对比 Etcd: 一个键值存储仓库,主要用于配置共享和服务发现。 优点: 简单:支持 curl 方式的用户 API (HTTP+JSON) 安全:可选 SSL 客户端证书认证 快速:单实例可达每秒 1000 次写操作 可靠:使用 Raft 实现分布式 raft算法 百战将军问题 拜占庭位于如今的土耳其的伊斯坦布尔,是东罗马帝国的首都。由于当时拜占庭罗马帝 阅读详情

01

关系数据库帝国

现在是公元2009年,关系帝国已经统治了我们30多年,实在是太久了。

1970年,科德提出关系模型,1974年张伯伦和博伊斯制造出了SQL ,帝国迅速建立起了统治。

从北美到欧洲, 从欧洲到亚洲,  无数程序员臣服在他的脚下。

帝国给我们提供了良好的福利:

简单而强大的关系模型

灵活的SQL

还有我们非常喜欢的事务和ACID,把我们从底层并发的细节中解放出来。

使用这些福利,程序员们开发了无数的系统,每个系统的核心都是关系数据库。

时代在不断地变迁,编程语言的城头不断变换大王旗,但是存储在表格中的数据,一直岿然不动。

数据永远是一个企业最宝贵的资产。

但是帝国也给我们套上了沉重的枷锁:模式和规范化。

帝国规定:必须事先定义好模式(表结构)才能保存数据!

所有的数据至少得满足第一范式,甚至第二范式、第三范式、BCNF范式!

如果实现不了,就会被投进监狱,对于某些部落来讲,即使是做一个简单的冗余字段,都会被别人耻笑。

帝国宣称的SQL移植性也欺骗了我们,SQL虽然被标准化,但是每个厂商DB2, Oracle, SQL Server都有自己的方言!

尤其是在计算日期和字符串操作。还有存储过程,几乎每个厂商都会自己搞一套,根本无法移植!

02

危机

上世纪90年代,面向对象技术的流行给帝国带来了一次严重的危机:

对象-关系的阻抗不匹配。

“对象(Object)”有继承,子类,父类,关联,聚合,多态;

而关系数据库就是简单的表格!

他们是如此的不同,简直是水火不容,矛盾不可调和。

那个时候,帝国的东边出现了一个叫面向对象数据库OODB的部落, 号称可以把Java对象,C#对象,Ruby对象等等都一股脑地、直接存储到OODB当中去。

把对象直接保存到数据库?这实在是一个美妙的特性。

但是OODB实在是不争气,很快偃旗息鼓,在几个小领地苟延残喘。

2001年,有个叫Gavin King的27岁小伙子,开发了一个叫做Hibernate 的东西,在对象和关系之间搭了一座桥,叫O/R Mapping。

这一下子赢得了Java 程序员的芳心。

Hibernate再接再励,又推出了NHibernate, 打入了.NET的领地。

随着iBatis, JPA等更多O/R Mapping工具和接口的出现,关系数据库帝国成功地度过了这一次的危机。

后来有个好事者Martin Fowler,居然写了一本书《企业应用架构模式》, 在里边一本正经地把各种O/R Mapping的模式都总结了一遍:“单表继承”,“类表继承”,“活动记录”。。。。。。

这一番骚操作又替关系数据库帝国续命20年不止。

03

新希望

没过多久,互联网大潮来了,历史再次给了我们一个机会。

互联网的用户数如此之多,并发数如此之高, 让我们始料未及。

数据量是如此巨大,数据种类如此丰富,更让我们目瞪口呆。

文字、图片、链接、日志、社交关系,大量的数据蜂拥而至,单台机器上的数据库很快就撑不住了。

帝国先是拼命扩容,恨不得把一台机器弄成1024G的内存,1024T的硬盘,还美名其曰垂直扩展。

但是机器功能越强,价格就越贵,臣民们的税负越来越重,很快就受不了了。

没办法,帝国只好做水平扩展,把数据分布在多台机器上,这需要精心的规划,还需要程序员和应用程序精确地记住每一份数据放在哪里。

更要命的是,这种办法丢掉了帝国引以为傲的福利:事务和一致性

04

反抗

我决定反抗这个庞大的帝国,  我偷偷地带领着一帮志同道合的兄弟离开了,我们要新建一块清新自由的领地。 

我们仔细地研究了关系帝国的缺点,派出了几只小分队分头出击。

誓师出征之时,我们对这四只小分队都提出了同样的要求:支持分布式和集群!!!

第一支小分队由redis担任队长,memcached 担任副手,他们很快便取得了成功,因为他们打击到了关系帝国最大的缺点:高并发下,数据库IO非常缓慢。

redis和memcached 做了一个大胆的决定,抛弃了硬盘,选择了比硬盘快几万倍的内存, 把数据以key-value的方式放入其中。

超快的速度让程序员们非常喜欢,他们不仅把session,配置信息,购物车的数据放入其中。

后来干脆把他俩当成了缓存来使用。

第二支小分队由Mongodb带领,CouchDB辅佐,他们敏锐地瞄准了用关系数据表保存起来很别扭的数据。

订单到订单项和支付, 订单项到产品是典型的一对多关系,意味着数据是树状结构,那为什么不直接用一个JSON文档来表示呢?

{

    "orderId":"1",

    "userId":"123",

    "lineItems":[

        {

            "productId":"1356",

            "qty":"1"

        },

        {

            "productId":"2375",

            "qty":"2"

        }

    ],

    "shippingAddress":{

        "type":"xxx",

        "address":"xxx"

    },

    "payment":{

        "type":"alipay",

        "time":"xxxx"

    }

}

MongoDB还和JavaScript,Node.js勾勾搭搭,把浏览器发来的JSON数据直接存储到MongoDB中,轻松又方便。

第三支小分队的头领是Neo4j, 这家伙非常擅长图结构,对于社交网络、推荐系统的数据,用它来表示非常合适。

第四支小分队由HBase带领, Cassandra殿后, 他们都是列式数据库,百亿行 * 百万列的数据对于他俩来说稀松平常。

这个小分队也获得了巨大的成功,移动互联网所产生的海量数据,如日志、聊天记录,监控数据,物联网的数据,结构化并不强,非常适合用HBase这种列式数据库来存放。

05

新的帝国

几年以后,四支小分队顺利班师,都带回了大批的程序员拥趸,因为适合的才是最好的。

一个新的、可以和关系数据库抗衡的帝国悄然成型。

经过一番激烈讨论,我们给帝国起了一个响亮的名称:NoSQL。

意思是不要SQL!

但是,加入NoSQL帝国的程序员发现我们也有非常明显的弱点:

缺乏模式(如表结构)、数据完整性约束很弱、对事务的支持很弱,甚至干脆没有, 这引起了程序员的强烈不满和抗议。

有不少人短暂尝鲜NoSQL以后,又抛弃了我们,重回SQL的怀抱。

我们决定和关系数据库帝国议和,告诉他们说NoSQL的意思是Not Only SQL, 我们两大帝国应该取长补短,和平共处。

经历了几年战火的关系数据帝国也看清楚了IT趋势,欣然接受。

从此,数据库进入了混合存储的时代!

码农翻身3年精华文章

漫画:康熙学不会二进制

漫画:程序员必须要小心的七个潜规则

漫画:兄弟,今晚又得熬个通宵了!

架构师劝退指南

程序员的宿命

宇宙第一IDE到底是谁?

HTTP Server :一个差生的逆袭

如何降低程序员的工资?

程序员,你得选准跑路的时间!

Javascript: 一个屌丝的逆袭

我是一个线程

TCP/IP之大明邮差

一个故事讲完Https

CPU 阿甘

SpringBoot+Vue+MySQL 高校学科竞赛平台 完整可运行版(源码+文档) 本项目基于SpringBoot+Vue+MySQL构建高校学科竞赛管理平台,覆盖学生、教师、领队教师、管理员四大角色,实现竞赛发布、报名、刷题、评分、公示等全流程闭环管理。系统架构清晰,技术主流,配套完整源码、数据库脚本、万字论文、开题报告、答辩PPT及部署文档,支持一键运行,适用于毕业设计、课程设计及院系二次开发,真正实现“开箱即用”。 阅读详情

相关推荐

Matlab实战:用卡尔曼滤波搞定无人机GPS轨迹优化(附完整代码)

本文详细介绍了如何使用Matlab实现卡尔曼滤波(KF)算法优化无人机GPS轨迹,提供完整代码和工程实践指南。通过线性卡尔曼滤波技术,有效降低定位噪声,提升轨迹平滑度,适用于无人机导航和控制系统开发。

weixin_29061425的博客 253

Etcd分布式键值存储数据库

没有时间去总结 看了两篇比较好的链接,在这里分享给大家: etcd官网 海洋的渔夫

Big-orange 872

深入解析五大ADC芯片架构及其应用场景

本文深入解析了五大ADC芯片架构及其应用场景,包括逐次逼近型ADC、Σ-Δ型ADC、流水线型ADC、闪存型ADC和积分型ADC。通过详细的架构分析和实际应用案例,帮助工程师理解不同ADC芯片的特点和适用场景,提升电路设计效率。

weixin_28702105的博客 355

NoSQL数据库学习手记——初见倾心ETCD与ZooKeeper

ETCD源码分析——简介 Boltdb源码分析——page结构 ETCD源码分析——主要模块

肥叔菌的博客 496

IEC61850实战:从ICD文件解析到模型构建

本文深入解析IEC61850标准中的ICD文件结构,从Header、IED到DataTypeTemplates部分,详细介绍了如何构建电力自动化设备的数据模型。通过实战案例展示ICD文件的创建过程,并分享常见问题的调试技巧,帮助工程师快速掌握IEC61850建模方法,提升电力系统自动化项目的实施效率。

weixin_26841743的博客 496

WPS占用C盘空间解决方案与优化技巧

办公软件在长期使用过程中会产生大量缓存和历史文件,这些文件往往隐藏在系统目录中,导致磁盘空间被无声占用。以WPS为例,其版本历史备份、云同步缓存和模板库是主要空间占用源。通过分析文件存储机制,可以定位到具体的缓存路径,如AppData目录下的Kingsoft文件夹。针对这一问题,有效的解决方案包括手动清理、自动化脚本和注册表优化。对于需要持续监控的场景,可以结合PowerShell脚本和任务计划实现自动化管理。在实际应用中,这些技术不仅适用于WPS,也可迁移到其他办公软件的空间优化中,是每位IT运维人员和高

weixin_30788239的博客 458

看数据世界的历史:全面梳理从关系库、大数据到AI时代的数据发展及展望

从关系型到AI时代的范式变迁 数据库技术经历了四次重大演变:关系型数据库(OLTP)的黄金时代解决了结构化数据的ACID事务处理;大数据时代通过HDFS和Spark等技术实现了海量数据的分布式存储与分析;NoSQL/NewSQL浪潮为高并发场景提供了多样化解决方案;AI时代则催生了向量数据库,通过语义相似性搜索处理非结构化数据。这一历程并非线性替代,而是根据不同需求持续分化、专精与融合的过程。当前趋势呈现多范式共存、云原生化和AI技术深度整合的特点,预示着一个更开放更智能的数据基础设施未来。

superfreeman的专栏 1243

SAP-ABAP:SAP数据库视图的创建图文详解

在“短文本”字段中输入视图的描述。在“表/视图”字段中输入要基于的表名。如果视图基于多个表,可以在这里输入主表。点击“表/视图字段”按钮,选择要包含在视图中的字段。如果视图基于多个表,点击“关系”按钮来定义表之间的连接条件。在弹出的窗口中,选择要连接的表,并定义连接条件(例如。

baidu_35680696的博客 973

MongoDB数据库简笔

MongoDB数据库 0x00 介绍 MongoDB是一个面向文档存储的非关系型数据库,是用C++编写的。 MongoDB将数据存储为一个文档,数据结构由“键值对”组成,字段值 可以包含其他文档、数组及文档数组,类似于JSON对象,如下格式: { "name": "Scrapy爬虫网络", "description": "做一个Scrapy爬虫达人", "author": "["张三","李四"]", "price": "59", } MongoDB与SQL对应的术语:

weixin_42324313的博客 285

让 ABAP 复杂内表优雅“喂饱”:Complex Internal Table Filling 全面实战指南

本文为ABAP开发者系统梳理了复杂内表的填充与复制方法。重点介绍了work area的两种声明方式、APPEND操作的多形态用法及其初始值语义,以及VALUE #( )构造器的逐行与整表写法。同时讲解了CORRESPONDING的同名字段映射功能,帮助开发者在"航司与航线"等复杂业务场景中实现最佳实践。文章还涵盖内存优化、可读性建议和常见误区,提供可运行样例,适用于ABAP On-Premise和SAP BTP环境。

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 168

Wsl/InstallDistro/Service/RegisterDistro/CreateVm/HCS/E_INVALIDARG

摘要:安装WSL2时遇到E_INVALIDARG错误(多核CPU问题),可通过创建.wslconfig配置文件解决。配置内容包括:渐进式内存回收、自动代理、模拟虚拟系统调用、限制内存为4GB和处理器核心数为4。需确保已启用虚拟机平台和Linux子系统功能。 (98字)

猿小白的博客 1047

关于《码农翻身》一书的读后感以及自己的一些拙见汇总

《码农翻身》读后感,以及自己的一些总结

产品经理克星(狗头) 1976

[Python图像处理] 十.形态学之图像顶帽运算和黑帽运算

数学形态学(Mathematical morphology)是一门建立在格论和拓扑学基础之上的图像分析学科,是数学形态学图像处理的基本理论。其基本的运算包括:腐蚀和膨胀、开运算和闭运算、骨架抽取、极限腐蚀、击中击不中变换、形态学梯度、Top-hat变换、颗粒分析、流域变换等。本篇文章主要讲解Python调用OpenCV实现图像形态学转化,包括图像顶帽运算和图像黑帽运算,基础性知识希望对您有所帮助。

杨秀璋的专栏 1万+

Google 为什么要把最重要的秘密开源?

6月14日上海 OSC 源创会开始报名,送机械键盘和开源无码内裤 Google的技术是云计算开源化的主要推动力之一,Hadoop、NoSQL类数据库等开源软件都源于Google的技术。但搜索巨头本身对于自身技术的开源态度却有点纠结。这种纠结主要源于不想放弃自身的这一竞争优势,但是在微软、VMware、EMC等纷纷拥抱开源的大趋势 下,Google终于意识到在开源的环境下推进自己云

dongsheng186的专栏 476

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

传统数据库辉煌不再,云数据库迎来黄金时代

传统数据库辉煌不再,云数据库迎来黄金时代 这几日,甲骨文一直处于舆论漩涡之中。甲骨文决定裁撤部分中国研发中心员工,首批中国有900人被裁。对于裁员的原因,甲骨文的解释是要对现有研发体系和商业模式进行适时的调整,为云业务让路。另据报道,备受赞誉的甲骨文云业务背后的设计者库里安离职,加盟谷歌。   关于甲骨文战略这里不做评论,本文想谈的是数据库市场的走向。其实,甲骨文这番境遇折射出来的正是数据库行业...

金色的小蜜蜂 497

最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版

Part-E1-SDIO-Specification-Ver4.00-Final-120220.pdf:最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版,包括SDIO 接口的外设,SDIO 接口官方协议等。

Spring Boot 数据源与 MyBatis(-Plus) 自定义配置详解

本文详解 Spring Boot 中单数据源环境下 HikariCP 与 MyBatis-Plus 的自定义配置。通过手动声明 SqlSessionFactory,实现下划线转驼峰、日志输出、一级缓存策略等精细化控制。结合 HikariCP 核心参数调优(如最大连接数、连接生命周期),确保高性能与稳定性。适用于仅需访问单一数据库的场景,避免多数据源复杂性,兼顾性能与可维护性。

BADAO_LIUMANG_QIZHI的博客 198

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

Java EE 进阶:8.MyBatis 操作数据库(入门)(第一弹)

Java EE 进阶:8.MyBatis 操作数据库(入门)(第一弹)

要努力去发光,而不是被照亮~ 130

Docker Compose:搭建本地多服务开发环境

从一个 Java API、PostgreSQL 和 Redis 开始,配置服务名、端口、环境变量、健康检查、数据卷和依赖关系。理解 Compose 文件如何被解析、项目如何隔离,以及哪些数据不能依赖“重建容器”保留,能够把个人开发环境整理成团队可复用的启动入口。

m0_62221377的博客 459

AI全栈实战 | 3.9-01 爬虫入门:requests 加 BeautifulSoup 三分钟跑通,但 90% 的人栽在这 4 个“礼貌“问题上

⚠️:本文内容仅用于。请遵守目标站点的服务条款与相关法律法规,不得对目标服务造成负担,不得采集、传播个人隐私数据。技术是中性的,边界在你手里。爬虫的入门技术(requests 发请求 + BeautifulSoup 解析)三分钟就能学会。真正区分"会用爬虫"和"会做爬虫的人"的,是这篇我们跑通"请求→解析→存储"的最小闭环,然后重点把"合规与礼貌"这根弦给你绷上。

源码获取 | 运行部署 | 定制二开修改,如果回复不及时请耐心等待,请见谅。 411

数据库主键选型指南:BIGINT vs VARCHAR

主键选型关乎数据库性能与架构演进。BIGINT(如雪花算法)在顺序写入、二级索引开销和分布式生成上优势显著,适合高并发核心链路;而传统 VARCHAR UUIDv4 因随机性导致频繁页分裂、存储膨胀,性能堪忧。UUIDv7 通过时间戳有序性实现高效追加写入,结合 BINARY(16) 存储可兼顾性能与安全,成为现代微服务新选择。关键在于:主键应稳定、无业务含义,优先选用趋势递增的紧凑类型,并根据场景合理采用双主键模式或 ULID 等替代方案。

小李同学的博客 301

自动化运维选型:四条技术路线的能力边界,以及它们为什么不能互相替代

自动化运维怎么选型?拆解配置管理、基础设施即代码、作业调度与场景化编排四条技术路线边界,分析账本归属与时间语义差异,给出四种架构组合与判断点,帮企业看清为何不能互相替代。

trainsignalcn的专栏 327

C++算法(七)

C++ stack算法题和一些客观题

2503_94479566的博客 370

不用再为文本搜索单独维护一套系统!全文检索深度解析

为了给商品、客服工单或者企业知识库增加一个搜索框,企业往往需要在业务数据库之外,再部署一套Elasticsearch。数据库保存商品、订单和用户等真实业务数据,搜索引擎保存另一份文本索引;两套系统之间,还需要通过CDC、消息队列或者同步程序持续传输数据。一个看似简单的搜索需求,最后可能变成两套集群、两份数据和一条必须保持稳定的数据链路。由此产生的问题并不少:数据库已经完成更新,搜索结果却可能尚未同步;业务查询同时涉及文本、库存、权限和订单状态时,应用需要在两个系统之间来回组合结果;

TiDB 社区干货传送门 250

IDEA 简介:从零认识 IntelliJ IDEA

IDEA 全称,是由 JetBrains 公司开发的一款主流 Java 集成开发环境(IDE)。它集代码编辑、编译、调试、测试、版本控制、构建管理等功能于一体,被大量 Java 开发者视为日常开发的首选工具。所谓 IDE(Integrated Development Environment,集成开发环境),就是把写代码所需的各类工具整合到同一个界面中。相比只用文本编辑器加命令行编译,IDE 能显著减少重复操作,让开发者把精力集中在业务逻辑上。

ztI10的博客 152

48-逻辑结构表空间段区块

默认 10%,意思是块里的空闲空间低于 10% 时就不再插入新行,留着给已有行的 UPDATE 变胖用。注意 INSERT 过程中每次申请新区,都是一次潜在的空间报错点,如果表空间满了,此刻就会抛 ORA-01653。剩下的空间被谁占了?段的每个区可以落在表空间的任一数据文件,所以 2T 的表在 32G 单文件上限(smallfile)的世界里照样能活——多加文件就行。,一张只有两个 CLOB 字段的表,实际在库里是三个段(表段 + 两个 LOBSEGMENT),空间统计漏算 LOB 段是新手常犯的错。

yuhou25的博客 286
上一篇: 漫画 | CPU战争40年,真正的王者终于现身!
下一篇: 架构师的年终奖
码农翻身
码农翻身 《码农翻身》作者 《码农翻身》作者
博客等级 码龄8年 3万+粉丝 1084原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值