Cassandra 源码解析 6: Storage Engine (DB Layer)

ML生产化实战:从Notebook到业务核心的工程契约 机器学习模型上线不是技术部署终点,而是工程可靠性的起点。在真实业务场景中,模型需应对流量突增、特征失效、数据漂移、服务降级等复杂挑战,其本质是构建可监控、可编排、可降级、可追溯的端到端能力体系。'Notebook to Production'背后隐藏着环境断层、时序断层与价值断层三大鸿沟,而MLOps的核心任务正是通过分层架构(接入层/编排层/模型层/数据层)、模型即配置范式、四维版本锚定与业务语义监控,将黑盒模型转化为白盒能力。本文聚焦真实世界落地中的特征新鲜度保障、Triton推理优化、OpenTele 阅读详情

原理

http://thoss.org.cn/mediawiki/index.php/Cassandra_data_model

http://labs.google.com/papers/bigtable.html

 

cassandra 的存储模型来自google的bigtable。

bigtable data model

bigtable 是一个key-value map,其key值由三者组成,行键(row key),列键(column key, cassandra中叫作column name),时间戳,value是字符串(即bytes数组)

(row:string, column:string, time:int64) -> string

要理解bigtable,由传统数据库存储入手,假定有一张user table,首先我们有定义table的结构,有哪些字段以及类型,主外键等

 

 

 

然后,我们按行插入数据

 

 

 

上述数据存储到bigtable中,则为8个key-value 数据,上述数据表中的每一个cell值对应bigtable中的一个存储项,例如第一行数据转换成4个key-value

 

 

 

bigtable将相同列键类型的key-value存储在一个ColumnFamily中。如同每一行按row key排序一样,cassandra中的column按照column key排序。

 

这样设计一个最显而易见的灵活性就是每个row key对应的column数量(类型)可以任意变化,传统的关系数据库中,每张表的column固定,每一行具有相同的column. 在bigtable论文中的Figure1到很贴合这种场景,每张网页被其他网页链接,这种链接的数目有多有少,无法使用固定的结构化table来存储- 当然也可以新建一张relation table来另外存储

写入延迟

在cassandra中,最近的更新(写入)首先是写在内存(memtable)和log文件中。memtable按key值排序(首先是行key,然后是列key),当memtable增长到一定size时(比如300M),将此memtable一次性的dump到disk上形成一个只读的sstable,metable被清空,从头开始增长。sstable包含索引信息,以判断某个key值是否存在和快速定位key值.

读入时,则从所有的SStable包含给定key值的sstable中读取数据,结合内存中的memtable,根据读取策略将各个不同版本的value进行merge返回,比如返回最新版本的数据给client

 

写入非常快,避免了磁盘的随机写入(包括对索引文件的建立都是在内存中完成,然后一次写入);sstable是只读文件,存储内容有序,可快速高效的读取。

log文件的写入是append操作和header更新,应该很快。

数据归并

如果一个key值被反复更新,则很可能多个sstable中存储着其不同版本的value。这样时间越长,这个key值所在的sstable越多,读取越耗时,简而言之,就是保存了太多的history version和已经被deleted的数据。因此每隔一段时间,定期的对sstable进行merge(major compaction),将几个sstable合并成一个大的sstable

Bloom Filter

怎么判断一个sstable中是否包含给定key。如果索引文件中有所有key值,可以将索引文件全部读入内存,然后判断。bigtable中使用的是一种更高效的方法: bloom filter. 原理简述如下:使用m个bit加k个hash函数来判断n个值的有无。对加入到集合的n,使用k个hash函数生成k个位置(<m),将这k个位置的bit设为1。判断n是否存在时,用同样的hash函数,得到k个位置,将bit取出,如果全为1,则说明存在。Bloom Filter有一定的假命中率,即n不在集合中,但根据bloom filter可能判断其存在,恰好被其他key值设置为1。要想减少假命中率,根据n的大小调整m,k。

 

厉害的地方在于:m是固定,小于n;而n不固定,可能很大. 有一定的假命中率(可控制),但不会漏命中。

Cassandra 实现

文件格式

如前所述,同样类型的column被放在一起,形成一个ColumnFamily. conf/storage-conf.xml(0.61) 中定义Keyspaces即定义各种ColumnFamily。我们可以将每个keyspace看成一个Table,而每个ColumnFamily看成一个超级大列存储,存储column key类型相同的key-value,比如前文中的email和姓名存在一个ColumnFamily中,而电话和年龄存在另外一个ColumnFamily中。Table 仅仅在内存中存在,由一个(或多个)ColumnFamily中的一个(或多个)Column组成。

Cassandra为每个keyspace生成一个目录,每个ColumnFamily生成独立的文件sstable文件(Data, Filer, Index)。如前所述,sstable文件是由memtable不断dump生成,所以每个ColumnFamily会对应多个sstable,每个sstable文件name由ColumnFamily和编号组成- 注意是ColumnFamily对应sstable和memtable,而不是keyspace

 

数据文件

在Memtable.writeSortedContents 中将一个Memtable dump为一个SStable到磁盘,将[key, value]按序写入。每对[key, value]存储格式如下:

 

 

 

下面一一道来,ColumnFamily.serializer().serializeWithIndexes进行序列化:

row key,不用多说, row size 则是row key之后所有数据的大小

接下来是bloom filter,用来判断某个column是否存在

然后是column的index信息(从设计上,Cassandra假定同一个row key可以有成千上万个column,所以建立column的bloom filter 和 index),ColumnIndexer.doIndexing 中建立索引。建立索引并不是每个column都生成一个IndexHelper.IndexInfo,而是分段索引(range 思想贯穿在cassandra中),默认每64k(ColumnIndexSizeInKB)的数据建立一个索引,比如column1, column2, column3, ...。如果column1 + column2 + column3 的大小超过64k,则建立一个IndexInfo,由(该range中)第一个column的name(column1),最后一个column的name(column3),第一个column的偏移(offset,第一个column为0,后者累加),数据的长度(length,该段内所有column的size之和)生成一个IndexInfo. 

然后写入column内容,首先是column的数量,然后依次写入每个column

 

这里有两个字段localDeletionTime, markedForDeleteAt 作什么用,为什么写在这个位置,暂时打上问号

索引文件

序列化化完成后,调用SSTableWriter.append将数据写入data 文件,同时更新Index文件和bloom filter。索引文件格式很简单,如下:

 

 

 

 

关于索引文件,有两点有问号:一是为什么只有position信息,而没有size信息,要得到Size需要下个Index的信息;二是读取时,内存中并不是保存整个索引文件,而仅仅是IndexSummary,每128个key值生成一个KeyPosition(key, index position)放入内存中,如果遇到span情况(跨buffer?)则将PositionSize(data position, data size)也放入内存。

Bloom Filter 文件

bloom filter 的更新很简单,将key值加入即可。在所有数据写入完成后,bloom filter也生成,将其写入文件(SSTableWriter.closeAndOpenReader)

 

 

读取sequence

READ_STAGE 中执行读请求

 

 

 

ColumnFamilyStore.getTopLevelColumns中分别从所有该ColumnFamily的SStable文件和Memtable中读入,然后使用IteratorUtils.collatedIterator(org.apache.commons.collections 包)进行多路归并,将最新的cloumn返回。比如从SStable中读入column1, column2(version1), Memetable中有column2(version2), column3,多路归并后并为column1, column2(version1), column2(version2), column3,然后调用QueryFilter.collectCollatedColumns使用ReducingIterator将相同的column合并成单个column(又调用了ColumnFamily.addColumn来选择version较高的版本),形成结果column1, column2(version2), column3,返回. 

 

Filter, Iterator模式应用到底(大量使用了google collection包中的AbstractIterator),有点让人眼花缭乱。

 

 

 

从Memtable(Memtable.getSliceIterator) 中再详述,从SStable中读取是生成一个SSTableSliceIterator对象

  • 在构造函数中,调用:SSTableReader.getFileDataInput,该函数调用SSTableReader.getPosition(bloom filter和index file在此使用),找到该key在数据文件中的位置,返回数据文件句柄,并定位至对应位置。
  • 在构造函数中,生成ColumnGroupReader对象,该对象的构造函数
    • 将数据文件中的column index读入内存
    • 设置mark,即第一个column开始的位置
  • 读取时,调用getNextBlock,根据column index(offset, width,见前文数据文件格式) 一次读入多个column
    • file pointer reset至mark
    • skip offset
    • read column 直到current file pointer超过width
  • 读取过程中,和query 条件中的start column和end column比较,如果不在范围内,则提前返回

这里回过头来介绍cassandra的查询API,cassandra实际支持两种查询ReadCommand,SliceFromReadCommand和SliceByNamesReadCommand,对应不同的QueryFilter。NamesQueryFilter,根据column name查询,即给定key(row key, column name),返回单个column,当然可以一次性指定多个column name;另外一种是SliceQueryFilter,给定key(row key, start column, end column),查询一个切片的columns(column name在start column和end column之间)。

写入sequence

写入比较简单,append log file;写入Memtable,如果Memtable size超过一定值,则flush

 

 

Log

log文件格式

  • 每128M生成一个log文件(对应CommitLogSegment)
  • 每个log文件有header和log data组成
  • header记录每个columnfamily是否有未提交log(dirty位)和已经最后一次提交log的position
  • log data有一条条的数据组成:length + data + CRC

log的插入很简单:

  • 生成一个Task(CommitLog.LogRecordAdder),在一个独立的Executor中(CommitLogExecutorService)中运行所有write log的task
  • 更新header,将对应的bit打开,设置此ColumnFamily的last flush position 为current file pointer
  • append data 到segment文件尾部

 

log 的提交

在刷新Memtable成为SStable后,当前segment之前的segments文件中对应ColumnFamily的dirty位会被清除,如果所有dirty都被清除,则这个segments文件会被discard掉。

 

ColumnFamilyStore.maybeSwitchMemtable

       -> CommitLog.discardCompletedSegments

            -> CommitLog.discardCompletedSegmentsInternal

 

log 的recover,在系统初始化或者收到drain命令时,log会replay然后被删除

  • 找到segement中ColumnFamily最小的last flush position
  • 从这个position开始,依次读入log data,校验CRC,如果正确,则生成Task,在MUTATION_STAGE中Table.apply。注意此时writeCommitLog设置为false
  • 等待,直到所有log被都apply - 使用的是AtomicInteger来,apply一个则加1,完成apply则减1,最后为0
  • 强制刷新Memtable(Table.flush),等待,直到刷新完毕.

 

 

Flush sequence

log replay时会刷新

size满时会刷新

compaction sequence

CompactionManager.submitMajor

 

将几个SSTable写入一个大的SSTable


Cassandra介绍和一些常用操作 NoSQL数据库是为高扩展性系统设计的,采用了key/value模型,但它的缺点,正如NoSQL这个名字表明地那样,不支持SQL操作。这听起来像是一个很严重的缺陷。本文介绍了一些在SQL中常见的操作怎样在cassandra中自然而又有效的实现。0.示例column family表1:CREATE TABLE example ( id int, name ascii, age 阅读详情

相关推荐

【信息科学与工程学】计算机科学与自动化——第三十五篇 调度理论和调度算法01——资源调度算法

算法逻辑

weixin_49199313的博客 690

cassandra高级操作之索引、排序以及分页

前言   本次就给大家讲讲cassandra的高级操作:索引、排序和分页;处于性能的考虑,cassandra对这些支持都比较简单,所以我们不能希望cassandra完全适用于我们的逻辑,而是应该将我们的逻辑设计的更适合于cassandra   路漫漫其修远兮,吾将上下而求索!   github:https://github.com/youzhibing   码云(gitee):https:...

weixin_30555753的博客 589

【信息科学与工程学】【数据科学】第一百二十二篇 大数据产品中的函数与算法01

它通常指。下面按照你给出的表格列💡 说明:下表中的"产品"以开源/主流商业组件为具象载体(Hadoop、Spark、Flink、Kafka、Hive、HBase、Iceberg、Atlas、Ranger、TensorFlow 等),它们共同构成一个完整的大数据产品家族;代码为实现示例,用于说明算法在工程系统中的落地方式。

weixin_49199313的博客 200

Cassandra 的数据的排序按和 Primary Index

http://asio.rssing.com/chan-2089672/all_p4.html

tycoon的专栏 2091

【信息科学与工程学】计算机科学与自动化 第二百三十三篇 凤凰架构01

编号类型领域系统软件/硬件或系统集成方案及系统架构模块子模块函数名称/算法名称算法的数学分析及计算机体系架构及数据结构与算法详细设计及参数列表及数值范围设计关联知识1共识算法分布式基石状态机复制架构:Proposer/Acceptor/Learner 多节点角色模型,基于操作转移(Operation Transfer)分布式共识PaxosPaxos 协议(Prepare/Promise/Accept/Accepted 两阶段)数学基础:多数派(Quorum)投票,基于鸽巢原理保证 W+R>N 时读写集合必有

weixin_49199313的博客 268

cassandra源码分析

NULL 博文链接:https://ggsonic.iteye.com/blog/1555576

cassandra的数据排序

Cassandra数据模型 Colum / Colum Family, SuperColum / SuperColum Family Column是数据增量最底层(也就是最小)的部分。它是一个包含名称(name)、值(value)和时间戳(timestamp)的三重元组。 下面是一个用JSON格式表示的column: {  // 这是一个Column name: "emailAddres

tycoon的专栏 1275

Cassandra分布式架构与源代码分析

Cassandra是一个开源的分布式数据库,结合了Dynamo的Key/Value与Bigtable的面向列的特点,本文档对Cassandra源代码作了详细的分析,可以了解整个集群的运作细节。

Cassandra源码解析

你好,朋友,很高兴能和你一起分享我对Cassandra源码的研究和分析成果,虽然分析不能面面俱到,但是以下的文章涵盖了大部分Cassandra的核心内容,展示了主要的工作逻辑和关键代码。这里我将假定您对Cassandra已经有了基础的了解,假如您对它还一无所知,建议您可以先到Cassandra官网上简单了解一下Cassandra是什么,有什么用途以及NoSQL相比传统的数据库如MySQL,Oracl

司徒剑南的博客 7045

cassandra

cassandra

Marin说PCB之LPDDR5的布线注意事项--03

这个规则中是把每个字节中的WCK to RDQS 以及DM / DQ to WCK等长规则都加到了DM / DQ这个等长规则中去了,因为芯片手册上的设计要求中的DM / DQ这个group的等长误差是+-50MIL, WCK to RDQS的等长group的规则是62.5MIL,DM / DQ to WCK等长group的规则是相对松一些是150MIL。其实上面的等长规则还是建少了一些的,例如手册上要求的每个channel的WCK0:1,WCK2:3等长误差在+-488MIL,这个规则建议还是补上去吧。

weixin_45223454的博客 1231

cassandra源代码总结

1. Org.apache.cassandra.dht包    a.接口RingPosition         public Token getToken();      public boolean isMinimum(IPartitioner partitioner);      这个类是ring环的一个token位置,类中有两个方法getToken()返回token值,另

u010912405的专栏 1992

生物信息学实战:如何用STRING数据库和R语言搞定蛋白互作网络分析(附完整代码)

本文提供了一份完整的生物信息学实战指南,详细介绍了如何利用STRING数据库和R语言进行蛋白互作网络分析。从差异表达基因列表出发,涵盖数据准备、数据库连接、网络构建到高级可视化与模块识别的全流程,并附有可复现的完整R代码,帮助研究人员深入解析转录组数据背后的蛋白互作关系。

milk5的博客 950

Cassandra 源码解析 3: 分布式hashtable(DHT) 和 Locator

原理cassandra DHT使用的是consistent hash目的:在增加节点或者减少节点时,避免因为rehash(比如采用取模hash,两个节点时%2, 三个节点时%3,大部分key的hash值随着节点的数目变化而变化)而引起的server 震荡。实现:将hash空间固定,0~2^32,每个node(主机)生成一个hash值,将node映射到hash空间。给定的key,计算其hash值,沿着hash顺时针找到第一个node即使目标主机(如下图,借图一幅)添加节点:很显然,添加一个节点,hash空间的

FireCoder的专栏 6428

基于灰度信息的图像配准方法

图像配准方法分为三种:基于灰度信息方法、基于变换域方法和基于特征方法。基于灰度信息方法是直接根据图像或图像块灰度信息进行像素上的对齐,该方法主要思想是直接最小化图像信息差异。然而,图像信息差异的判断准则衍生出不同的配准方法。常见的基于灰度信息的图像配准方法包括互相关法、互信息法和误差平方和法。本节将分别对互相关法、互信息法和误差平方和算法展开介绍,并通过MATLAB进行演示。基于灰度的图像方法容易实现,但同样存在不足。该方法对成像条件(光照,遮挡)、图像形变旋转以及噪声极其敏感,同时具有较高的计算复杂度。

weixin_42068054的博客 3778

在 RAP 中把业务对象“搬到网口上”:service definition 与 service binding 的全流程、范式与实战

本文解析了SAP ABAP开发中service definition和service binding的关键作用。service definition负责选择要暴露的CDS实体和行为,形成服务模型;而service binding则将服务绑定到具体协议(如OData),生成可访问的端点。两者分离带来三大优势:支持同一模型多重发布、降低环境迁移耦合度、强化安全治理。文章通过预订业务对象的端到端示例,展示了如何从CDS建模到生成Fiori Elements预览。最后以售后工单业务为例,说明这种架构如何支持内外服务

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 393

mysql 整体架构及查询执行流程

包含了服务于 C/S 程序或者是这些程序所需要的服务,如:连接处理、身份验证、安全性等等。

weixin_42559561的博客 1684

PINN疲劳寿命预测优化

本项目基于物理信息神经网络(PINN)构建材料疲劳寿命预测模型,通过融合Paris裂纹扩展方程与实验数据,实现裂纹扩展行为的精准预测。核心方法包括:1)将Paris方程作为物理约束嵌入神经网络训练;2)生成含噪声的模拟数据并进行归一化处理;3)采用PINN-GA联合优化框架,以裂纹扩展速率最小化为目标优化材料参数。该方案通过物理规律与数据驱动的结合,显著提升预测模型的泛化能力,为工程材料寿命评估提供新思路。

huanghm88的专栏 149

Cassandra 源码解析 1:网络通信

org.apache.cassandra.thrift -  Server 端入口CassandraDaemon: 启动类CassandraServer implements org.apache.cassandra.thrift.Cassandra.Iface : 接口类,类似于web service中的skeletonCustomTThreadPoolServer extends  org.apache.thrift.server.TServer :监听类,监听thrift client请求

FireCoder的专栏 7204

吊打原版YOLOv8!ASF-YOLO多尺度融合+注意力机制实战解析(遥感/医疗/质检均适用)

ASF-YOLO融合YOLOv8的创新目标检测框架摘要 ASF-YOLO是针对小目标检测优化的先进框架,采用三重特征编码器和尺度序列融合技术增强多尺度特征提取能力。核心创新包括: 三重特征编码器(TPE)融合跨层级信息 尺度序列特征融合(SSFF)模块通过3D卷积处理多尺度信息 通道-位置注意力机制(CPAM)聚焦关键特征区域 Zoom_cat模块实现自适应多尺度特征融合 该框架特别适用于医学影像、遥感检测等小目标密集场景,通过动态特征权重调整显著提升检测精度。关键技术实现包含多尺度特征统一、3D卷积序列处

FJN110的博客 529

计算机实战分享3:森林火灾预测分析可视化机器学习预测-完整数据代码-可直接运行

计算机实战分享3:森林火灾预测分析可视化机器学习预测-完整数据代码-可直接运行

605

cassandra的索引查询和排序

转自:http://zhaoyanblog.com/archives/499.html cassandra的索引查询和排序 cassandra的查询虽然很弱,但是它也是支持索引和排序的,当然是简陋的查询,这一切都是为了追求性能的代价,所以要使用cassandra,你不能希望它完全适用你的逻辑,而是把你的逻辑设计的更适合cassandra。 第一:索引查询 cassandra是支持创建二

1006

Win11更新导致TIA博途许可证出现问题的解决办法汇总

Win11更新导致TIA博途许可证出现问题的解决办法汇总

Robot_PLC_HMI_Automation 9899

Perforce (P4)版本控制使用指南

Perforce (P4)版本控制使用指南

hu491199877的博客 7769

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

第六章: Cassandra架构--Cassandra:The Definitive Guide 2nd Edition

在本章中,我们将研究Cassandra架构的几个方面,以了解它如何完成其工作。 我们将解释集群的拓扑结构,以及节点如何在对等设计中进行交互,以使用诸如八卦,反熵和暗示切换等技术来维护集群的健康状况并交换数据。 查看节点的设计,我们检查Cassandra用于支持读取,写入和删除数据的架构技术,并检查这些选择如何影响架构考虑因素,如可伸缩性,持久性,可用性,可管理性等。 我们还讨论了Cassandra...

sunchengquan的博客 1866

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

上一篇: 面试题1: eggs problem
下一篇: hadoop summit 2010
FireCoder
博客等级 码龄17年 65粉丝 100原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

FireCoder

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值