大数据初体验之概念篇(2)

本文介绍了CAP原理与BASE理论的基本概念,探讨了一致性、可用性及分区容忍性之间的权衡,并讨论了数据分割方法及副本策略,包括Primary-secondary协议与Paxos协议。

接上篇,对一些基本概念的归纳总结。来源较广,但总体属于个人总结。

1、CAP原理

Consistency(一致性)Availability(可用性)Partition tolerance(分区容忍性)
CAP原理指的是三个要素最多只能实现两点,无法三者兼得。分区容忍性是基本要求,因而要求在一致性和可用性之间取平衡。
2、BASE理论
CAP理论的延伸,核心思想是无法做到强一致性也可以采用方式达到最终一致性。
基本可用(Basically Available)、软状态( Soft State)、最终一致性( Eventual Consistency)。
BASE理论属于CAP理论基础上属于偏向于一致性多一点的取舍。
3、数据分割方法
数据分割是指把逻辑上是统一整体的数据分割成较小的、可以独立管理的物理单元进行存储,以便于重构、重组和恢复,以提高创建索引和顺序扫描的效率。数据分割使数据仓库的开发人员和使用者具有更大的灵活性。
4、副本策略-primary-secondary,paxor
副本的一致性是针对于分布式系统而言的,不针对单个副本而言。
根据强弱分为

强一致性:任何时刻任何用户/节点都可以读到最近一次更新成功的副本数据

单调一致性:任何时刻任何用户一旦读到某个数据某次更新后的值,就不会再读到更旧的值
会话一致性:任何时刻任何用户在某次会话内一旦读到某个数据某次更新后的值,就不会在这次会话再读到更旧的值
最终一致性:各个副本的数据最终将达到一致状态,但时间不保证
弱一致性:没有实用价值。
————————
Primary-secondary协议
将副本分为两大类:其中有且仅有一个副本作为primary副本,除primary意外的副本都作为secondary副本。维护primary副本的节点作为中心节点,中心节点负责维护数据的更新、并发控制、协同副本的一致性。
————————
paxos协议
是多个节点直接通过操作日志同步数据,如果只有一个节点称为主节点,就很容易在多个节点之间维护数据一致性。然后主节点可能出现故障,那么就需要选出主节点。Paxos协议就是用于解决多个节点之间的一致性问题
在paxos算法中,存在四种角色
  Proposer :提议者
  Acceptor:决策者
  Client:产生议题者
  Learner:最终决策学习者

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值