Hadoop
关注
分享
扫一扫
文章平均质量分 65
大地你王哥
这个作者很懒，什么都没留下…
展开
-
Zookeeper 分布式一致性协议--ZAB协议
ZAB协议ZAB（Zookeeper Atomic Broadcast） 协议是为分布式协调服务Zookeeper专门设计的一种支持崩溃恢复的原子广播协议。在Zookeeper中，主要依赖ZAB协议来实现分布式数据一致性，基于该协议，Zookeeper实现了一种主备模式的系统架构来保持集群中各个副本之间的数据一致性过程：1）leader接收到消息请求后，将消息赋予一个全局唯一的64位自增id...原创 2020-03-02 19:22:06 · 280 阅读 · 0 评论 -
Flink端到端一致性的保证（Flink到Kafka）-基于Paxos的Zab协议
有没有思考过这样的问题–在flink内部使用的分布式快照算法保证一致性的问题，那在flink运行的shangxiawen组件中一致性是怎么保证的呢？flink内–checkpoint实际生产中必须考虑端端一致性的保证，他的一致性级别取决于所有流程中一致性最弱的组件预写日志：针对于非关系型数据库–如es redis等两阶段提交：针对于关系型数据库...原创 2020-02-26 15:08:21 · 333 阅读 · 0 评论 -
HBase架构、读写数据流程、MemStore刷写时机、StoreFile Compaction合并、Region Split
RegionServer 架构1）StoreFile保存实际数据的物理文件，StoreFile以Hfile的形式存储在HDFS上。每个Store会有一个或多个StoreFile（HFile），数据在每个StoreFile中都是有序的。2）MemStore写缓存，由于HFile中的数据要求是有序的，所以数据是先存储在MemStore中，排好序后，等到达刷写时机才会刷写到HFile，每次刷写...原创 2020-02-22 11:31:10 · 627 阅读 · 0 评论 -
Hadoop企业级优化
MapReduce 跑的慢的原因首先说MapReduce 跑的慢的原因：MapReduce优化方法MapReduce优化方法主要从六个方面考虑：数据输入、Map阶段、Reduce阶段、IO传输、数据倾斜问题和常用的调优参数。数据输入端：Map阶段Reduce阶段IO数据倾斜问题处理常用的调优参数HDFS小文件优化方法HDFS小文件弊端HDFS上每个文件都......原创 2020-02-21 15:36:14 · 284 阅读 · 0 评论