【大数据入门核心技术-HBase】（十五）Hbase Replication操作

原创 已于 2023-03-11 17:11:20 修改 · 664 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hbase #大数据 #hadoop #mysql #big data

于 2023-03-10 11:21:40 首次发布
本文介绍了如何在HBase中设置和操作复制功能，包括适合的场景、前置条件、新建或修改表信息、添加peer以及源端和目标端的数据操作。通过详细步骤，阐述了如何实现集群间的HBase数据实时同步。

一、适合场景

集群A中有张表t1，现在想让往t1中写入数据后，集群B中的t1表，也会有这些数据，两个集群中的t1表，名字和结构一样

二、操作

1、前置条件

源集群要更改hbase配置：

hbase-site.xml配置文件中将hbase.replication参数设定为true。

其他调优参数

replication.source.nb.capacity 5000 主集群每次像备集群发送的entry最大的个数，推荐5000.可根据集群规模做出适当调整,slave集群服务器如果较多，可适当增大

replication.source.size.capacity 4194304 主集群每次像备集群发送的entry的包的最大值大小，不推荐过大

replication.source.ratio 1 主集群里使用slave服务器的百分比

hbase.regionserver.wal.enablecompression false 主集群关闭hlog的压缩

replication.sleep.before.failover 5000 主集群在regionserver当机后几毫秒开始执行failover slave

了解本专栏 订阅专栏 解锁全文 超级会员免费看
【大数据入门核心技术】学习导读列表--建议收藏
12-03 2084
本专栏主要为博主总结大数据生态内容，包括Hadoop、Hive、Hbase、Impala、Sqoop、Spark、Flink、Kafka、ElasticSearch、Ambari等最具价值的大数据相关技术。【大数据入门核心技术-基本概念】（一）大数据相关基本概念【大数据入门核心技术-基本概念】（二）大数据行业生态【大数据入门核心技术-基本概念】（三）大数据应用领域和行业【大数据入门核心技术-Zookeeper】
【大数据入门核心技术-Doris】（三）Doris基础使用
09-27 887
label：Label 的主要作用是唯一标识一个导入任务，并且能够保证相同的 Label 仅会被成功导入一次，具体可以查看 数据导入事务及原子性。上述表通过设置 replication_num 建的都是单副本的表，Doris建议用户采用默认的 3 副本设置，以保证高可用。示例1：以 "table1_20170707" 为 Label，使用本地文件 table1_data 导入 table1 表。可以使用任一 BE 的 IP，以及 be.conf 中的 webserver_port 进行导入。
HBase-replication流程
TAB_YLS的博客
02-07 599
HBase replication流程的梳理，文章深度剖析了replication的原理
Hbase Replication 介绍
Terry Zhang Data Solution
12-26 1万+
Hbase Replication 介绍 现状      Hbase 的replication目前在业界使用并不多见，原因有很多方面，比如说HDFS目前已经有多份备份在某种程度上帮助HBASE底层数据的安全性，而且很多公司的集群规模比较小并且对数据重要程度并不是很高，比如一些日志系统或者是作为一个历史数据的第二个仓库，来分流大量的读请求。这样及时数据丢失了也可以在其他的地方（数据库集群）中找回
hbase的基本操作
热门推荐
ck3207的博客
08-15 2万+
HBase是一个分布式的、面向列的开源数据库。HBase是Google Bigtable的开源实现，它利用Hadoop HDFS作为其文件存储系统，利用Hadoop MapReduce来处理HBase中的海量数据，利用Zookeeper作为协同服务。 Hbase的组成结构可用表形容： hbase是一张表：表中有一个唯一键是 row key, 每个row key 对应 N（N >= ...
Hbase replication操作
weixin_30345055的博客
12-29 168
1.修改hbase-site.xml文件 <property> <name>hbase.replication</name> <value>true</value> </property> 2.同步数据改变,重启hbase集群 3.创建备份表 hbae>create 'reptable1', {...
HBase Replication详解
weixin_30293079的博客
06-25 760
Replication：复制，指的是持续的将同一份数据拷贝到多个地方进行存储，是各种存储系统中常见而又重要的一个概念，可以指数据库中主库和从库的复制，也可以指分布式集群中多个集群之间的复制，还可以指分布式系统中多个副本之间的复制。它的难点在于数据通常是不断变化的，需要持续的将变化也反映到多个数据拷贝上，并保证这些拷贝是完全一致的。通常来说，数据复制到多个拷贝上有如下好处：多个备份提高了数据的可靠性...
大数据技术----HBase配置文件说明
weixin_45228198的博客
07-24 2768
以下是hbase-site.xml文件的相关配置项： 1 ，hbase.rootdir 这个目录是 region server 的共享目录，用来持久化 HBase。URL 需要是’完全正确’的，还要包含文件系统的 scheme。例如，要表示 hdfs 中的 ‘/hbase’ 目录，namenode 运行在namenode.example.org 的 9090 端口。则需要设置 为hdfs://namenode.example.org:9000/hbase。默认情况下HBase是写到/tmp的。不改这个配置，
大数据入门--HBase（一）环境搭建&常见命令
书山有路，学海无涯
07-22 856
集群环境搭建 准备工作 Hbase依赖zookeeper，所以需要先搭建zookeeper，参考此文 Hbase对时间同步要求较高，建议使用ntp做时间同步，参考此文：ntp服务安装 安装 当前安装版本为：hbase-1.3.1 1. 解压安装包 tar -zxvf hbase-1.3.1-bin.tar.gz -C /opt/module/ cd /opt/module/hbase-1.3.1 2.修改配置文件 hbase-env.sh 添加 export JAVA_HOME=/opt/module
大数据系列-Hbase
07-31
**大数据系列-Hbase** HBase，全称是Apache HBase，是构建在Hadoop分布式文件系统（HDFS）之上的开源非关系型数据库（NoSQL），设计用于处理大规模数据集，提供实时读写访问。HBase是Google Bigtable的一个开源实现...
HBase 应用平台 Replication 功能
08-02
NULL 博文链接：https://57832638.iteye.com/blog/1978504
Elasticsearch-HBase-replication同步
05-11
用于hbase同步数据到es(replication机制)
Hbase复制(Replication )
数据科学汇集
05-15 1万+
Hbase复制使用手册 1 Hbase复制简介 通过hbase的replication功能实现集群间的相互复制. 2 环境 这里hbase版本为hbase-0.98.6-cdh5.3.3 3 配置 各个集群里配置hbase-site.xml里的复制功能: hbase.replication true 完整配置文件附录: hbase.
HBase Replication
09-26 1400
HBase Replication
HBase-replication
鲸鱼写程序的专栏
09-12 993
replication相关znode结构replication相关参数1.replication.source.log.queue.warn ReplicationSource 中待处理的 HLog 数量达 到该参数值时,打印警告,默认值为 22.replication.source.size.capacity 每次向 sink 端同步的数据大小不能超过该阀 值,默认为 64M;3.replicat
hbase的replication使用
jasonliaoxiaoge的专栏
03-12 797
hbase-0.90.0的一个重要改进是引入了replication机制，使它的数据完整性得到了进一步的保障。虽然这一功能还不太完善，但是今后必然会变得更加重要。 hbase的replication机制很像mysql statement-based replication。它是通过WALEdit和hlog来实现的。当请求发送给master cluster时，hlog日志放入hdfs的同时进入
hbase replication 原理
baiyangfu的专栏
08-19 6654
查看文档，分析了一下 hbase replication的原理，简单
HBase学习---HBase Replication
wjandy0211的博客
05-08 1910
1.HBase Replication简介： HBase Replication 主要是将一个HBase集群中的数据复制到目标HBase集群。在HBase中，集群复制是指使用源集群的write-ahead log (WAL)传播更改，使一个集群状态与另一个集群状态保持同步。HBase Replication可以作用在column family级别。 在启用HB...
create ' mikeal-hbase-table,'familyclom1','familyclom2'
最新发布
01-01
`create 'mikeal-hbase-table','familyclom1','familyclom2'` 这条语句是 HBase Shell 中用于创建表的命令，该语句是正确的。下面对其各部分进行解析： - `create`：这是 HBase Shell 中的关键字，用于指示要执行创建表的操作。 - `'mikeal-hbase-table'`：这是要创建的表的名称，在 HBase 中，表名需要用单引号括起来。表名是表的唯一标识，用于区分不同的表。 - `'familyclom1','familyclom2'`：这是为表指定的列族名称，同样需要用单引号括起来。在 HBase 中，列族是表的基本组织结构，一个表可以有多个列族，每个列族可以包含多个列。在创建表时，需要至少指定一个列族。不同列族的数据会被分开存储和管理。 下面是一个验证该表创建成功的示例命令，使用 `list` 命令查看所有表，以及使用 `describe` 命令查看指定表的详细信息： ```bash hbase(main):001:0> list TABLE mikeal-hbase-table 1 row(s) in 0.0160 seconds hbase(main):002:0> describe 'mikeal-hbase-table' Table mikeal-hbase-table is ENABLED mikeal-hbase-table COLUMN FAMILIES DESCRIPTION {NAME => 'familyclom1', VERSIONS => '1', EVICT_BLOCKS_ON_CLOSE => 'false', NEW_VERSION_BEHAVIOR => 'false', KEEP_DELETED_CELLS => 'FALSE', CACHE_DATA_ON_WRITE => 'false', DATA_BLOCK_ENCODING => 'NONE', TTL => 'FOREVER', MIN_VERSIONS => '0', REPLICATION_SCOPE => '0', BLOOMFILTER => 'ROW', CACHE_INDEX_ON_WRITE => 'false', IN_MEMORY => 'false', CACHE_BLOOMS_ON_WRITE => 'false', PREFETCH_BLOCKS_ON_OPEN => 'false', COMPRESSION => 'NONE', BLOCKCACHE => 'true', BLOCKSIZE => '65536'} {NAME => 'familyclom2', VERSIONS => '1', EVICT_BLOCKS_ON_CLOSE => 'false', NEW_VERSION_BEHAVIOR => 'false', KEEP_DELETED_CELLS => 'FALSE', CACHE_DATA_ON_WRITE => 'false', DATA_BLOCK_ENCODING => 'NONE', TTL => 'FOREVER', MIN_VERSIONS => '0', REPLICATION_SCOPE => '0', BLOOMFILTER => 'ROW', CACHE_INDEX_ON_WRITE => 'false', IN_MEMORY => 'false', CACHE_BLOOMS_ON_WRITE => 'false', PREFETCH_BLOCKS_ON_OPEN => 'false', COMPRESSION => 'NONE', BLOCKCACHE => 'true', BLOCKSIZE => '65536'} 2 row(s) in 0.0330 seconds ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

forest_long

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值