Lindorm:一种Hbase的改进

9月18日云栖大会,阿里云推出业内首款云原生多模数据库Lindorm,同时提供宽表引擎、时序引擎、搜索引擎和文件引擎,重新定义万物互联时代多类型数据的存储方式。Lindorm可同时满足key-value数据、宽表数据、时序数据、文件、图片等多种类型数据的存储、实时查询和检索需求,解决分别部署不同类型数据库带来的架构复杂维护困难、数据存储成本高、难以应对业务规模灵活多变等问题,海量数据存储成本降低80%,是互联网、IoT、车联网、广告、社交、游戏等场景的首选。

大家使用HBASE都会有如下痛点

  • 宕机恢复时间过长(虽然HBASE理论上没有单点故障,但是regionserver的转移或者重启需要重放Hlog)
  • 跨机房部署困难
  • 毛刺
  • 多条件查询弱

lindorm的核心思想是

其核心思想:系统中的持久化文件存储于分布式文件系统中(HDFS/盘古),表的数据通过自动 sharding 分散到集群中的多台服务器上,并且每一个分片 partition 可以拥有1至N个副本,这N个副本拥有两种角色(主副本,从副本),并且保证主从副本加载在不同的 Zone(Lindorm 中的逻辑概念,不同的 zone 通常部署在不同的物理机房),在此协议下可以使得系统可以提供多种一致性等级。

Lindorm 将每个数据分区存储在多个副本、多个机房,并实现了多种一致性协议(可根据表粒度调整)。这就保障了当出现节点甚至机房故障时,能快速将从副本升级为主副本,从而避免了 HBase 的“服务单点”问题:需要花较长时间重放Log恢复内存状态,并且重新派发给新的节点加载后,才能恢复服务。

### KeeperErrorCode = ConnectionLoss for /hbase/master 错误解决办法 - **检查 ZooKeeper 服务状态**:HBase 依赖 ZooKeeper 进行协调,ZooKeeper 服务异常会导致连接丢失错误。可使用如下命令检查 ZooKeeper 服务状态: ```bash zkServer.sh status ``` 若 ZooKeeper 未正常运行,使用以下命令启动: ```bash zkServer.sh start ``` - **检查 HBase 与 ZooKeeper 连接配置**:需确保 HBase 配置文件 `hbase-site.xml` 中 ZooKeeper 相关配置正确。关键配置项如下: ```xml <property> <name>hbase.zookeeper.quorum</name> <value>localhost</value> </property> <property> <name>hbase.zookeeper.property.clientPort</name> <value>2181</value> </property> ``` 要保证 `hbase.zookeeper.quorum` 指向正确的 ZooKeeper 服务器地址,`hbase.zookeeper.property.clientPort` 为 ZooKeeper 监听端口。 - **检查网络连接**:确保 HBase 节点与 ZooKeeper 节点之间网络连通,可使用 `ping` 和 `telnet` 命令测试: ```bash ping <zookeeper_server_ip> telnet <zookeeper_server_ip> 2181 ``` ### SyntaxError: (hbase):26: syntax error, unexpected null 错误解决办法 - **检查 HBase Shell 语法**:确认 `create` 命令语法无误,正确语法为 `create '表名', '列族名'`,例如: ```bash create 'dept', 'data' ``` 要保证表名和列族名使用单引号括起来,且无多余字符。 - **检查 HBase Shell 版本兼容性**:确保使用的 HBase Shell 版本与 HBase 服务版本兼容,不兼容版本可能导致语法解析错误。可使用以下命令查看 HBase 版本: ```bash hbase version ``` 若版本不兼容,需升级或降级 HBase Shell 到与服务匹配的版本。 - **重启 HBase Shell**:有时 HBase Shell 内部状态异常会导致语法错误,可尝试退出并重新启动 HBase Shell: ```bash exit hbase shell ```
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值