hbase0.98分布式部署

Hbase HA 分布式搭建 一 背景 二 HBase 搭建前准备 1 主机规划 2 系统基本配置 jdk ssh hosts 3 网络时间协议 NTP 4 安装 ZooKeeper 三 HBase 安装配置 1 下载解压 HBase 并配置其环境变量 2 配置 hbase-envsh 3 配置 hbase-sitexml 4 hbase-sitexml 配置参数解析 5 配置 regionservers 6 替换 Ha 阅读详情

两个master,两个regionserver


hbaes-env.sh:


# The directory where pid files are stored. /tmp by default.
export HBASE_PID_DIR=/home/master/platform/hbase-0.98.1-cdh5.1.0/pids

# Seconds to sleep between slave commands.  Unset by default.  This
# can be useful in large clusters, where, e.g., slave rsyncs can
# otherwise arrive faster than the master can service them.
# export HBASE_SLAVE_SLEEP=0.1

# Tell HBase whether it should manage it's own instance of Zookeeper or not.
#export HBASE_MANAGES_ZK=true

# The default log rolling policy is RFA, where the log file is rolled as per the size defined for the 
# RFA appender. Please refer to the log4j.properties file to see more details on this appender.
# In case one needs to do log rolling on a date change, one should set the environment property
# HBASE_ROOT_LOGGER to "<DESIRED_LOG LEVEL>,DRFA".
# For example:
# HBASE_ROOT_LOGGER=INFO,DRFA
# The reason for changing default to RFA is to avoid the boundary case of filling out disk space as 
# DRFA doesn't put any cap on the log size. Please refer to HBase-5655 for more context.
export JAVA_HOME=/home/master/program/jdk1.7.0_55-cloudera
export HBASE_HOME=/home/master/platform/hbase-0.98.1-cdh5.1.0
#export HBASE_OPTS="$HBASE_OPTS -XX:+HeapDumpOnOutOfMemoryError -XX:+UseConcMarkSweepGC -XX:+CMSIncrementalMode"

export HBASE_OPTS="$HBASE_OPTS -ea -XX:+HeapDumpOnOutOfMemoryError -XX:+UseConcMarkSweepGC -XX:CMSInitiatingOccupancyFraction=80"

export HBASE_OPTS="$HBASE_OPTS -XX:+UseParNewGC -XX:NewRatio=3 -XX:NewSize=512m"

export HBASE_SSH_OPTS="-p 2208"
#HBASE_JMX_OPTS="-Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.ssl=false"
#HBASE_JMX_OPTS="$HBASE_JMX_OPTS -Dcom.sun.management.jmxremote.password.file=$HBASE_HOME/conf/jmxremote.passwd"
#HBASE_JMX_OPTS="$HBASE_JMX_OPTS -Dcom.sun.management.jmxremote.access.file=$HBASE_HOME/conf/jmxremote.access"
#export HBASE_MASTER_OPTS="$HBASE_JMX_OPTS -Dcom.sun.management.jmxremote.port=10101"
#export HBASE_REGIONSERVER_OPTS="$HBASE_JMX_OPTS -Dcom.sun.management.jmxremote.port=10102"

export HBASE_MASTER_OPTS="$HBASE_MASTER_OPTS -Xmx4096m"

export HBASE_REGIONSERVER_OPTS="$HBASE_REGIONSERVER_OPTS -Xmx4096m -verbose:gc -XX:+PrintGCDetails -XX:+PrintGCTimeStamps -XX:+PrintHeapAtGC -XX:+PrintGCDateStamps -Xloggc:/home/master/platform/hbase-0.98.1-cdh5.1.0/gc//hbasegc.vgc"

export HBASE_THRIFT_OPTS="$HBASE_THRIFT_OPTS -Xmx0m"

export HBASE_CLASSPATH=/home/master/platform/hadoop-2.3.0-cdh5.1.0/etc/hadoop


export HBASE_MANAGES_ZK=true

hbase-site.xml:
<configuration>

   <property>
           <name>hbase.rootdir</name>
           <value>hdfs://hadoop3:8020/data/hbase</value>
     </property>
     <property>
               <name>hbase.cluster.distributed</name>
               <value>true</value>
     </property>
     

     <property>
        <name>hbase.master</name>
        <value>hadoop1:60000,hadoop2:60000</value>
    </property>
    
 <property>
    <name>hbase.client.write.buffer</name>
    <value>2097152</value>
  </property>
  <property>
    <name>hbase.client.pause</name>
    <value>100</value>
  </property>
  <property>
    <name>hbase.client.retries.number</name>
    <value>35</value>
  </property>
  <property>
    <name>hbase.client.scanner.caching</name>
    <value>100</value>
  </property>
  <property>
    <name>hbase.client.keyvalue.maxsize</name>
    <value>10485760</value>
  </property>
  <property>
    <name>hbase.rpc.timeout</name>
    <value>60000</value>
  </property>
  <property>
    <name>hbase.snapshot.enabled</name>
    <value>true</value>
  </property>
  <property>
    <name>hbase.security.authentication</name>
    <value>simple</value>
  </property>
  <property>
    <name>zookeeper.session.timeout</name>
    <value>60000</value>
  </property>
  <!--
  <property>
    <name>zookeeper.znode.parent</name>
    <value>/hbase</value>
  </property>
  -->
  <property>
    <name>zookeeper.znode.rootserver</name>
    <value>root-region-server</value>
  </property>
 

    <property>
     <name>hbase.zookeeper.quorum</name>
      <value>hadoop1,hadoop2,hadoop3</value>
   </property>

   <property>
        <name>hbase.zookeeper.property.clientPort</name>
        <value>2181</value>
  </property>

3,然后copy到另一台机器:

在start-hbase.sh

如果备用的 master没有启动:在该节点上执行    bin/hbase-daemon.sh start master

HBase 0.98.12.1与Hadoop1集成详解 HBase是Apache基金会下的一个开源的、分布式的非关系型数据库(NoSQL),它是在Google的BigTable论文的基础上实现出来的。HBase 0.98.12.1版本作为早期的稳定版本,为大数据存储提供了水平扩展、高吞吐量和可伸缩性的能力,特别适用于读写密集型的应用场景。Hadoop是由Apache软件基金会开发的一个开源框架,它允许使用简单的编程模型在由普通的服务器组成的大型集群上进行分布式存储和计算。 阅读详情

相关推荐

自动驾驶开发者必看:nuscenes数据集23类物体标注全解析(附避坑指南)

本文深入解析nuscenes数据集的23类物体标注系统,为自动驾驶开发者提供全面的标注规范解读和实战避坑指南。涵盖多模态数据组织、类别细分规则、属性系统应用技巧以及标注质量验证方法,帮助开发者高效利用这一标杆数据集提升模型性能。

weixin_29041767的博客 256

HBase 0.98 分布式集群安装详解

这篇博客应该很早就发表了,只是当时环境搭建好了之后没有及时做笔记,后来又不想重新搭建,所以才拖到今天。还有就是这篇博客安装的是 Hbase-0.98 的版本,与之前说要安装 0.96 的说明不吻合,这里统一说明,之前的博客就不更改了。还有一点就是,本文的安装过程很顺,没有出现什么启动不了,或是运行异常的行为。如果你在安装的过程出现了一些不好的事情,那么你可能会在本文中找到一些蛛丝马迹,也可能一无所获。只是我希望你可以

大鱼 6293

小程序结合Three.js与gsap:打造流畅3D动画的完整指南

本文详细介绍了如何在小程序中整合Three.js与GSAP动画库,打造流畅的3D动画效果。通过从环境搭建、基础场景创建到模型加载与复杂动画编排的完整指南,帮助开发者克服小程序性能限制,实现如商品360度展示等沉浸式交互体验,提升产品视觉吸引力。

python9snake的博客 548

HA&Federation

架构图

清如许的专栏 1万+

智能座舱语音测试避坑指南:从唤醒率到方言识别,这些场景你测全了吗?

本文深入解析智能座舱语音测试的关键场景与避坑指南,涵盖唤醒率测试、方言识别、多音区交互等复杂场景。通过实战案例与自动化测试方案,帮助开发者全面提升语音系统的可靠性与用户体验,特别关注环境噪声干扰与方言覆盖策略。

weixin_42613501的博客 496

别再到处找模型了!手把手教你将TI、ADI官网的SPICE模型导入LTspice(附路径避坑指南)

本文详细介绍了如何将TI、ADI官网的SPICE模型导入LTspice的全流程,包括模型获取、路径配置、符号生成等关键步骤,并提供了路径避坑指南。通过实战案例和技巧分享,帮助电子工程师高效利用外部元器件模型进行电路仿真,提升设计效率。

weixin_42535703的博客 406

图解Hbase的完全分布式部署

[b][color=olive][size=x-large]上篇文章,散仙介绍了Hbase的单机伪分布式的安装,那么今天,散仙再来介绍下Hbase的完全分布式的安装部署,完全分布式的安装同样是基于Hadoop的HDFS底层的,也就是说,要想完成Hbase分布式的安装,那么你的Hadoop坏境也必须是完全分布式的,然后一个Hbase应用配套的部署在一个Hadoop节点上,关于Hadoop的完全分布式...

三劫散仙 407

超详细的YOLOv8安装与测试指南:让计算机视觉任务变得简单

python3+、Anaconda3或Miniconda3 Ultralytics提供了多种安装方法,包括pip、conda和Docker。通过pip包安装最新稳定版的YOLOv8,或者克隆Ultralytics GitHub仓库以获取最新版本。Docker可用于在隔离容器中执行包,避免本地安装。 最简单直接的方式就是直接使用pip方法直接安装。 也可以直接从GitHub仓库安装包。如果你想要最新的开发版本,这可能会很有用。确保你的系统上安装了Git命令行工具

CDBmax的博客 1万+

Hadoop2.7.3+spark2.1.0+hbase0.98分布式集群部署

1、关闭防火墙与selinux关闭防火墙:CentOS 7.x默认使用的是firewall作为防火墙。systemctl stop firewalld.service#停止firewallsystemctl disable firewalld.service#禁止firewall开机启动关闭selinux:Redhat...

weixin_40376449的博客 125

【WRFDA第一期】WRF数据同化概述及资源整理

【WRFDA第一期】WRF数据同化概述及资源整理

WW、forever的博客 1660

9篇1章1节:中国居民健康与营养调查(CHNS)数据库的官网解析和数据下载(2026年版)

在探讨中国社会经济转型与人口健康变迁的学术领域中,中国健康与营养调查(CHNS) 是一个无法绕过的权威数据库。本文将带你深入了解CHNS的项目背景、庞大的数据体系,以及如何通过这两个核心网站获取关键的家庭、个人及社区层面的研究数据。

MD Code 1699

hbase分布式集群部署与配置

1,下载版本,本次我下载的版本是 hbase-0.98.6-cdh5.3.0.tar 分布式规划图: 配置信息: 接下来 就是 实际的配置: 进入 conf目录:

for_yayun的博客 243

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

Hadoop 2.4.0+zookeeper3.4.6+hbase0.98.3分布式集群搭建

Hadoop 2.4.0+zookeeper3.4.6+hbase0.98.3分布式集群搭建 博客分类:  hadoop Ip  主机名 程序 进程 192.168.137.11 h1 Jdk Hadoop hbase Namenode DFSZKFailoverControl

linuxheik的专栏 515

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

hbase需要装mysql么_HBase完全分布式安装以及Hive远程模式(MySQL作为数据库)的安装...

首先是HBase的完成分布式安装。这次部署的环境是hadoop-1.2.1+hbase-0.98.X。因为这个版本的HBase是直接对应hadoop-1.2.1,故也就首先是HBase的完成分布式安装。这次部署的环境是Hadoop-1.2.1+hbase-0.98.X。因为这个版本的HBase是直接对应hadoop-1.2.1,故也就省去了覆盖jar包的步骤以及排除了覆盖带来的不稳定性。OK,下载...

weixin_39927683的博客 188

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

HBASE0.98.5真分布集群环境安装配置

软件:hadoop2.5.0,

KNIFE_PAN的专栏 934

HBase: Install

EVN: hadoop2.3.0  ubuntu12.04 64     hue3.5.0   pig0.12.0    hive0.12.0   oozie4.0.0    Install Download tarball form http://mirrors.cnnic.cn/apache/hbase/hbase-0.98.0/ #tar -xzvf hbase-0.98.0-...

术业有专攻 158

hadoop2.5.1+Hbase0.98安装

一、Hadoop2.5.1编译zlib的安装与使用zlib是一个很好的压缩解压缩库,今天我们分别介绍如何在Linux与Windows上安装与使用: 一:Linux平台 首先看看自己的机器上是不是已经安装好zlib了: whereis zlib 如果安装好了,会输出zlib的路径,这样直接跳过前2步。1. 下载 在http://www.zlib.net/下载zlib的最新版,我的是1.2.3

wzq6578702的专栏 1037

HBase分布式集群部署

HBase分布式集群部署 必看 配置千万条,网络第一条。配置不规范,bug改到吐。内外ip要分清,本机配置内ip,连接请用外ip 1.准备 HBase是一个高可靠、高性能、面向列、可伸缩的分布式存储系统,利用Hbase技术可在廉价PC Server上搭建 大规模结构化存储集群。 HBase 是Google Bigtable 的开源实现,与Google Bigtable 利用GFS作为其文件存储系统类似, HBase 利用Hadoop HDFS 作为其文件存储系统;Google 运行MapReduce 来

weixin_43744732的博客 952

hbase0.98完全分布式部署

NameNode DataNode JournalNode Zookeeper Hmaster HregionServer node1 1 1 node2 1 1 1 1 1 node3 1 1 1 1 no...

qq_22049773的博客 187

Hbase教程(一) Hbase入门教程

HBase是一个分布式的、面向列的开源数据库,该技术来源于 FayChang 所撰写的Google论文“Bigtable:一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统(File System)所提供的分布式数据存储一样,HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。HBase不同于一般的关系数据库,它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。

yuan_xw的专栏 4万+

hbase-0.98.2安装

1.下载hbase-0.98.2 http://apache.dataguru.cn/hbase/hbase-0.98.2/ 2.解压缩:

zzu09huixu的专栏 1421
上一篇: hive导数据到hbase
下一篇: storm spout,bolt超时处理和fail处理
谷雨hadoop
博客等级 码龄14年 16粉丝 64原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值