分布式部署HBase的那些坑

分布式部署HBase的那些坑

hadoop 3.3.0
jdk 8
HBase 2.4.2
均为部署时的最新版本
系统为ubuntu18.04,一台master两台slave


hadoop分布式部署,web监视端口9870,HBase分布式部署 ,web监视端口16010,使用自带zookeeper,不额外安装
参考此篇
在部署好HBase使用时遇到以下几个问题:

Server is not running yet

首先启动HBase服务,

start-hbase.sh

启动hbase后,进入shell,

hbase shell

在shell下,使用list命令测试,显示

org.apache.hadoop.hbase.ipc.ServerNotRunningYetException: Server is not running yet

网上大部分的解决方式都是让hadoop退出安全模式,使用

hdfs dfsadmin -safemode get

查询,显示SAFEMODE IS OFF,说明并不是安全模式的问题。
参考

<think>嗯,用户正在查找HBase的安装教程。从提供的引用内容来看,用户可能已经看过一些零散的安装步骤,但需要系统化的指导。用户明确提到"hbase安装教程",说明ta更关注操作流程而非概念解释。 用户引用的材料中包含了几个关键点:下载安装包、创建目录、解压、设置软链接、配置环境变量。特别是引用[3]提供了具体的命令操作,这很实用。不过用户可能忽略了前置条件&mdash;&mdash;Hadoop环境的兼容性,这在引用[2]中被提到过。 考虑到HBase安装的复杂性,应该帮用户梳理出清晰的步骤框架。优先强调版本兼容性,因为引用[2]特别指出这是常见痛点。目录结构部分引用[3]的/opt/bigdata方案很规范,可以推荐用户采用。环境变量配置需要强调PATH和HBASE_HOME的设置,这是引用[3]没写全但引用[2]提到的重点。 用户上次没有提问历史,所以采用通用型方案。但注意到引用[1]说"搞了一天才安装成功",说明用户可能是初学者,教程需要规避常见点:比如要提醒修改hbase-site.xml时注意XML格式的严格性,这在官方文档里常被忽略。 最后考虑生成的问题要覆盖用户后续可能遇到的难点:分布式部署和错误排查是新手最头疼的,应该优先列出;版本冲突问题在引用里反复出现,也需要单独提问;而Web UI访问则是验证安装成功最直观的方式。 </think>以下是HBase的详细安装教程,整合最佳实践并规避常见错误: --- ### **HBase单机模式安装步骤** #### **1. 环境准备** - **系统要求**:Linux(Ubuntu/CentOS) - **依赖项**: - JDK 1.8+(验证:`java -version`) - Hadoop(若需分布式部署- **版本兼容**: HBase 3.x 需匹配 Hadoop 2.7+/3.x(参考引用[2][3]) #### **2. 下载与解压** ```bash # 创建安装目录并授权 sudo mkdir -p /opt/bigdata sudo chown -R $USER:$USER /opt/bigdata # 下载HBase(以3.0.0为例) wget https://archive.apache.org/dist/hbase/3.0.0/hbase-3.0.0-bin.tar.gz # 解压并建立软链接 tar -xzf hbase-3.0.0-bin.tar.gz -C /opt/bigdata/ ln -s /opt/bigdata/hbase-3.0.0 /opt/bigdata/hbase ``` #### **3. 配置环境变量** ```bash # 编辑 ~/.bashrc 或 ~/.zshrc export HBASE_HOME=/opt/bigdata/hbase export PATH=$PATH:$HBASE_HOME/bin # 使配置生效 source ~/.bashrc ``` #### **4. 修改HBase配置** - **`$HBASE_HOME/conf/hbase-site.xml`** ```xml <configuration> <!-- 单机模式数据存储路径 --> <property> <name>hbase.rootdir</name> <value>file:///opt/bigdata/hbase/data</value> </property> <property> <name>hbase.zookeeper.property.dataDir</name> <value>/opt/bigdata/hbase/zookeeper</value> </property> <property> <name>hbase.unsafe.stream.capability.enforce</name> <value>false</value> <!-- 解决本地文件系统兼容性 --> </property> </configuration> ``` - **`$HBASE_HOME/conf/hbase-env.sh`** ```bash # 设置Java路径 export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 ``` #### **5. 启动与验证** ```bash # 启动HBase start-hbase.sh # 检查进程 jps # 应出现 HMaster 进程 # 进入HBase Shell hbase shell > status # 查看集群状态 > create 'test', 'cf' # 创建测试表 > list # 列出所有表 ``` --- ### **常见问题排查** 1. **端口冲突**: - 默认端口:HMaster UI(16010),RegionServer(16020) - 检查:`netstat -tuln | grep 16010` 2. **权限错误**: - 确保 `/opt/bigdata` 目录用户权限正确 3. **Java版本不兼容**: - 确认 `JAVA_HOME` 在 `hbase-env.sh` 中正确配置 > **关键提示**:分布式部署需额外配置ZooKeeper集群、RegionServer节点及HDFS集成(引用[2][3])。 --- ### 相关问题 1. **如何将HBase从单机模式迁移到分布式集群?** 2. **HBaseHDFS集成时有哪些必须的配置项?** 3. **如何解决HBase启动时出现的 "Master not initialized" 错误?** 4. **HBase的WAL(Write-Ahead Log)机制如何影响性能调优?** > 引用来源: > [^1]: HBase安装包下载指南 > [^2]: HBase版本兼容性要点 > [^3]: 环境变量与目录配置规范
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值