【Hbase】ubuntu下单节点安装hbase存储使用hdfs

本文介绍了如何在单机环境下配置Hadoop,并使用HDFS作为底层存储。文章详细说明了安装过程中的注意事项,如无密码登录配置、文件权限设置及HDFS格式化的具体步骤。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

本次单机配置是使用了hdfs,而单机状态下也可以使用本机存储。使用本地文件存储的配置方式请详见:http://hi.baidu.com/s120922718/item/b441c8c287b25c3544941655

使用hdfs配置,可以看官方文档 :http://hadoop.apache.org/docs/stable/single_node_setup.html

通过上述可以看到如果想使用hdfs必须首先安装hadoop。hdfs(Hadoop distribute file system)是Hadoop工程的一个模块,是Hadoop的底层存储,主要负责hadoop在计算的时候数据存储。它具有高容错性,可扩展,支持pb级别数据。其实如果单机配置下使用hdfs并不能发挥hdfs带来的好处。hdfs就是通过多个节点来具有高容错性和快速访问的特性,单个节点下是不能提供这些特性的。

如果hbase使用hdfs做底层存储,则必须首先安装hadoop

而在安装hadoop过程中主要需要注意的地方包括:

1:要配置无密码登录,你可以在ssh下生成一个密钥,然后把密钥存在相应的位置,一般是用户目录下的.shh文件夹下

2:如果要创建单独的群组和单独的用户的话,记得把所有hadoop运行相关的文件的拥有者修改为hadoop群组下的hadoop用户。

3:都配置好之后记得要格式化hdfs,否则可能会导致链接datanode一直失败 格式化命令 bin/hadoop namenode -format

这里需要注意的地方是,格式化hdfs的用户与启动hdfs的用户必须是同一个用户,否则会报错。那如果真的是启动的时候和格式化的时候不是同一个怎么办,那只能是把所有数据文件删除,然后重新格式化文件系统。

4:最后验证是否hadoop启动成功,使用jps查看线程是否有hadoop的各种node启动线程;或者访问其提供的web客户端。

在hadoop中经常遇到的问题请点击另一篇博文



### HBaseUbuntu上的安装与配置 #### 准备工作 为了成功部署HBase,需先完成一些必要的准备工作。确保每台机器已安装Java环境并设置好SSH无密码登录功能[^1]。 #### 安装步骤 下载适合版本的HBase软件包至目标服务器,并解压到指定路径。例如: ```bash wget https://archive.apache.org/dist/hbase/2.3.7/hbase-2.3.7-bin.tar.gz tar -xzvf hbase-2.3.7-bin.tar.gz -C /usr/local/ ``` 编辑`hbase-env.sh`文件以定义JAVA_HOME变量位置以及其它可能需要调整的参数。 ```bash vi /usr/local/hbase-2.3.7/conf/hbase-env.sh ``` 在此处添加或者修改如下行来指明JDK所在目录: ```bash export JAVA_HOME=/path/to/java/home ``` 接着,在同一conf目录下的`hbase-site.xml`文档里设定基本属性以便支持分布式模式运作: ```xml <configuration> <property> <name>hbase.cluster.distributed</name> <value>true</value> </property> <property> <name>hbase.rootdir</name> <value>hdfs://namenode_address:8020/hbase</value> </property> </configuration> ``` 对于多节点情况,则还需要更新slaves列表文件,列出所有region server主机名或IP地址: ```bash vi /usr/local/hbase-2.3.7/conf/regionservers # 添加类似下面的内容 slave_node_1 slave_node_2 ``` 最后一步就是初始化Zookeeper服务(如果未单独部署),可以通过相应脚本实现自动化管理: ```bash cp conf/zoo_sample.cfg conf/zoo.cfg ./bin/hbase-daemon.sh start zookeeper ``` #### 启动集群 当上述全部完成后就可以正式开启整个HBase框架了。切换到安装根目录执行启动指令即可[^2]: ```bash cd /usr/local/hbase-2.3.7 ./bin/start-hbase.sh ``` 这会触发Master组件连同各RegionServers一同上线运行。 #### 验证安装 打开浏览器访问http://master_host:16010查看Web UI界面确认状态正常;另外也可以通过shell交互测试简单命令验证基础功能是否可用: ```bash $ ./bin/hbase shell hbase(main):001:0> list TABLE test_table 1 row(s) in 0.0940 seconds ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值