单机配置HBase的心得

本文介绍了为何选择HBase作为大规模数据存储的解决方案,详细阐述了如何在单机上配置HBase,包括HDFS的安装和HBase的配置。接着讨论了将HBase融入Java业务逻辑的方法,对比了HBase与Berkeley DB的数据组织方式,并分享了因字符串转换问题重写HBase操作代码的经验。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

使用HBase的原因

同学的科研中会处理卫星遥感图片,数据量很大,而一台机器的内存和硬盘不够用来处理,所以他的科研成果受到了一定的限制,我打算帮他做一个存储中间件,希望通过一个集群和简单好用的API来帮助提高科研效果。

如何配置HBase

我相信类似的文章肯定很多了,所以我不需要把我自己的过程再写一遍。大概就是先安装配置HDFS(HaDoop File System), 这个基础设施建设要以后,再安装配置HBase, 要知道HBase是一个运行在HDFS上的应用程序。

配置Hadoop用的Hadoop的官方文档,还挺好用的,没什么坑,配HBase也是用的官方文档 ,一样没毛病。如果你跟着文档走,基本上单机的HBase能够很好跑起来;当然你需要一个mac或者linux,windows就不能保证结果了。

如果你顺利的话,到最后会用

sbin/start-dfs.sh

来启动HDFS,用

sbin/stop-dfs.sh
HBase是一种分布式列式存储系统,通常用于大规模数据处理场景。但在学习阶段或测试环境中,我们可以搭建HBase单机模式来进行简单操作。 ### HBase 单机配置步骤 #### 1. 环境准备 - 安装JDK并设置环境变量`JAVA_HOME` ```bash export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 ``` - 下载并安装Apache Hadoop(因为HBase依赖于HDFS) - 下载HBase压缩包,并解压到指定目录 #### 2. 配置hbase-site.xml文件 找到HBase的conf目录下的`hbase-site.xml`文件,并编辑它: ```xml <configuration> <property> <name>hbase.rootdir</name> <!-- 设置为本地路径 --> <value>file:///home/user/hbase</value> </property> <property> <name>hbase.cluster.distributed</name> <value>false</value> </property> </configuration> ``` 解释一下关键点: - `hbase.rootdir`: 指定HBase的数据存储位置,在单机环境下可以是一个普通的本地磁盘路径。 - `hbase.cluster.distributed`: 将其值设为false表示运行在非分布式的独立模式下。 #### 3. 启动服务 启动之前确认已经成功开启Hadoop相关的进程(如NameNode、DataNode等) 。然后进入HBase bin目录,执行命令: ```bash ./start-hbase.sh ``` 如果一切正常,应该能够看到提示信息表明服务器已启动完毕。 #### 4. 测试连接 打开终端输入如下指令检验是否可用: ```bash $ ./bin/hbase shell ``` 接着尝试创建表或者其他基本命令验证功能无误即可完成初步部署! ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值