Windows11使用Docker部署Hbase超详细过程

导入:虽然有虚拟机,但是懒得再配啦,还没玩过Docker,这回玩一下

没有虚拟机还想在windows部署Hbase的有福啦

优势

  • 无需手动安装 Java 或配置环境变量
  • 一键启动 HBase + Thrift 服务

Docker安装

安装很简单啊,一点不用怕的

下载网址:https://www.docker.com/

下载产品是Docker Desktop

安装此处省略…(没有什么需要注意的,如果实在怕自己安装有问题可以搜以下如何安装Docker)

安装好之后再注册一下或者直接使用github账号也没问题,之后就会出现以下页面

记得把左下角这个小东西启动起来

接下来就可以部署Hbase了👇

部署Hbase步骤

在命令行操作,以管理员身份运行

  • 拉取Hbase镜像

    docker pull harisekhon/hbase
    

    首次拉取不是这样的,但是差不多

  • 启动容器(包含 HBase + Thrift 服务)

    docker run -d -p 9090:9090 -p 8080:8080 --name hbase harisekhon/hbase
    

-p 9090:9090: 映射 Thrift 端口(Python 通过此端口连接)

-p 8080:8080: HBase Web UI 端口

​ 注意这里是你一会要用到的端口

此时再去查看你的Docker界面就会发现多出来点东西,这就是你刚刚启动成功的效果

  • 验证容器状态

    docker ps -a
    

​ 确认容器状态为 Up

通过以上步骤你的Docker就成功部署好Hbase啦(为了完成NoSQL偷点懒没关系吧QAQ)

简单测试

我写个作业简单测试一下:

简单

import happybase

TABLE_NAME = 'mytable'


def connect():
    return happybase.Connection(host='localhost', port=9090)


def create_table():
    conn = connect()
    if TABLE_NAME.encode() in conn.tables():
        conn.delete_table(TABLE_NAME, disable=True)
    conn.create_table(TABLE_NAME, {
        'mycf': dict()
    })
    print(f"表 {TABLE_NAME} 创建成功,初始列族为 mycf")
    conn.close()


def modify_table():
    conn = connect()
    if TABLE_NAME.encode() not in conn.tables():
        print(f"表 {TABLE_NAME} 不存在,无法修改列族")
        return

    families = conn.table(TABLE_NAME).families()

    new_families = {}
    for cf in families:
        if cf == b'mycf':
            new_families['mycf'] = {'max_versions': 5}
        else:
            new_families[cf.decode()] = {}

    new_families['newcf'] = {}
    conn.delete_table(TABLE_NAME, disable=True)
    conn.create_table(TABLE_NAME, new_families)
    print("成功添加列族 newcf,并修改 mycf 的 max_versions 为 5")
    conn.close()


def insert_data():
    conn = connect()
    table = conn.table(TABLE_NAME)
    table.put(b'row1', {b'mycf:col1': b'value1'})
    print("数据插入成功(如果取消注释 insert_data())")
    conn.close()


def delete_table():
    conn = connect()
    if TABLE_NAME.encode() in conn.tables():
        conn.delete_table(TABLE_NAME, disable=True)
        print("列族 mycf 已删除")  # 只能通过删表实现删除列族
        print(f"表 {TABLE_NAME} 已删除")
    else:
        print(f"表 {TABLE_NAME} 不存在")
    conn.close()


def main():
    create_table()
    modify_table()
    # insert_data()  # ← 你可以取消这行注释来测试插入数据
    delete_table()


if __name__ == '__main__':
    main()

得到了正确的输出!

<think>好的,用户问的是在Windows使用HDFS启动HBase。首先,我得确认HBase和Hadoop的依赖关系。HBase确实需要HDFS作为底层存储,所以用户需要先安装和配置Hadoop。不过Windows环境下可能会有一些兼容性问题,比如Hadoop主要是为Linux设计的,虽然可以通过一些工具在Windows上运行。 接下来,我应该考虑用户可能的步骤。首先需要安装Java,因为Hadoop和HBase都是基于Java的。然后安装Hadoop,可能建议使用Apache的官方版本,但Windows上可能需要额外的配置,比如winutils或者Cygwin。不过现在可能更推荐使用WSL(Windows Subsystem for Linux),这样用户可以在Linux环境中运行,避免很多兼容性问题。但用户可能不想用WSL,所以需要提供原生Windows的解决方案。 然后,安装HBase,修改配置文件,比如hbase-site.xml,指向HDFS的地址,并设置ZooKeeper的数据目录到HDFS。需要确保HDFS先启动,然后启动HBase。但这里可能会有问题,比如Hadoop和HBase的版本兼容性,用户需要确认两者的版本是否匹配,否则容易出错。 另外,权限问题在Windows上可能更复杂,Hadoop和HBase可能需要读写权限,用户可能需要调整文件系统的权限或者配置Hadoop以使用不需要严格权限检查的模式,比如在hdfs-site.xml中设置dfs.permissions.enabled为false。 测试步骤方面,用户需要先验证HDFS是否正常运行,使用hdfs dfs -ls /,然后启动HBase Shell,执行status命令查看是否正常。如果遇到错误,可能需要检查日志文件,比如HMaster和RegionServer的日志,看看是否有连接HDFS失败的问题,比如端口不正确或者权限问题。 可能用户会遇到的问题包括:Hadoop没有正确配置导致HBase无法访问HDFS,版本不兼容,环境变量未正确设置,或者Windows特有的路径问题(比如反斜杠和正斜杠的区别)。此外,防火墙设置也可能阻止HDFS或HBase的通信,需要确保相关端口开放。 总结来说,步骤大致是:安装Java,安装并配置Hadoop,安装并配置HBase指向HDFS,启动HDFS,启动HBase。同时,强调版本兼容性和权限配置的重要性,以及建议使用WSL简化流程。需要提醒用户处理可能遇到的常见错误,如连接超时或权限拒绝,并提供解决方法,比如检查配置文件和日志。</think>在Windows系统上通过HDFS启动HBase需要完成以下步骤: --- ### 一、前置条件 1. **安装Java** - 必须安装JDK 8或更高版本 - 配置环境变量:`JAVA_HOME`指向JDK安装路径 2. **Hadoop环境** - 需要先部署Hadoop集群(HDFS) - 推荐使用Apache Hadoop 3.x版本(与HBase兼容性更好) --- ### 二、HBase安装与配置 1. **下载HBase** - 从[官网](https://hbase.apache.org/)下载与Hadoop版本兼容的HBase二进制包 2. **配置环境变量** ```bash # 设置HBASE_HOME set HBASE_HOME=D:\hbase-2.4.12 # 添加HBase的bin目录到PATH set PATH=%PATH%;%HBASE_HOME%\bin ``` 3. **修改`hbase-site.xml`** ```xml <configuration> <property> <name>hbase.rootdir</name> <value>hdfs://localhost:9000/hbase</value> <!-- 指向HDFS地址 --> </property> <property> <name>hbase.cluster.distributed</name> <value>true</value> <!-- 启用分布式模式 --> </property> <property> <name>hbase.zookeeper.property.dataDir</name> <value>/hbase/zookeeper</value> <!-- ZooKeeper数据目录 --> </property> </configuration> ``` 4. **配置`hbase-env.cmd`** ```cmd set JAVA_HOME=C:\Program Files\Java\jdk1.8.0_301 set HBASE_MANAGES_ZK=true <!-- 使用内置ZooKeeper --> ``` --- ### 三、启动流程 1. **启动HDFS** ```cmd # 先启动Hadoop HDFS cd %HADOOP_HOME%\sbin start-dfs.cmd ``` 2. **验证HDFS状态** ```cmd hdfs dfs -ls / ``` 3. **启动HBase** ```cmd # 进入HBase安装目录 cd %HBASE_HOME%\bin start-hbase.cmd ``` --- ### 四、验证服务 1. **检查进程** - 通过`jps`命令查看是否包含以下进程: ``` NameNode DataNode HMaster HRegionServer ``` 2. **访问HBase Shell** ```cmd hbase shell > status # 查看集群状态 > create 'test', 'cf' # 测试表创建 ``` --- ### 五、常见问题解决 1. **端口冲突** - 确保HDFS的`9000`端口和HBase的`16000`端口未被占用 2. **权限问题** - 在`hdfs-site.xml`中添加以下配置: ```xml <property> <name>dfs.permissions.enabled</name> <value>false</value> <!-- 关闭HDFS权限检查 --> </property> ``` 3. **Windows路径问题** - 所有配置文件路径使用Linux格式(如`/hbase/zookeeper`) --- ### 六、建议方案 如果遇到兼容性问题,可考虑以下替代方案: 1. 使用Windows Subsystem for Linux (WSL)运行HBase 2. 通过Docker部署HBase容器 通过上述步骤,您可以在Windows环境下实现基于HDFS的HBase集群启动。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值