大数据实践（二）--Hdfs常见操作及Hbase安装

最新推荐文章于 2025-04-01 14:59:16 发布

cgl_dong

最新推荐文章于 2025-04-01 14:59:16 发布

阅读量434

点赞数

分类专栏： Hadoop

本文链接：https://blog.youkuaiyun.com/weixin_43688691/article/details/106205890

版权

Hadoop 专栏收录该内容

12 篇文章

订阅专栏

本文详细介绍了Hadoop分布式文件系统（HDFS）的基本操作，包括启动辅助进程、目录管理、文件上传下载等，并提供了HBase的安装步骤，涵盖环境配置、服务启动与表操作，适合初学者快速上手。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

大数据实践（二）–Hdfs常见操作及Hbase安装

前置工具及环境

Ubuntu 16

VirtualBox

Hadoop 2.7.3

hbase

一、Hdfs常见操作

Hdfs大部分操作和shell命令都是共通的。

001、启动hdfs辅助进程

start-dfs.sh

002、创建、删除、查看目录

#创建目录
hdfs dfs -mkdir -p /user/hadoopDir

#出现这种情况可能是编码的问题，手敲一遍就好
–mkdir: Unknown command

#查看目录
hdfs dfs -ls /

Found 1 items
drwxr-xr-x   - hadoop supergroup          0 2020-05-19 03:34 /user


#删除目录
hdfs dfs -rm -r /user/hadoopDir

003、上传下载

put\get

hdfs dfs -put Test.java  /userHadoop
hdfs dfs -get /userHadoop/Test.java /usr/local

二、安装Hbase

001、上传并解压、配置环境变量

这里解压到/usr/local下,并且将目录名字设置为hbase.

配置环境变量：

#hbase home
export HBASE_HOME=/usr/local/hbase
export PATH=$PATH:${HBASE_HOME}/bin

002、修改hbase-env.sh文件

# The java implementation to use.  Java 1.7+ required.
export JAVA_HOME=/usr/local/jdk/jdk1.8.0_191

# Extra Java CLASSPATH elements.  Optional.
 export HBASE_CLASSPATH=/usr/local/hadoop/conf

003、修改hbase-site.xml配置文件

<property>
        <name>hbase.rootdir</name>
        <value>hdfs://192.168.56.101:9000/hbase</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>hbase.cluster.distributed</name>
        <value>true</value>
    </property>

004、启动hbase

依次启动以下命令：

ssh localhost # 远程调用服务，可不适应
start-dfs.sh 
start-hbase.sh  #启动hbase服务

005、进入hbase shell

以上服务启动成功的话，使用jps查看会出现：

6208 HMaster
6419 Jps
6325 HRegionServer
5464 NameNode
6154 HQuorumPeer
5804 SecondaryNameNode
5615 DataNode

使用以下命令进入hbase shell

hbase shell

006、操作表

建表：表名：属性：属性。。。。

create 'student','Sname','Ssex','Sage','Sdept','course'

查看

describe 'student'

删除：先不可用，再删除：

hbase(main):008:0> disable 'student'
0 row(s) in 2.3000 seconds

hbase(main):009:0> drop 'student'
0 row(s) in 1.2850 seconds

其他操作不在叙述。

007、结束进程

使用exit退出hbase shell.

stop-hbase.sh、stop-dfs.sh退出。