大数据与容器化技术指南：Docker、Kubernetes与大数据生态常用命令大全

最新推荐文章于 2024-09-18 23:55:37 发布

俊俏的萌妹纸

最新推荐文章于 2024-09-18 23:55:37 发布

阅读量1k

点赞数 20

CC 4.0 BY-SA版权

文章标签：大数据 docker kubernetes

本文链接：https://blog.youkuaiyun.com/z_ran/article/details/135627774

本文详细介绍了Docker、Kubernetes的基础概念及常用命令，涵盖Zookeeper、HDFS、YARN、HBase、Hive、Kafka、Spark、Flink等大数据技术的安装、配置和操作，包括YARN资源管理、HBasePhonenix集成等内容。同时提供了Docker和K8s操作命令实例。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本书涵盖了Docker和Kubernetes的基本概念及常用命令，以及Zookeeper、HDFS、YARN、YARN资源池、HBase、HBase集成Phoenix、Hive、Kafka、Spark、Flink等大数据技术的常用命令。

Zookeeper

安装kerberos客户端
yum install krb5-workstation -y

安装Zookeeper客户端
wget https://dlcdn.apache.org/zookeeper/zookeeper-3.6.3/apache-zookeeper-3.6.3-bin.tar.gz

解压
tar -zxvf apache-zookeeper-3.6.3-bin.tar.gz

启动zk服务端
./zkCli.sh -server zknode-4454-15044:2181

查看ls / 数据打印说明启动成功

HDFS

安装插件yum install -y wget

添加Hadoop客户端

解压tar -zxvf hadoop-3.2.4.tar.gz

将HDFS组件所在位置的hadoop文件拷贝到远程客户端
路径hadoop：/opt/hadoop/etc/hadoop
scp -r hadoop root@172.1.1.1:/root/Test02/Hadoop/hadoop/etc/
在拷贝到/etc/
登录账号kinit zuser01/test
输入密码：123456

主机上需具备jdk (zk\hadoop\hive\hbase都需要JDK环境)

修改环境配置
cat /etc/profile.d/my_env.sh
vim /etc/profile.d/my_env.sh
source /etc/profile

远程链接NameNode
./hdfs dfs -ls hdfs://172.18.1.91/
未配置策略时，会有相应提示无权限

远程创建文件
./hdfs dfs -mkdir hdfs://172.18.1.91/testHadoop

查看./hdfs dfs -ls hdfs://172.18.1.91/
创建文件 ./hdfs dfs -mkdir hdfs://172.18.1.91/testHadoop

上传文件
./hdfs dfs -put hadoop.txt hdfs://172.18.1.91/testHadoop

查看
./hdfs dfs -cat hadoop.txt hdfs://172.18.1.91/testHadoop/hadoop.txt

下载
./hdfs dfs -get hdfs://172.18.1.91/testHadoop/hadoop.txt

本地pod删除文件
hdfs dfs -rm -r /output2

YARN

查看
yarn application -list

写入
yarn jar /root/Test02/Hadoop/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.2.4-tests.jar TestDFSIO -write -nrFiles 10 -fileSize 1000

读取read
yarn jar /root/Test02/Hadoop/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.2.4-tests.jar TestDFSIO -read -nrFiles 10 -fileSize 1000