Hadoop【使用篇】10：【常见使用命令总结】Hadoop、Flume、Hive、Zookeeper、Hbase、Spark、Kafka、Redis、Flink

已于 2025-06-10 09:21:11 修改
阅读量1.4k 收藏 10
点赞数
分类专栏： 大数据工程师的成长之路 Hadoop 文章标签： hadoop spark hbase
于 2022-03-18 11:15:21 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_40612128/article/details/123273874
版权
本文详细介绍了Hadoop生态系统的常用组件命令，包括Hadoop的启动、停止及日志查看，Flume的任务启动方式，Hive的连接与执行命令，Zookeeper的启动与连接，Hbase的操作，Spark的standalone和on Yarn模式，Kafka的管理，Redis的启动验证，Flink的standalone和on Yarn部署，以及Elasticsearch的启动验证。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一、Hadoop

（1）启动

start-all.sh

（2）停止

stop-all.sh

（3）查看进程

jps
jps -m
ps -ef |grep 进程名称

在这里插入图片描述

（4）查看History

1）启动historyserver进程
mapred --daemon start historyserver
2）开启日志聚合功能

vi yarn-site.xml 新增如下内容：

    <property> 
        <name>yarn.log-aggregation-enable</name>
了解本专栏 订阅专栏 解锁全文
flume kafka hive spark flink笔记
weixin_60164612的博客
09-27 1366
根据其部署模式的不同，可以分为local，standalone，yarn，mesos等模式。Impala和Hive采用相同的SQL语法、ODBC驱动程序和用户接口，可统一部署Hive和Impala等分析工具，同时支持批处理和实时查询。在远程模式下，所有的Hive客户端都将打开一个到元数据服务器的连接，该服务器依次查询元数据，元数据服务器和客户端之间使用Thrift协议通信。Hive支持三种不同的元存储服务器，分别为：内嵌式元存储服务器、本地元存储服务器、远程元存储服务器，每种存储方式使用不同的配置参数。
Hadoop大数据应用生态圈中最主要的组件及其关系
木羊的专栏
03-31 9514
Hadoop Common Hadoop Common是在Hadoop0.2版本之后分离出来的HDFS和MapReduce独立子项目的内容，是Hadoop的核心部分，能为其他模块提供一些常用工具集，如序列化机制、Hadoop抽象文件系统FileSystem、系统配置工具Configuration，并且在为其平台上的软件开发提供KPI等。其他Hadoop子项目都是以此为基础而建立来的。 ...
Hadoop组件基本操作
dc12499574的博客
03-24 1762
文章目录一、Hadoop1、启动/结束Hadoop进程二、Hdfs1、创建/删除目录2、查看文件夹内容3、文件上传 一、Hadoop 1、启动/结束Hadoop进程 第一步：进入Hadoop安装文件夹 cd /usr/local/hadoop 第二步：启动Hadoop进程 ./sbin/start-dfs.sh ./sbin.start-all.sh 第三步：结束Hadoop进程 ./sbin/stop-dfs.sh ./sbin.stop-all.sh 二、Hdfs 1、创建/删除目录 在/xx/…文件夹
大数据常用技术介绍-Sqoop、Flume、Kafka、MapReduce、Hive、Spark、Strom、Beam等
chechelove886的专栏
02-20 2460
数据采集传输主要技术 分为两类，一类是离线批处理、另一类是实时数据采集和传输 离线批处理最有名的是Sqoop、实时数据采集和传输最为常用的是Flume和Kafka Sqoop：一款开源的离线数据传输工具，主要用于Hadoop（Hive）与传统数据库（Mysql、Oracle）之间数据传递。 Flume：实时日志采集平台，一个高可用、高可靠、分布式的海量日志采集、聚合和传输的系统。 Kaf...
Hadoop 功能组件入门
scofild950303的博客
02-13 933
Hadoop(英译: 大数据分析/云计算/分布式计算) 框架图,借助Hadoop框架及云计算核心技术MapReduce来实现数据的计算和存储，并且将HDFS分布式文件系统和HBASE分布式数据库很好地融入到云计算框架中，从而实现了云计算的分布式、并行计算和存储，并且得以实现很好的处理大规模数据的能力。
大数据基础面试题hadoop,zookeeper,hbase,hive,spark,kafka,flink,clickhouse
03-09
例如，Hadoop 的数据块大小设置、Zookeeper 的会话超时机制、HBase 的 Region 分裂、Hive 的分区表设计、Spark 的容错机制、Kafka 的生产者消费者模型、Flink 的状态持久化和ClickHouse 的索引策略等都是常见的面试...
大数据开发超高频面试题！大厂面试必看！包含Hadoop、zookeeper、Hive、flume、kafka、Hbase、flink、spark、数仓等
m0_59737088的博客
08-10 1908
大数据开发面试题 包含Hadoop、zookeeper、Hive、flume、kafka、Hbase、flink、spark、数仓等高频面试题。 数据来自原博主爬虫获取！ Hadoop 一、HDFS文件写入和读取过程 可灵活回答 ： 1）HDFS读写原理（流程） 2）HDFS上传下载流程 3）讲讲（介绍下）HDFS 4）HDFS存储机制 回答这个问题之前，我们先来看下机架感知 机制，也就是HDFS上副本存储结点的选择。 Hadoop3.x副本结点选择： 由上图可知，第一个副本在Client所处的节点上。如
入门大数据基础：Hadoop，hive，oozie，flume，hbase，kafka，spark，shell，redis，zookeeper都是什么？
Foools的博客
12-01 1129
文章目录前言一、Hadoop二、Hive三、oozie四、Flume五、Hbase六、 Kafka七、Spark八、 shell九、Redis十、zookeeper总结 前言 目前博主在实习，做大数据相关，从头开始学大数据，遂整理了一波大数据入门的工具都是什么的整理，尽量简洁说明白这些东西都是啥。 首先举例一个流程，可以辅助理解： 一、Hadoop Hadoop是Apache开源组织的一个分布式计算开源框架(http://hadoop.apache.org/)，用java语言实现开源软件框架，实.
大数据全家桶安装及启动JDK，mysql，canal，Zookeeper，Hadoop，Hive，Hbase，Datax，kylin，kafka，spark，flink，redis，zeppelin等
data_curd的博客
05-18 1060
​ 准备虚拟机 用户名:root 密码:123456 IP: 192.168.100.100 主机名: node01 修改虚拟机IP地址: vim /etc/sysconfig/network-scripts/ifcfg-eth0 DEVICE=eth0 HWADDR=00:0C:29:61:02:EC TYPE=Ethernet UUID=78ce60bd-12ff-4f76-9783-c1ddba997090 ONBOOT=yes NM_CONTROLLED=yes BOOTPROTO=static
（转载）hadoop组件---spark----全面了解spark以及与hadoop的区别
moose_killer的博客
03-07 2296
Spark是什么 Spark （全称 Apache Spark™） 是一个专门处理大数据量分析任务的通用数据分析引擎。 Spark核心代码是用scala语言开发的，不过支持使用多种语言进行开发调用比如scala，java，python。 Spark目前有比较完整的数据处理生态组件，可以部署在多种系统环境中，同时支持处理多种数据源。 Spark发展历史 2009年，Spark诞生于伯克利大学AMPLab，属于伯克利大学的研究性项目； 2010年，通过BSD 许可协议正式对外开源发布； 20.
大数据笔记，包含Hadoop、Spark、Flink、Hive、Kafka、Flume、ZK......
05-08
大数据笔记，包含Hadoop、Spark、Flink、Hive、Kafka、Flume、ZK...... 大数据笔记，包含Hadoop、Spark、Flink、Hive、Kafka、Flume、ZK...... 大数据笔记，包含Hadoop、Spark、Flink、Hive、Kafka、Flume、ZK...... 大数据笔记，包含Hadoop、Spark、Flink、Hive、Kafka、Flume、ZK...... 大数据笔记，包含Hadoop、Spark、Flink、Hive、Kafka、Flume、ZK...... 大数据笔记，包含Hadoop、Spark、Flink、Hive、Kafka、Flume、ZK...... 大数据笔记，包含Hadoop、Spark、Flink、Hive、Kafka、Flume、ZK...... 大数据笔记，包含Hadoop、Spark、Flink、Hive、Kafka、Flume、ZK...... 大数据笔记，包含Hadoop、Spark、Flink、Hive、Kafka、Flume、ZK...... 大数据笔记，包含Hadoop
大数据个人笔记——Zookeeper、Hadoop、flume、hive、sqoop、hbase、kafka、storm、spark的安装及使用
Winyar的博客
12-31 1584
大数据笔记 Zookeeper的安装及使用 安装步骤如下： [root@localhost ~]# cd /home/software [root@localhost software]# tar -xvf zookeeper-3.4.10.tar.gz [root@localhost software]# cd zookeeper-3.4.10 [root@localhost zookeepe...
Hadoop和Spark三大核心组件介绍与对比
weixin_42455006的博客
12-08 956
Hadoop Hadoop依靠MapReduce的数据处理 HDFS： HDFS是一个分布式文件系统，是 Hadoop 的存储核心， 它可以被部署运行于大量的廉价服务器上，可以处理超大文件，它的设计是建立在“一次写入，多次读取的”思想之上。对于被上传到 HDFS 上的数据，系统会对其进行分块分进行保存，分块概念的存在是 HDFS 可以存储大量文件的重要原因。 HDFS 中有两个重要概念 NameNode 和 DataNode，NameNode 是中心服务器，负责管理文件系统命名空间以及客户端对文件的访问，
hadoop info 1
贞正
10-21 679
http://zhidao.baidu.com/link?url=OagzJhsy7zJm5FeNGXhNBuxkXXk2SAgjs2UjqhxDsSGNLmJbU2rrdMX21xNEJ8GJ90h5zONMYeDPQgAGfsSS_K ，就当是抛砖引玉了。 相信楼主知道，hadoop的文件系统叫做hdfs，就是hadoop分布式分布式文件系统的中文简写。这个系统是对google的
大数据环境搭建步骤详解（Hadoop，Hive，Zookeeper，Kafka，Flume，Hbase，Spark等安装与配置）
热门推荐
pig2guang的博客
01-02 3万+
基本配置 系统：CentOS7.6 节点信息： 节点 ip master 192.168.185.150 slave1 192.168.185.151 slave2 192.168.185.152 网络配置 # 注意：centos自从7版本以后网卡名变成ens33而不是我这里的eth0了，我是习惯eth0了所以在安装的时候修改了网卡名，如果你的centos网卡名是e...
大数据环境搭建（Hadoop,Spark,Zookeeper,Hbase,Kafka）
打酱油的葫芦娃
12-08 7653
本教程基于4台机器(预装有CentOS7 Linux系统)完成Hadoop集群及其相关组件的搭建，1个master，3个slave。 1 Linux环境准备 1.1 基础设置 修改主机名 hostnamectl set-hostname master reboot 依次将其他3台机器设置为slave1,slave2,slave3。 修改IP地址 vim /etc/sysconfig/ne...
hadoop完全分布式环境搭建，整合zookeeper,hbase,spark,hive,hue
chunqing7023的博客
04-24 873
前期准备工作 1、由于测试环境的所有服务器只在内网访问，所以全部关闭防火墙，省去配置访问规则时间。 service iptables stop 2、集群中包括4个节点：1个master，3个salve，所以节点均安装好jdk，节点之间局域网连接，可以相互ping通。节点IP地...
【大数据面试】【项目开发经验】Hadoop、Flume、Kafka、Hive、MySQL、Sqoop、Azkaban、Spark...
USTSD的博客
12-17 758
主要内容：框架层面的调优、业务经验 一、Hadoop 1、Hadoop基准测试(HDFS的读写性能、MapReduce的计算能力测试) (1)测试内容：文件上传下载的时间 (2)服务器有几个硬盘插槽 2/4块 问题：2块4T和一块8T的哪个贵 2块4T的贵，可靠性更高一些 (3)加了磁盘，默认情况下不会直接能够使用 需要负载均衡，保证每个目录数据均衡 开启数据均衡命令：bin/start-b...
搭建Spark，flume，ZooKeeper，Sqoop，Flink on Yarn大合集
nizhengchangdian的博客
10-02 1106
搭建Spark，flume，ZooKeeper，Sqoop，Flink on Yarn
大数据平台搭建（容器环境）：Docker 容器基础操作、Hadoop 完全分布式安装配置、Hadoop HA 安装配置、Spark on Yarn 安装配置、Flink on Yarn安装配置、Hive 安装配置、Flume 安装配置、ZooKeeper 安装配置、Kafka 安装配置、HBase 分布式安装配置、ClickHouse 单节点安装配置、Hudi 安装配置。2.离线数据处理：Scala 应用开发、Pom 文件配置、Maven 本地仓库配置使用、基于 Spark 的数据清洗处理方法、基于 Hive 的数据清洗处理方法、数据仓库基本架构及概念、MySQL 基本操作。3.数据挖掘：特征工程应用、SparkML 机器学习库应用开发、推荐算法的召回和排序、回归模型、聚类模型、决策树模型、随机森林模型等模型应用。4.数据采集与实时计算：Scala 应用开发、Pom 文件配置、Maven 本地仓库配置使用、基于 Flume 及 Kafka 的数据采集方法、基于 Flink 的实时数据处理方法、HBase 基本操作、Redis 基本操作、MySQL 基本操作。5.数据可视化：Vue.js 框架应用开发、ECharts 组件应用开发，会使用 ECharts绘制柱状图、折线图、折柱混合图、玫瑰图、气泡图、饼状图、条形图、雷达图、散点图等图表。6.综合分析：依据整体项目过程，在综合理解业务的基础上，根据题目要求进行综合分析
最新发布
04-06
### 大数据平台搭建指南 #### 一、Docker容器基础 Docker是一种轻量级虚拟化技术，用于构建和运行应用程序的独立容器。通过使用Docker，可以快速部署Hadoop集群和其他大数据组件[^1]。 ```bash docker pull hadoop-base-image docker run -it --name hadoop-cluster hadoop-base-image /bin/bash ``` #### 二、Hadoop完全分布式安装配置 Hadoop是一个开源框架，支持大规模数据集的分布式存储和处理。以下是其基本配置步骤： 1. **环境准备** 安装Java JDK并设置`JAVA_HOME`环境变量。 2. **下载与解压Hadoop** 将Hadoop压缩包上传至服务器，并解压到指定目录。 3. **修改核心配置文件** 编辑`core-site.xml`, `hdfs-site.xml`, 和`yarn-site.xml`以适应分布式模式的需求[^2]。 4. **格式化NameNode** ```bash hdfs namenode -format ``` 5. **启动Hadoop服务** 使用脚本启动HDFS和YARN服务： ```bash start-dfs.sh && start-yarn.sh ``` #### 三、Hadoop高可用（HA） 为了提高系统的可靠性，可以通过ZooKeeper实现Hadoop NameNode的高可用性。主要涉及Active/Standby切换机制以及JournalNodes的日志同步功能。 #### 四、Spark on Yarn & Flink on Yarn 两者均作为强大的批处理引擎，在YARN上运行可充分利用资源调度优势。需调整相应参数来优化性能表现。 #### 五、其他常用工具介绍 - **Flume**: 日志收集系统，负责将日志流式写入Kafka或者直接进入HDFS。 - **Kafka**: 分布式的消息队列解决方案，适用于实时数据分析场景。 - **Hive**: 提供SQL接口访问底层HDFS上的结构化数据。 - **ClickHouse/Hudi**: 新兴OLAP数据库选项之一，适合复杂查询需求。 - **Redis/Memcached**: 高效缓存层，加速频繁读写的业务逻辑。 #### 六、离线&在线数据处理流程设计 对于批量作业采用MapReduce编程范式完成ETL过程；而对于低延迟要求则依赖Flink/Kafka Streaming API进行增量更新操作。 #### 七、机器学习实践案例分享 利用Scala编写自定义UDF函数扩展Spark SQL能力范围；借助Maven管理项目依赖关系并通过POM文件声明版本控制策略。针对特定领域问题选取合适的算法模型比如LR, RF等训练预测效果评估指标ACC/AUC等等。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

做一个有趣的人Zz

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值