hadoop/spark常用命令

最新推荐文章于 2025-06-29 19:52:48 发布

wyc_595998412

最新推荐文章于 2025-06-29 19:52:48 发布

阅读量611

点赞数 1

CC 4.0 BY-SA版权

文章标签：常用启动命令

本文链接：https://blog.youkuaiyun.com/qq_41568597/article/details/82052766

本文介绍了多个大数据组件的启动、操作及关闭命令，包括 Flume、Zookeeper、Kafka、Redis、HDFS、Yarn、MySQL、Hive、HBase 等，还给出了 Sqoop 将数据从关系型数据库导入 Hive 的命令。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

flume的启动命令

./bin/flume-ng agent -n a1 -c conf -f conf/myconf/flume-kafka.conf -Dflume.root.logger=INFO,console

zookeeper : ./zkServer.sh start
kafka : nohup bin/kafka-server-start.sh config/server.properties &
kafka生产者:bin/kafka-console-consumer.sh --zookeeper min1:2181--from-beginning --topic gamelogs
kafka消费者:bin/kafka-console-producer.sh --broker =list min1:9092 --topic gamelogs
redis的启动:./redis-server redis.conf
redis正常关闭指令:./redis-cli shutdown
hdfs: start-dfs.sh
yarn: start-yarn.sh
flume:./bin/flume-ng agent -n a1 -c conf -f conf/myconf/flume-kafka.conf -Dflume.root.logger=INFO,console
mysql:开启服务 service mysqld start,状态查看service mysqld status 进入mysql: mysql -uroot -p
hive:启动: 直接hive即可启动(启动hive前需要启动dfs和mysql)
hbase的启动:启动hdfs集群,不用启动yarn,start-dfs.sh 再启动启动hbase,start-hbase.sh
sqoop将数据从关系型数据库导到hive:
sqoop import --connect jdbc:mysql://localhost:3306/test --username dyh --password 000000

--table users --hive-import --hive-table users -m 2 --fields-terminated-by "\0001";