分布式系统常用命令

最新推荐文章于 2025-05-23 19:59:29 发布
最新推荐文章于 2025-05-23 19:59:29 发布
阅读量965 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： storm 文章标签： storm
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/dubaoquan/article/details/51136177

Zookeeper启动

cd /app/zookeeper/bin
sh zkServer.sh start

执行以上脚本后，出现以下关键字，说明启动成功。
Starting zookeeper … STARTED
按以上步骤可以启动多个Zookeeper

cd /app/zookeeper/bin/
sh zkServer.sh stop
以下说明成功停止
STOPPED

kafka Broker启执行下面命令来启动kafka

cd /app/kafka
JMX_PORT=9997 nohup bin/kafka-server-start.sh config/server.properties &
执行以上脚本后，可以通过查看log判断服务是否正常启动。
tail -f nohup.out –n200
tail -f logs/server.log –n200
Log中无异常，出现以下关键字，说明启动成功。
[2014-03-17 15:27:53,426] INFO [Kafka Server 248], Started (kafka.server.KafkaServer)
    查看进程是否存在
ps -ef | grep Kafka

kafka Broker停止

cd /app/kafka
bin/kafka-server-stop.sh

Nimbus启动
授权

cd /app/jstorm
chmod -R 777 bin

执行下面命令来启动Nimbus：

cd /app/jstorm
nohup bin/jstorm nimbus &
通过/app/ jstorm/logs/nimbus.log文件查找错误。
通过下面命令查看进程是否正常启动
ps -ef|grep NimbusServer
ps -ef|grep nimbus
jps

Supervisor启动

执行下面命令：
cd /app/jstorm
nohup bin/jstorm supervisor &
通过/app/storm-supervisor/logs/supervisor.log文件查找错误。
通过下面命令查看进程是否正常启动
ps -ef|grep Supervisor
ps -ef|grep supervisor
jps

jstorm-ui 启动服务

cd /app/jstorm-ui/bin
./startup.sh
1.	查看进程，用下面命令查看进程
ps -ef|grep jstorm-ui
2.	用火狐访问http://xxxx:8088/ui，出现如下图页面

Nimbus停止

kill `ps aux | fgrep NimbusServer | fgrep -v 'fgrep' | awk '{print $2}'`
kill `ps aux | fgrep nimbus | fgrep -v 'fgrep' | awk '{print $2}'`

JStorm-ui停止

kill `ps aux | fgrep jstorm-ui | fgrep -v 'fgrep' | awk '{print $2}'`

supervisor停止
Supervisor会启动多个Worker进程，参见supervisor.slots.ports配置，下面是关闭所有Supervisor相关进程的命令：

kill `ps aux | fgrep Supervisor | fgrep -v 'fgrep' | awk '{print $2}'`
kill `ps aux | fgrep supervisor | fgrep -v 'fgrep' | awk '{print $2}'`

Mongodb启动命令

1.	cd /app
2.	tar xvf mongodb.tgz
3.	cd mongodb
4.	./mongod -f mongod.conf	#启动mongod服务
默认以后台服务方式运行，监听的端口是27017，数据文件目录db/，日志文件目录logs/，通过修改mongod.conf可以改变运行参数。

mongodb停止命令

1.	登录到1号机
2.	cd /app/mongodb
3.	./mongod -f mongod.conf --shutdown

linux修改主机名

[root@dubaoquan home]# cat /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4 
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
10.4.56.6   dubaoquan
[root@dubaoquan home]# cat /etc/sysconfig/network
NETWORKING=yes
#HOSTNAME=localhost.localdomain
HOSTNAME=dubaoquan

Linux用户root权限

创建用户，在root用户下执行下列命令
adduser test
passwd test
修改 /etc/sudoers 文件，找到下面一行，把前面的注释（#）去掉
## Allows people in group wheel to run all commands
%wheel    ALL=(ALL)    ALL
然后在root下执行下列命令
usermod -g root test
修改完毕，现在可以用test帐号登录，然后用命令 su - ，即可获得root权限进行操作。
分布式系统的一致性问题
AI天才研究院
08-08 1637
随着互联网信息化、移动互联网、物联网等新技术的发展，分布式系统越来越多地应用于各行各业，特别是在互联网、电子商务、物流管理、医疗健康领域。然而，由于分布式系统架构及其复杂性，使得这些系统面临着复杂的一致性问题。分布式系统中的数据如何在多个节点间保持一致是一个难题。协调性（Consistency）:所有节点的数据状态都一致；可用性（Availability）:所有的请求都能够得到响应；分区容错性（Partition Tolerance）:系统可以容忍网络分区，仍然保证可用。
全分布式系统搭建使用的一些命令
sjunothing的博客
03-08 214
centos7: 查看ip: ip addr nmtui调出命令窗口： nmtui 修改，将ipv4显示； 重启网卡服务： service network restart 上传文件： / rz 修改主机名： vim /etc/hostname ======================================= 修改为静态ip： cd /etc/sysconfig/network-scr...
分布式系统详解--框架（Hadoop-基本shell命令）
David的博客
10-11 259
               分布式系统详解--框架（Hadoop-基本shell命令）         前面的文章我们已经将一个集群搭建好了，现在就需要知道一些关于hadoop的基本操作命令，这篇文章就简单介绍一下hadoop的基本操作shell命令。 一、安装hadoop后，hadoop fs 在常用命令上进行了标注。 [root@MyLinux hadoop-2.7.5]# had...
分布式版本控制系统常用命令汇总
昨日青空alhuo
12-22 435
git 命令
jstorm操作命令
xixihaha_123的专栏
03-15 789
启动ZOOPKEEPER zkServer.sh start 启动NIMBUS jstorm nimbus & 启动SUPERVISOR jstorm supervisor & 启动UI jstorm ui & 部署TOPOLOGY jstorm jar /opt/hadoop/loganalyst/storm-dependend/data/teststorm-1.0.jar t...
【Storm笔记】04-Storm集群的进程及日志熟悉
通往神秘的道路的专栏
12-19 1288
1、部署成功之后，启动storm集群。 依次启动集群的各种角色 2、查看nimbus的日志信息 在nimbus的服务器上 cd /export/servers/storm/logs tail -100f /export/servers/storm/logs/nimbus.log 3、查看ui运行日志信息 在ui的服务器上，一般和nimbus一个服务器 cd /export/serv...
Hadoop HDFS分布式文件系统 常用命令汇总
11-03
Hadoop HDFS分布式文件系统常用命令汇总 Hadoop HDFS分布式文件系统是大数据存储和处理的核心组件。作为一个分布式文件系统，HDFS提供了高可靠性、高可扩展性和高性能的存储解决方案。在使用HDFS时，经常需要执行...
分布式系统核心技术全解析
2301_76740633的博客
05-23 1441
在网络不可靠的前提下，一致性和可用性无法兼得。CP 系统适合 “数据正确性优先” 的场景，通过强一致性保障可靠性；AP 系统适合 “服务可用性优先” 的场景，通过最终一致性提升用户体验。
Hadoop 分布式文件系统 shell命令1
08-03
Hadoop 分布式文件系统 shell 命令概述 Hadoop 是一个基于 Java 的大数据处理开源框架，由 Apache 软件基金会开发。Hadoop 的核心组件包括 Hadoop Distributed File System（HDFS）、MapReduce 和 YARN。其中，HDFS...
分布式系统架构知识点梳理
BUG指挥课堂
05-26 4005
分布式分为分布式缓存（Redis）、分布式锁（Redis 或 Zookeeper）、分布式服务（Dubbo 或 SpringCloud）、分布式服务协调（Zookeeper）、分布式消息队列（Kafka 、RabbitMq）、分布式 Session 、分布式事务、分布式搜索（Elasticsearch）等。不可能所有分布式内容都熟悉，一定要在某个领域有所专长。 分布式理论 问：分布式有哪些理论？ CAP 、BASE。分布式 CAP 理论，任何一个分布式系统都无法同时满足 Consistency（一致性
JStorm - 常用命令
weixin_34293902的博客
02-22 985
2019独角兽企业重金招聘Python工程师标准>>> ...
停止storm任务的两种方式
热门推荐
12-20 1万+
（1）通过命令行 [beifeng@bigdata01 storm-0.9.6]$ bin/storm kill wordcount 其中，wordcout为topology的名称，即提交jar包是指定的topology名称 （2）通过web页面 点击wordcount进入topology详情页面：   topology详情页面如下： 点击ki
【详解】搭建Storm集群
牛肉胡辣汤
02-11 860
在搭建一个基本的 Storm 集群时，涉及到的主要组件包括 Nimbus、Supervisor 和 ZooKeeper。下面我将通过一个简单的例子来展示如何搭建一个基本的 Storm 集群，并编写一个简单的拓扑（Topology）来处理流数据。ZooKeeper 是一个分布式的协调服务，Storm 使用它来进行节点之间的协调和状态管理。Nimbus 是 Storm 的主节点，负责分配任务给各个 Supervisor，并监控它们的状态。​，你应该能看到Storm UI界面，显示集群的状态和拓扑信息。
storm集群统一启动和停止shell脚本开发
10-08 9805
Hadoop集群 start-all.sh 启动全部进程 stop-all.sh停止 如果用cdh版本+cloudera manager界面化管理的话，直接在界面上点击按钮即可 原理：通果ssh执行远程shell脚本 storm停止进程 Kill -9 shell脚本开头： #!/bin/bash ./etc/profile 以前就是直接去ui看executor下面是哪
Storm部分：storm中进程、线程、任务
wyqwilliam的博客
08-29 1115
worker process：进程 executor：线程 task：任务 一个进程、两个线程、四个任务    两个进程、八个线程、十个任务。 两个线程分配四个任务，一个线程分配两个任务。 --------------------------------------------------------------------------------------------...
大数据_Storm_Storm的一些基本指令
迎难而上
08-04 2855
1、提交Topologies 命令格式：storm jar 【jar路径】 【拓扑包名.拓扑类名】【stormIP地址】【storm端口】【拓扑名称】【参数】 eg： storm jar /home/storm/storm-starter.jar storm.starter.WordCountTopology wordcountTop; storm jar /home/storm/stor
storm集群启动/停止脚本
zzShine的专栏
01-14 8992
storm集群启动脚本    在$STORM_HOME/bin下touch start-storm-cluster.sh并chmod a+x start-storm-cluster.sh#!/bin/bash #nimbus节点 nimbusServers='mini01 mini02'#supervisor节点 supervisorServers='mini01 mini02 mini03'#启动
linux常用命令
qq_35456400的博客
04-15 157
1. 使用非常频繁的命令 cd pwd ll ls -a(显示隐藏文件) -ht 显示文件大小并按照时间降序排列 常用参数 命令 详解 -a 显示所有文件及目录 (包括以“.”开头的隐藏文件) -l 使用长格式列出文件及目录信息 -r 将文件以相反次序显示(默认依英文字母次序) -t 根据最后的修改时间排序 -A 同 -a ，但不列出 “.” (当...
Jstorm 启动后 nimbus、Supervisor 自动停止
haojiliang
05-22 2593
情景1：以前可以，异常关机重启后不行了。。。 原因1：jstorm 进程异常终止，导致 storm data 目录下的数据异常； 解决：删除 Jstorm data 目录里面的内容，再重新启动~ https://blog.iaiot.com/jstorm-nimbus-Supervisor.html 情景2：第一次安装的，从节点 Supervisor 可以正常启动，主节点的 nimb...
分布式数据库的常用命令
最新发布
08-05
在分布式数据库的使用过程中，常用的操作命令涵盖了数据库的连接、状态查询、表结构管理、数据操作、权限控制以及性能优化等多个方面。以下是一些常见的操作命令分类及示例： ### 数据库连接与状态查询 分布式数据库通常支持标准的数据库连接方式，例如通过 JDBC、ODBC 或者数据库自带的客户端工具进行连接。在连接之后，可以执行一些基本的状态查询命令来获取当前数据库的运行信息。 - **查看当前连接数** 以 GBase 8c V5 为例，可以通过如下 SQL 语句查询当前数据库的连接数： ```sql SELECT count(*) FROM (SELECT pg_stat_get_backend_idset() AS backendid) AS s; [^3] ``` - **查看数据库节点状态** 在某些分布式数据库中，可以通过特定的管理命令或 SQL 函数查询节点的运行状态，例如是否在线、负载情况等。 ### 表结构管理 在分布式数据库中，表结构的设计和管理是关键环节，涉及到数据的分布策略、索引创建等。 - **创建分布式表** 分布式数据库通常支持在创建表时指定分布键（Distribution Key），以控制数据的分布方式。例如： ```sql CREATE TABLE orders ( order_id INT PRIMARY KEY, customer_id INT, order_date DATE ) DISTRIBUTE BY HASH(customer_id); ``` - **查看表结构** 可以使用 `DESCRIBE` 或 `DESC` 命令查看表的字段信息： ```sql DESCRIBE orders; ``` - **添加索引** 对于频繁查询的字段，可以创建索引以提升查询性能： ```sql CREATE INDEX idx_customer_id ON orders(customer_id); ``` ### 数据操作 数据操作包括插入、更新、删除和查询等基本操作。 - **插入数据** ```sql INSERT INTO orders (order_id, customer_id, order_date) VALUES (1, 1001, '2023-10-01'); ``` - **更新数据** ```sql UPDATE orders SET order_date = '2023-10-02' WHERE order_id = 1; ``` - **删除数据** ```sql DELETE FROM orders WHERE order_id = 1; ``` - **查询数据** ```sql SELECT * FROM orders WHERE customer_id = 1001; ``` ### 权限管理 分布式数据库通常也支持细粒度的权限控制，确保数据的安全性。 - **创建用户** ```sql CREATE USER app_user WITH PASSWORD 'secure_password'; ``` - **授予权限** ```sql GRANT SELECT, INSERT ON orders TO app_user; ``` - **撤销权限** ```sql REVOKE INSERT ON orders FROM app_user; ``` ### 性能优化与监控 在分布式数据库中，性能优化是一个持续的过程，涉及查询优化、索引调整、资源分配等多个方面。 - **分析表** 定期执行 `ANALYZE` 命令可以帮助优化器生成更高效的查询计划： ```sql ANALYZE orders; ``` - **查看执行计划** 使用 `EXPLAIN` 命令可以查看 SQL 语句的执行计划，帮助优化查询性能： ```sql EXPLAIN SELECT * FROM orders WHERE customer_id = 1001; ``` - **监控系统资源** 某些分布式数据库提供了内置的监控视图或命令，用于查看 CPU、内存、磁盘 I/O 等资源使用情况。 ### 数据备份与恢复 数据备份与恢复是保障数据安全的重要手段。 - **备份数据库** 可以使用数据库提供的备份工具进行全量或增量备份： ```bash gbase_backup -U gbase -d mydb -f /backup/mydb_backup.sql ``` - **恢复数据库** 在需要恢复时，可以使用相应的恢复命令将数据恢复到指定的时间点或状态： ```bash gbase_restore -U gbase -d mydb -f /backup/mydb_backup.sql ``` ### 缓存与数据库协同操作 在实际应用中，分布式数据库通常与缓存系统（如 Redis）协同工作，以提升系统的整体性能。 - **从缓存中获取数据** 在查询商品信息时，首先尝试从 Redis 缓存中获取数据： ```java public Map<String, String> getProductInfoFromCache(String productId) { return redis.hgetAll("product:" + productId); } ``` - **缓存未命中时从数据库查询并写入缓存** 如果缓存未命中，则从数据库中查询，并将结果写入缓存： ```java public Map<String, String> getProductInfoFromCacheOrDB(String productId) { Map<String, String> productInfo = redis.hgetAll("product:" + productId); if (productInfo == null || productInfo.isEmpty()) { productInfo = db.queryProductInfo(productId); if (!productInfo.isEmpty()) { redis.hmset("product:" + productId, productInfo); redis.expire("product:" + productId, 3600); // 设置缓存过期时间为1小时 } } return productInfo; } ``` - **数据库查询示例** 通过 JDBC 连接分布式数据库并执行查询操作： ```java public Map<String, String> queryProductInfoFromDB(String productId) { Connection conn = null; PreparedStatement stmt = null; ResultSet rs = null; Map<String, String> productInfo = new HashMap<>(); try { conn = dataSource.getConnection(); String sql = "SELECT * FROM products WHERE product_id = ?"; stmt = conn.prepareStatement(sql); stmt.setString(1, productId); rs = stmt.executeQuery(); if (rs.next()) { productInfo.put("name", rs.getString("product_name")); productInfo.put("price", rs.getString("price")); productInfo.put("stock", rs.getString("stock")); } } catch (SQLException e) { e.printStackTrace(); } finally { // 关闭资源 } return productInfo; } ``` ### 文件存储与数据库协同操作 在电商平台等场景中，商品图片等非结构化数据通常存储在分布式文件系统（如 HDFS）中，而元数据则存储在分布式数据库中。 - **将商品图片写入分布式文件系统** 使用 Hadoop 的 FileSystem API 将商品图片写入 HDFS： ```java public void saveProductImageToDFS(String imagePath, byte[] imageData) throws IOException { Configuration conf = new Configuration(); conf.set("fs.defaultFS", "hdfs://localhost:9000"); FileSystem fs = FileSystem.get(conf); Path path = new Path(imagePath); FSDataOutputStream out = fs.create(path); out.write(imageData); out.close(); fs.close(); } ``` - **将图片路径存储到数据库** 在将图片写入分布式文件系统后，可以将图片的路径存储到数据库中，以便后续查询： ```java public void saveImagePathToDB(String productId, String imagePath) { Connection conn = null; PreparedStatement stmt = null; try { conn = dataSource.getConnection(); String sql = "UPDATE products SET image_path = ? WHERE product_id = ?"; stmt = conn.prepareStatement(sql); stmt.setString(1, imagePath); stmt.setString(2, productId); stmt.executeUpdate(); } catch (SQLException e) { e.printStackTrace(); } finally { // 关闭资源 } } ``` ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值