大数据学习之路2-脚本批量启动原理和使用

最新推荐文章于 2024-11-12 19:43:54 发布
最新推荐文章于 2024-11-12 19:43:54 发布
阅读量301 收藏
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 大数据生态圈从入门到精通 文章标签： linux
本文为博主原创文章，未经博主允许不得转载。
本文链接：https://blog.youkuaiyun.com/qq_37050372/article/details/81199025
本文介绍了如何通过SSH脚本批量启动Hadoop DataNode，详细讲解了SSH免密登录的设置过程，以及启动脚本的编写。重点讨论了在不source /etc/profile的情况下，如何确保命令路径正确，并探讨了Hadoop自带的启动脚本和配置文件slaves的使用方法。

1.首先我们可以先了解一下原理

   我们尝试着通过ssh在一台主机上发送命令对另一台主机进行操作：

   

  操作结果：

  

  但是这里的ssh不是真正的登录，所以不会source /etc/profile,所以配置文件中的path不会生效，使用这种方式，我们如果希望写一  个脚本来对datanode进行操作如：sh hadoop-daemon.sh stop datanode则 会提示命令找不到。比如下面这个脚本：

这个时候我们就需要写全路径，而不是利用/etc/profile文件中配置的path,所以脚本应该是这样：

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Flink启动脚本：简化大数据处理的利器
PixelInk的博客
08-20 215
Flink启动脚本是简化大数据处理的重要工具，它能够帮助我们方便地提交作业和管理Flink集群。通过编写和配置启动脚本，我们可以根据实际需求灵活地调整Flink的行为，并提高作业的性能和可靠性。在使用Flink进行大数据处理任务时，启动脚本是一个关键的环节。本文将介绍如何编写和使用Flink启动脚本，以及一些常见的配置选项和最佳实践。Flink启动脚本是一个可执行的脚本文件，用于启动Flink集群或提交作业。除了基本的启动脚本，我们还可以配置一些Flink的启动选项，以满足不同的需求。
大数据学习指南从入门到精通
热门推荐
Lansonli（蓝深李）的博客
05-21 2万+
利用框架的力量，看懂游戏规则，才是入行的前提大多数人不懂，不会，不做，才是你的机会，你得行动，不能畏首畏尾选择才是拉差距关键，风向，比你流的汗水重要一万倍，逆风划船要累死人的为什么选择学习大数据开发，不选择Java开发？借棋弈做比喻，智商高的不要选择五子琪，要选择围棋，它能长久地吸引你。不都是在棋盘上一颗黑子一颗白子地下吗?因为围棋更复杂，能够掌握如此复杂的技艺、产生稳定输出的棋手、让我们更佩服。选择学习大数据开发也如此，能让你的职业生涯走得更远，少走弯路。
大数据启动脚本
qq_37587824的博客
11-19 277
大数据集群启动脚本 #!/bin/bash echo "=============正在开启集群服务=================" echo "===============正在开启zookeeper服务================" for i in wangzichen@hadoop101 wangzichen@hadoop102 wangzichen@hadoop103 do ...
大数据集群软件启动脚本
欢迎来到三水编程的博客
12-12 460
hadoop，zookeeper，kafka，flume，hive，maxwell，dolphinscheduler，superset，集群一键启动，集群文件分发，集群执行命令，集群同步时间脚本
Hadoop&Hive&HBase等大数据相关服务自动化启动脚本
非晚の的博客
06-07 486
自动化脚本
shell脚本启动大数据组件
guajidai0165的博客
05-17 1403
1 启动elasticsearch集群 #!/bin/bash #配置ES的安装目录 修改的地方1 脚本可以自己创建 esServers='cdh01 cdh02' #启动所有的zk for es in $esServers do ssh -T $es <<EOF source ~/.bash_profile elasticsearch -d EOF echo...
大数据新视界 -- 大数据大厂之 Impala 性能优化：数据存储分区的艺术与实践（下）（2/30）
【青云交】华为云云享专家 | 阿里云开发者社区专家博主 技术圈个人影响力前 17 | 博客之星 TOP23 优快云 首位四榜（原力榜 / 作者周榜 / 领军人物 / 综合热榜）榜首，破平台纪录！ 苏州地区全榜霸榜，感恩全网十多万粉丝同行！
11-03 3298
本文将 Impala 数据存储分区类比宇宙探索，阐述其在大数据中的应用。包括分区策略（时间序列、地域、多级分区）、分区管理（动态增减、数据迁移更新）、分区对查询性能影响（与 Hive 对比、优化技巧）、跨国电商和大型互联网企业案例、鼓励读者分享经验，还介绍下一篇索引优化内容，为数据处理提供指引。
大数据学习所需基本知识以及搭建Hadoop大数据环境过程.docx
08-26
最后，学习编写一键启动脚本来简化集群管理。 总的来说，大数据学习需要扎实的Java基础，熟练的Linux操作技能，以及对Hadoop和Spark等大数据框架的理解。同时，实践经验的积累和不断更新的知识体系将使你在大数据...
大数据新视界 -- 大数据大厂之 Impala 性能提升：解析执行计划优化的神秘面纱（上）（17/30）
【青云交】华为云云享专家 | 阿里云开发者社区专家博主 技术圈个人影响力前 17 | 博客之星 TOP23 优快云 首位四榜（原力榜 / 作者周榜 / 领军人物 / 综合热榜）榜首，破平台纪录！ 苏州地区全榜霸榜，感恩全网十多万粉丝同行！
11-12 1392
本文围绕 Impala 执行计划优化展开，阐述其意义、结构、影响因素、初级策略、资源利用和电信案例。介绍数据分布与统计信息对执行计划的影响，给出分区、更新统计信息等优化方法，还涉及 CPU 和内存资源优化，含丰富代码与案例。旨在帮助提升 Impala 性能。
大数据一些启动脚本和采集脚本
m0_46353400的博客
11-11 1907
-->只是为了自己方便所做的一些记录，仅供参考，欢迎指正<-- 启动脚本： #! /bin/bash case $1 in "start") nohup flume-ng agent --conf /opt/installs/flume1.9/conf --name a1 --conf-file /opt/installs/flume1.9/job/mall2.conf >/opt/installs/flume1.9/out2.txt 2>&1 & ;; "s.
大数据平台启动hadoop脚本
weixin_43813200的博客
10-27 208
启动hadoop HA未完待续 #!/bin/bash echo ********zookeeper启动*********** ssh "root@nodez001" "zkServer.sh start" ssh "root@nodez002" "zkServer.sh start" ssh "root@nodez003" "zkServer.sh start" echo ********zookeeper成功*********** echo ********journalnode启动**********
大数据集群 多服务启动脚本
小P聊技术
01-21 346
1 简介 在大数据集群部署过程中，需要对集群服务启动或者停止，需要同时操作多台机器，可使用集群脚本实现。 2 配置集群hostname 2.1 配置hostname文件 1 服务器hadoop01 [root@localhost ~]# echo hostname1 > /etc/hostname hostname hadoop01 2 服务器hadoop02 [root@localhost ~]# echo hadoop02 > /etc/hostname hostname hado
大数据集群一键启动脚本
caocry的博客
02-11 380
centos一键启动脚本
大数据集群一些启动脚本-shell
Nickkun的博客
11-18 895
本文提供了三个实用的Shell脚本：1）批量管理Zookeeper集群的启动/停止/状态检查；2）查看集群各节点Java进程；3）防火墙端口批量管理脚本，支持端口添加/删除/查看、防火墙启停等操作。这些脚本通过SSH远程执行命令，实现多节点批量操作，简化了集群管理任务。每个脚本都使用数组存储节点IP，支持循环遍历操作，并包含错误处理机制。
使用shell脚本批处理控制大数据环境服务启动停止
四叶草的博客
07-25 888
三台集群机器： master   192.168.168.200 slave1     192.168.168.201 slave2     192.168.168.202 1、start-master.sh #!bin/sh echo "==============================================="echo "=============
大数据常用的集群脚本
qq_45232054的博客
05-07 363
1.创建脚本目录及其脚本 1.1创建脚本目录 1.2配置脚本目录的环境变量 vim /etc/profile 添加 #BIN_HOME export PATH="/home/用户/bin:$PATH" cd /home/ys/ mkdir bin 1.2集群使用ssh时，默认执行文件.bashrc(注：需要将配置文件写入.bashrc) 通过SSH直接执行远程命令和脚本 这种方式会使用Ba...
大数据分析、机器学习、智能化等概念梳理
抱朴守拙
10-20 4244
1 引言最近半年来一直在学习数据分析、机器学习等智能化相关的知识，过程中积累了不少技术和经验，收获很多，启发很大。2 统计工具的学习最初，以数据的关联性分析为切入点，展开分析工作，希望在大量、静态的数据中获取有价值的信息。在这一需求背景下，学习了 R 语言，并通过 R 语言完成了一些简单的分析工作。 图1 R语言编程环境 但 R 语言更专注和适应于统计学领域
Hadoop分布式批量处理脚本xcall.sh
qq_39261894的博客
02-19 333
#!/bin/bash params=$@ i=1 for((i=101 ;i<=103 ;i=$i+1 ));do echo ==========hadoop$i $params========== ssh hadoop$i "source /etc/profile;$params" done chmod 777 xcall.sh 使用：xcall.sh jps
kafka集群启动脚本
coisini.cn记录
09-11 2351
集群启动脚本1.三台主机之间，需要先免密。2.x x1 x2 修改为相应的主机名3. source /etc/profile; （重要）Java环境所在地方4. 为了命令能够找到我们创建的脚本；可创建到以下任一bin目录； 以/usr/bin 为例以kafka集群启动为例：5.给脚本赋予权限6.启动和停止 1.三台主机之间，需要先免密。 2.x x1 x2 修改为相应的主机名 3. source /etc/profile; （重要）Java环境所在地方 4. 为了命令能够找到我们创建的脚本；可创建到以下任一
大数据技术原理与应用（第三版）林子雨教材配套实验答案---实验三 熟悉常用的HBase操作
最新发布
04-01
### 关于《大数据技术原理与应用》第三版林子雨 实验三 HBase操作 实验三通常涉及HBase的操作实践，旨在帮助学生掌握HBase的基本概念及其实际运用。以下是基于已有引用内容以及专业知识整理的相关指导： #### 一、HBase基本概述 HBase是一种高可靠性、高性能、可扩展的分布式列式数据库[^3]。它支持实时读写访问，并常用于大规模数据存储场景。 #### 二、HBase常用命令详解 以下是一些常用的HBase Shell命令及其具体用法： 1. **进入HBase Shell** 使用`$HBASE_HOME/bin/hbase shell`命令启动HBase交互环境。如果启用了Kerberos认证，则需先通过`kinit`完成身份验证[^4]。 2. **查看现有表** 输入`list`即可展示当前所有的HBase表列表。 3. **创建新表** 创建一张名为`t1`的新表，其中包含两个列族`f1`和`f2`，并设置每个列族的最大版本数为2： ```bash create 't1',{NAME => 'f1', VERSIONS => 2},{NAME => 'f2', VERSIONS => 2} ``` 4. **删除指定表** 删除前需要禁用目标表；例如要移除`t1`表，执行如下两条语句： ```bash disable 't1' drop 't1' ``` 5. **查询用户信息** 执行`whoami`来确认当前登录的身份名称: ```bash hbase(main)> whoami ``` #### 三、实验可能覆盖的内容 根据教材特点推测，《大数据技术原理与应用》中的实验三可能会围绕以下几个主题展开练习： - 掌握如何连接到HBase集群； - 学习基础DDL（数据定义语言）指令如建表删表等； - 练习DML（数据操纵语言），比如插入记录、更新字段值或者检索符合条件的结果集； - 验证不同参数配置对于性能的影响分析。 以上提到的具体步骤均可以通过官方文档或者其他权威资料进一步补充学习资源链接地址未提供在此处省略相关内容[^1]。 ```python # 示例Python脚本模拟简单的HBase API调用流程 from happybase import Connection def connect_to_hbase(): connection = Connection('localhost') tables = connection.tables() print(tables) if __name__ == "__main__": connect_to_hbase() ``` 上述代码片段展示了利用HappyBase库实现自动化批量处理任务的一个简单例子。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

未来@音律

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值