- 博客(6)
- 收藏
- 关注
原创 Linux命令帮助
Linux命令教程1.帮助命令1.1 help命令## 语法格式:命令 --help# 作用 :查看某个命令的帮助信息# 示例 : # ls --help 查看ls命令的帮助信息 # netstat --help 查看netstat命令的帮助信息1.2 man命令# 语法格式 : man命令# 作用 : 查看某个命令的帮助手册# 示例 : # man ls
2022-04-04 16:40:09
1390
原创 Spark on yarn 任务提交流程
Spark on yarn 任务提交流程Spark on YARN是spark运行在yarn上,其中有yarn-client和yarn-cluster两种模式,它们的区别在于Driver运行的结点位置yarn-client 模式yarn-client模式下的spark的Driver运行在客户端,适用于交互、调试,希望立即看到app的输出。yarn-cluster 模式yarn-cluster模式下的spark的Driver运行在ResourceManager(以下简称RM)启动的Applicat
2021-06-02 10:04:32
651
原创 Centos7搭建Ambari-2.7.3+HDP-3.1.0集群
Centos7搭建Ambari-2.7.3+HDP-3.1.0集群一.目的为了实现公司项目对海量业务数据、文件进行存储,系统间共享,并且达到以下几点要求,可行方案hadoop集群。数据安全需要实现数据冗余,避免数据的单点故障。可线性扩展当数据增长到TB,甚至PB以上时,存储方案需要支持可线性扩展。存储高可用某个存储服务宕掉时,不影响整体存储方案的可用性能性能达到应用要求。二. 版本选择目前而言,不收费的Hadoop版本主要有三个(均是国外厂商),分别是:Apache(最原始的版
2021-05-25 14:39:58
624
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人