spark、Hadoop等部分相关进程注解

最新推荐文章于 2025-03-08 17:17:11 发布
最新推荐文章于 2025-03-08 17:17:11 发布
阅读量524 收藏 1
点赞数
分类专栏： Hadoop spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/u013303361/article/details/80481523
版权

pid(jps例子)进程名意义注
5178Masterspark master 
6633Workspark slave一般跟master分开
99CoarseGrainedExecutorBackendspark Executor进程standalone 和yarn一样的
4147Kafkakafka 
6131QuorumPeerMainzookeeper进程每台都有
6453HRegionServerHBASE master/slave进程master/slave两者都有
6317HMasterHBASE master 
    
3377DataNodeHadoop 数据块存放slave节点进程一般跟master分开
3276NameNodeHadoop master 元数据节点进程active
3525SecondaryNameNodeHadoop standy by节点 
13031JournalNodeHadoop HA同步数据进程 
123ResourceManagerhadoop yarn master进程 
336NodeManager Hadoop yarn slave进程master/slave两者都有
    
6748SqlLine应该是Phoenix进程不用管






hadoop组件---spark理论----spark on k8s模式的三种方式全面了解
直到世界的尽头
01-19 5943
我们在之前的文章中 已经了解了 spark支持的模式，其中一种就是 使用k8s进行管理。 hadoop组件—spark----全面了解spark以及与hadoop的区别 是时候考虑让你的 Spark 跑在K8s 上了 spark on k8s的优势–为什么要把Spark部署在k8s上 大数据和云计算一直分属两个不同的领域。大数据主要关注怎么将数据集中起来，挖掘数据的价值；云计算主要关注怎么更高效地...
HADOOP内容总结（Apache Hadoop）。
weixin_45027256的博客
07-29 738
Hadoop是一个由Apache基金会开发的分布式系统架构，主要解决海量数据的存储和海量数据的计算问题。Hadoop1.xMapReduce计算+资源调度MapReduce计算Yarn资源调度HDFS数据存储HDFS数据存储Common辅助工具Common辅助工具Hadoop Dsitributed File System，简称HDFS，是一个分布式文件系统。主要包含三个节点，分别为NameNode、DataNode和Secondary NameNode。
Spark[一]——Spark的进程们[Driver、Master、Worker、Executor]
qq_35583915的博客
10-29 2987
Spark[一]——Spark的进程们[Driver、Master、Worker、Executor] 一、背景知识 1.进程 进程是一个具有一定独立功能的程序在一个数据集上的一次动态执行过程，是操作系统进行资源分配和调度的一个独立单位，是应用程序运行的载体，进程包括程序、数据集合和进程控制块三部分。程序用于描述进程要完成的功能，是控制进程执行的指令集；数据集合石程序在执行时所需要的数据和工作区；程序控制块包含进程的描述信息和控制信息，是进程存在的唯一标识。 2.线程 线程是程序执行中一个单一的顺序执行控制流
spark 进程
09-21 1636
History Server 上有一个相关进程，启动用户是spark，父进程是cloudera-scm-agent。 提交spark程序的机器有一个进程，启动用户是提交程序的用户，这里是hdfs，父进程是1，系统内核进程。线程可以直接看到SparkSubmit相关信息。 Executor(Streaming任务) 进程的启动过程：(yarn-cluster模式的Driver 也是同样过程。)
Spark的启动进程详解
weixin_30855099的博客
12-14 372
Master和Worker是执行任务之前存在的进程 (类似于公司) Driver和Excutor是任务执行之后存在的进程(类似于公司接到项目后才成立的项目小组) 启动步骤: 启动Master资源管理进程和Work进程 有任务来执行时会启动Driver进程,然后向Master资源管理进程进行注册并申请资源 Master资源管理进程分配资源给Worker进程 Work进程开启Execu...
Spark——KNN代码及注解
赵昕彧
05-12 535
一、简介 KNN及K邻近分类算法，通过搜索K个最相似的实例（邻居）的整个训练集并总结那些K个实例的输出变量，对新数据点进行预测。而寻找邻近点的距离公式一般使用欧式距离公式。 二、示例 1、数据 该数据是根据鸢尾花特征来区分种类的数据。前四个特征为花萼长度，花萼宽度，花瓣长度，花瓣宽度，最后一个为种类。 该数据分为训练数据与测试数据。 训练数据 5.1,3.5,1.4,0.2,setosa 4.9,3,1.4,0.2,setosa 4.7,3.2,1.3,0.2,setosa 4.6,3.1,1.5,.
spark-core05 spark运行进程解读
weixin_43866666的博客
02-02 136
spark运行进程解读 Application => driver programe + n executors on cluster 都是进程 Driver program => main() + SparkContext Cluster manager => standalone | mesos | YARN Deploy mode => client | cluster 模式 Worker node => run application Executor => 进
操作系统+虚拟机+hadoop+spark集群搭建
qq_74103666的博客
03-08 696
主节点运行：/home/bigdata/spark-2.4.5-bin-hadoop2.7/sbin/start-all.sh。软件包Spark-2.4.5 spark-2.4.5-bin-hadoop2.7.tgz。配置文件在'/home/bigdata/spark-2.4.5-bin-hadoop2.7/conf。下载镜像 CentOS-7-x86_64-DVD-1810-centos7.6.iso。-- 配置 HDFS 网页登录使用的静态用户为 root -->
Spring Data在大数据环境下的应用：拥抱Hadoop与Spark的实战技巧
[Spring Data在大数据环境下的应用：拥抱Hadoop与Spark的实战技巧](https://websparrow.org/wp-content/uploads/2020/03/spring-data-jpa-derived-query-methods-example-1.png) # 1. 大数据环境与Spring Data概述 ...
【Hadoop】三、数据仓库基础与Apache Hive入门
博客包含书籍、B站、其他博主博客等内容，只为了记录笔记，作业，问题，软件配置等，为了以后方便查阅，如有侵权，请联系删除
05-21 1277
什么是HiveApache Hive是一款建立在Hadoop之上的开源数据仓库系统，可以将存储在Hadoop文件中的结构化、半结构化数据文件映射为一张数据库表，基于表提供了一种类似SQL的查询模型，称为Hive查询语言（HQL），用于访问和分析存储在Hadoop文件中的大型数据集。Hive核心是将HQL转换为MapReduce程序，然后将程序提交到Hadoop群集执行。Hive由Facebook实现并开源。为什么使用Hive使用Hadoop MapReduce直接处理数据所面临的问题。
linux中spark启动进程命令以及顺序
m0_45502588的博客
01-10 1597
linux中spark启动进程命令以及顺序 1）首先启动hadoop ① 在Master节点上进入hadoop安装目录下，执行sbin/start-dfs.sh ② 在Slave1节点上进入hadoop安装目录下，执行sbin/start-yarn.sh ③ 在Master节点上进入hadoop安装目录下，执行sbin/mr-jobhistory-daemon.sh start historyse...
Spark决策树代码及注解
赵昕彧
05-18 279
一、简介 决策树是一种简单但广泛使用的分类器，它通过训练数据构建决策树，对未知的数据进行分类。 二、示例 1、数据 以下是示例数据，该数据下载地址：机器学习文件数据包。 0 128:51 129:159 130:253 131:159 132:50 155:48 156:238 157:252 158:252 159:252 160:237 182:54 183:227 184:253 185:252 186:239 187:233 188:252 189:57 190:6 208:10 209:6.
Spark入门
blackrock233的博客
03-04 2551
Spark的基本使用和一些常见问题
Hadoop HA集群两个NameNode都是standby或者主NameNode是standby，从NameNode是active的情况集锦
热门推荐
想你依然心痛的博客
08-17 5万+
这里说一下配置Hadoop HA集群可能出现的两种情况，第一种就是两个NameNode都是standby，第二种就是主Master是standby，从Master是active。
Spark伪分布式启动只有jps没有Master和Worker
qq_37268093的博客
05-26 7186
配置Spark伪分布式环境的时候，source /etc/profile之后，jps查看进程中只有jps进程，没有Master和Worker进程。造成这种情况的原因就是配置spark-env.sh和/etc/profile文件的时候Spark主节点的IP和Spark本地的IP配置错误。 解决办法： 首先查看linux的ip 输入语句：ifconfig 第一个红框标记的是Spark主节点的IP，第二个红框标记的是Spark本地的IP。 其次，修改配置文件的相关内容。 进入spark...
Spark Standalone 全分布模式安装过程中常见问题
m0_61232019的博客
10-11 1554
1.启动了spark分布之后没有master，worker进程 2. 启动spark集群的时候提示“main” java.lang.UnsupportedClassVersionError:org/apache/spark/launcher/Main:Unsupported major.mior version 52.0 3. 访问sparkUI界面时出现无法访问此网站，ip拒绝了连接请求 4. 启动saprk-shell 的时候提示无法分配内存或spark-shel：44:6983 以杀死
Spark总结整理(一)：Spark内核架构（Spark从启动到执行的流程）
super_wj0820的博客
09-04 501
本篇文章主要介绍Spark的内核架构，详细介绍从Saprk程序编写完成使用Spark submit(shell)的方式提交到完成任务的流程 Spark任务详解： 将编写的Spark程序打成 jar 包 调用 spark-submit 脚本提交任务到集群上运行 运行sparkSubmit的main方法，在这个方法中通过反射的方式创建我们编写的主类的实例对象，然后调用main方法，开始执...
Spark集群启动后进程的简单介绍
大冰的小屋
07-24 9517
刚开始学习Spark，首先看一下Spark集群启动之后都会产生哪些进程，方便查看集群是否启动正常。首先介绍下我的Spark集群是以Hadoop的HDFS作为分布式文件存储系统，资源管理系统既可以使用Hadoop的Yarn，也可以使用Spark自带的Standalone模式，当然也可以使用其他的资源管理系统，例如Mesos、EC2等。我的测试集群是一个master节点和4个worker节点启动HDFS
springBoot 对接spark
最新发布
03-14
这部分可能需要提到spark-submit命令以及相关的参数。 此外，需要考虑的其他注意事项，比如性能优化、依赖冲突、资源管理和日志配置。这些是用户在实际操作中容易遇到的问题，提前指出可以帮助他们避免常见陷阱。 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值