- 博客(7)
- 收藏
- 关注
RSS订阅原创 Spark On Yarn Cluster模式执行流程
1，客户端向resource manager申请资源，返回一个application id2，客户端上传spark jars下的jar包，自己写的jar包和配置3，resource manager随机找一个资源充足的node manager4，然后通过rpc让noda manager从hdfs上下载 jar包和配置，启动application master5，application master想resource manager申请资源6，resource manager中的resource sc
2021-03-16 09:08:15
270
原创 linux常用命令
cd 切换目录ls 显示目录文件pwd 显示当前工作目录mkdir 创建新目录touch 创建文件echo 将内容打印到控制台cp 复制文件或目录mv 移动文件或目录rm 删除文件cat 显示文件内容head 查看文件前几行tail 查看文件后几行ln 产生链接文件whereis 搜索命令所在目录shutdown -h 现在关机ctrl + r 搜索以前命令top 任务管理器vi 文本编辑...
2021-03-13 21:23:51
123
原创 yarn的调度资源原理
1,yarn的客户端提交计划信息给resource manager2，resource manager接收到请求后，调用application master manager向node manager发送请求，申请一个容器（container），并要求这个容器（container）启动application master3，application master启动后会向resource manager申请注册 ，然后为自己的task申请容器（container）4，resource manager接收到
2021-03-13 19:30:49
162
原创 HDFS的工作机制和原理（简化）
工作机制1，hdfs集群主要分为两大角色：namenode和datanode（secondary namenode ）2，namenode主要负责整个文件系统的元数据信息3，datanode主要负责文件数据块的管理4，文件会按照固定大小（blocksize）切分成若干块分布式存储在多台datanode5，每一个文件块可以有多个副本，存放在不同的datanode上6，Datanode会定期向Namenode汇报自身所保存的文件block信息，而namenode则会负责保持文件的副本数量hdfs写
2021-03-12 22:35:59
291
原创 Flink Source和Flink Sink和自定义SinkSource
基于File的数据源readTextFile：使用TextInputFormat方式读取文本文件，并将以String返回val env = StreamExecutionEnvironment.getExecutionEnvironment val inputStream = env.readTextFile(文件路径) inputStream.print() env.execute()基于Socket的数据源socketTextStream：从Socket中读取信息，元素可以用分隔符分开val
2021-03-01 16:50:14
284
原创 Flink实现Wordcount
flink-java实现Wordcount（实时）public class WordCount { public static void main(String[] args) throws Exception { //1.创建执行环境 StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); //2.创建DStream DataStreamSource<String> line
2021-02-28 19:03:47
180
原创 Flink部署 集群检测 任务提交
Flink的部署1.下载Flink安装包https://www.apache.org/dyn/closer.lua/flink/flink-1.12.1/flink-1.12.1-bin-scala_2.12.tgz2.上传flink安装包到Linux服务器上3.解压flink安装包tar -xvf flink-1.9.1-bin-scala_2.11.tgz -C /opt/apps/4.修改conf目录下的flink-conf.yaml配置文件#指定jobmanager的地址 jobmana
2021-02-28 12:42:54
433
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人