sun_code的博客

spark yarn集群（二） 现阶段公司常用的是hadoop环境，spark可以使用yarn进行资源管理，所以今天准备搭建一套spark-yarn集群。 前言 目前已准备好hadoop集群，节点如下 主机名 角色 spark NameNode,ResourceManager spark-w1 DataNode,NodeManager spark-w2 DataNode,NodeManager 开始spark安装 1.下载spark包 这次采用的是spark-3.1.2-bin-

spark初识（一）： 1、官网的spark包中pre-build with user provider与pre-build for Apache hadoop3.2什么区别？ 2、spark是否使用是否必须安装hadoop？ 3、第一个wordcount例子提交集群 开始解惑(单纯个人理解)： 1、spark的下载包区别，spark是否使用是否必须安装hadoop？ 我的理解是两个包（with user provider与没有）区别不是太大，假如 使用搭建spark集群的话都能使用，注意版本是否与had

spark总结（三）： 多总结，养成好习惯 spark三大数据结构： 1、 RDD：弹性分布式数据集 2、 累加器：分布式共享只写变量 3、 广播变量：分布式共享只读变量 RDD特点： 1、RDD只是封装了计算逻辑，并不保存数据； 2、可分区、并行计算； 3、分为转换算子和行动算子，只有到行动算子处才会真正出发执行； 转换算子：如（map、flatmap、reduceByKey等等） 行动算子：如（collect、save等等） 累加器特点： 广播特点： spark总结： 1、算子意外的代码都是在Driv

Spark运行出现java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z错误 最近下载了下spak，跑个hello word小Demo，准备如下门，使用的是local方式的，在idea中跑wordcount，就出现了上述问题。按照网上说的，hadoop.ddl和winutils.exe都放到hadoop的bin下面了，而且还根据还放到了C:/win