IT_NEU_Lee的博客

今天突然想到这个问题   但网上都是些复制粘贴的内容    不能很好地解答   经过查找资料   我在这里给出我的说明  仅供参考：      尽管Spark相对于Hadoop而言具有较大优势（速度快），但Spark并不能完全替代Hadoop，主要用于替代Hadoop中的MapReduce计算模型。（spark中也有MapReduce 但还有更多的用于处理的算子  相对来说处理更加多样化   更重...

不同的运行模式的主要区别就是他们有自己特定的资源分配和任务调度模块，这些模块用来执行实际的计算任务。常用spark-submit提交spark application 格式如下submit可选参数如下：  standalone模式：资源调度是spark框架自己实现，节点分为master和worker节点如果是运行spark-shell等交互式的运行spark任务，那...

查看日志 发现是Exception in thread "main" java.lang.reflect.InvocationTargetException 然后后面还有fail on connection 这个大概是接口防火墙错误了 我检查之后 端口没有被占用 ，防火墙也关闭了 那怎么回事呢？后来才发现，因为我配置historyserver的存储目录是hdfs:/...

https://blog.youkuaiyun.com/hellozhxy/article/details/80483376其中 deploy-mode 可以是cluster 和client形式 两者有什么区别呢：请看https://blog.youkuaiyun.com/Trigl/article/details/72732241...

安装hadoop 启动后发现成功 但之后因为某些原因重新启动 发现重新启动不起来了datanode和namenode都没有了 怎么找也找不到 但可以看到nodeManager还在 这是个什么幺蛾子我重新删除log tmp文件夹 然后format 啊哈 没有一点用最后发现后台进程中JVM占用了50010端口 这我就知道了 因为之前没有合理的关闭ha...

https://blog.youkuaiyun.com/hjw199089/article/details/77938688

使用spark进行wordcount后可以通过Linux自带的wc命令进行验证比如 spark命令是求出某个文档中spark的数量   使用wc验证    grep spark README.md | wc   求出README.md中spark的数量 下面介绍一下用到的grep 和 wc命令grep (global search regular expression(RE) an...

spark的RDD是一个分布式对象集合，每个RDD可以分为多个片（partitions）。分片可以在集群环境的不同节点上计算。创建RDD的两种方式：加载外部数据集或者在驱动程序中部署对象集合。1通过加载一个文本文件作为RDD2 现有的内存集合把他传递给SparkContext的并行化方法。在shell中快速创建RDD 我们知道，RDD有两种操作  转换和动作，RDDs在...

SparkContext负责与ClusterManager通信，进行资源的申请 任务的分配和监控 Worker:集群中任何可以运行appliction代码的节点，类似于yarn中的nodemanager。共享变量：在spark application 运行时，可能需要共享一些变量，提供给task或者driver使用。1可以缓存到各个节点的广播变量 2 只支持加法操作的可以实现求和的累加...

spark上下文对象，是spark程序的主入口点，负责连接到spark cluster。    一旦有了上下文，就可以创建RDD，子集群上创建累加器和广播变量每个jvm只能激活一个sparkcontext，创建新的时候必须停止前一个sparkcontext需要传入sparkconf   ，用来设置spark参数，参数是kv对RDD：是不可变的，可分区的元素集合，可进行并行操作。该类包含了用于所有R...

One stack to rule them all！先来看一下：MapReduce的流程图：首先从hdfs上取来数据，map任务加载进来解析成kv形式，通过inputformat格式进行解析，然后在环形缓冲区进行缓存排序，然后把排好序的文件分发到磁盘上面，通过partitions进行分片，然后把一片片已经内部排好序的分片传到下一个reduce上去，然后merge合成同一个大文件，然后reduce...

https://blog.youkuaiyun.com/u012373815/article/details/53266301

查看内存插槽数:sudo dmidecode|grep -P -A5 "Memory\s+Device"|grep Size|grep -v Range 查看最大容量:sudo dmidecode | grep -P 'Maximum\s+Capacity'

每个应用在一个WorkerNode上只会有一个Executor。每个partition都会由一个task负责运行，有多少partition就有多少task。DAGScheduler给TaskScheduler发送任务时候以stage为单位提交的TaskSet 其实就是task组成的一个数组...

SQL  实时数据流处理  机器学习 图计算 4大子框架1图计算GraphX,下面是一栈式解决GraphX和GraphLab的对比  相比之下  虽然GraphX没有GraphLab快 但一栈式解决让整体更好图存储模式：巨型图的存储有边分割（每个顶点都存储一次，但边可能被分到不同的机器，如果基于边的计算，那么跨机器通信变大）和点分割（边只存储一次） 2实时流处理框架spark ...

弹性分布式数据集  RDD(只读，可分区)  这个数据集的部分或者全部可以缓存在内存中。所谓弹性，是指内存不够时可以与磁盘进行交换。RDD 作为数据结构，本质上是一个只读的分区记录集合。一个rdd可以包含多个分区，每个分区就是一个数据集片段。 宽依赖和窄依赖的区别：narrow dependecies 可以支持同一个cluster node 还是哪个以pipeline形式执行多条命...