SmallScorpion

前段时间刷了一阵子leetcode,除了一些比较常见的对数据的处理，最多的就是关于动态规划了，可能是经过这些题目对我的摧残，在看到刷到一道题中下面这个评论，于是我决定对它下手了，如果你也有同样经历，那么我们一起对它下手另外附上网上我看过得最好得一篇文章:https://www.zhihu.com/question/23995189...

一、解析步骤进入writeSplits()方法1. writeNewSplits -> 新API切片进入writeNewSplits()方法2. input -> InputFormat实例3. InputFormat -> 输入格式的父类进入InputFormat 类中关闭InputFormat 类中4. getSplits() -&gt...

一、源码解析步骤1. 设置断点在Driver的job任务提交打上断点进行Debug调试进入其中(F7:进入； F8:下一步； Alt+Shift+F7:强制进入；Shift+F8:退出)进入waitForCompletion()2. submit() -> 提交任务submit()方法作用是将我们的job提交到yarn集群(现在是本地模式)进入submit()...

基于CentOS 7.2的CDH6.3.2离线安装https://blog.youkuaiyun.com/qq_40180229/article/details/108755530基于CentOS 7.2的CDH 6.3.2完整集群添加https://blog.youkuaiyun.com/qq_40180229/article/details/108756561基于CentOS 7.2的CDH 6.3.2 Hadoop配置https://blog.youkuaiyun.com/qq_40180229/article/details

Spark 部署模式（1）Standalone：独立模式，Spark原生的简单集群管理器，自带完整的服务，可单独部署到一个集群中，无需依赖任何其他资源管理系统，使用Standalone可以很方便地搭建一个集群；（2）Hadoop YARN：统一的资源管理机制，在上面可以运行多套计算框架，如MR、Storm等。根据Driver在集群中的位置不同，分为yarn client和yarn clust...

通讯架构（1）RpcEndpoint：RPC端点。Spark针对每个节点（Client/Master/Worker）都称之为一个Rpc端点，且都实现RpcEndpoint接口，内部根据不同端点的需求，设计不同的消息和不同的业务处理，如果需要发送（询问）则调用Dispatcher；（2） RpcEnv：RPC上下文环境，每个RPC端点运行时依赖的上下文环境称为RpcEnv；（3）Dispat...

进入启动命令查看start-all.sh脚本信息查看spark-config.sh加载信息查看start-master.sh脚本信息spark-daemon.sh查看bin/spark-class添加一行打印，查看信息echo "${CMD[@]}" >> ./test.log启动bin/master-all.sh 查看test.log/o...