Spark
关注
分享
扫一扫
HoldBelief
这个作者很懒，什么都没留下…
展开
-
MR History Server与Spark History Server
MR History Server与Spark History ServerMR History与Spark History Server不是一个东西Hadoop提供的History Server是MR的，不是Yarn的参考：http://blog.youkuaiyun.com/cymvp/article/details/52090348由于MR是Hadoop的默认计算框架，所以YARN的history se...原创 2018-03-15 11:28:03 · 1375 阅读 · 0 评论 -
SparkStreaming&Kafka——Receiver方式
SparkStreaming&Kafka——Receiver方式Github地址https://github.com/holdbelief/spark/tree/master/SparkStreaming/SparkStreamingExamples/SparkStreaming_Kafka/Receiver整体架构执行流程Kafka生产者向Kafka生产消息Producer向不同的Bro...原创 2018-03-13 14:27:39 · 580 阅读 · 0 评论 -
Spark各种架构和提交方式的组合
Spark各种架构和提交方式的组合Spark on Yarn架构+Client提交模式spark-submit --master yarn-client --class org.apache.spark.examples.SparkPi spark-1.6.0/lib/spark-examples-1.6.0-hadoop2.6.0.jar 10或者spark-submit --master ya...原创 2018-03-12 11:30:37 · 481 阅读 · 0 评论 -
SparkStreaming&Kafka——Direct方式
SparkStreaming&Kafka——Direct方式Github地址https://github.com/holdbelief/spark/tree/master/SparkStreaming/SparkStreamingExamples/SparkStreaming_Kafka/Direct整体架构 Reciever模式下，SparkStreaming需要启动一个Recei...原创 2018-03-13 17:29:37 · 565 阅读 · 0 评论 -
Spark troubleshooting
原文地址：https://www.cnblogs.com/haozhengfei/p/07ef4bda071b1519f404f26503fcba44.htmlSpark_总结七_troubleshooting1.yarn-client模式引起网卡流量激增问题？ 一个Driver和Executor中的task频繁进行通信，通信消息特别多，通信的频率特别高，运行完一个stage，接着运行下一个s...转载 2018-03-13 17:59:06 · 395 阅读 · 0 评论 -
SparkStreaming并行度属性设置
SparkStreaming并行度属性设置spark.streaming.blockInterval：该属性是对BatchInterval的进一步细化切分。将一个BatchInterval的数据喜欢切分成更小的block，一个block对应一个Spark Partition。 BatchInterval的数据对应RDDblockInterval的数据对应RDD中的Partition 所以Spark...原创 2018-03-13 20:15:52 · 4754 阅读 · 0 评论 -
占位文章
占位文章占位文章占位文章占位文章占位文章原创 2018-03-21 15:51:36 · 313 阅读 · 0 评论 -
占位文章
占位文章占位文章占位文章占位文章占位文章原创 2018-03-21 15:52:37 · 232 阅读 · 0 评论