Spark
关注
分享
扫一扫
文章平均质量分 95
gssgch
更多视频，欢迎访问：https://space.bilibili.com/383891492
展开
-
Spark2.x 如何实现自定义排序（利用元组，类--隐式转换Ordering,Ordered等实现）
版权声明：本文为博主原创文章，未经博主允许不得转载!!欢迎访问:https://blog.youkuaiyun.com/qq_21439395/article/details/80200790交流QQ: 824203453 需求：对于有复杂排序条件的需求，可以利用自定义排序来实现，同时可以使用多种方案实现自定义排序需求。对指定的数据（字段分别为：名称 年龄 颜值，数据以空...原创 2018-05-04 22:29:28 · 7283 阅读 · 0 评论 -
Spark-1.6.0之Application运行信息记录器JobProgressListener
JobProgressListener类是Spark的ListenerBus中一个很重要的监听器，可以用于记录Spark任务的Job和Stage等信息，比如在Spark UI页面上Job和Stage运行状况以及运行进度的显示等数据，就是从JobProgressListener中获得的。另外，SparkStatusTracker也会从JobProgressListener中获取Spark运行信息...转载 2018-07-09 22:56:59 · 305 阅读 · 0 评论 -
Spark序列化专题一 ---- 数据序列化反序列化位置验证
版权声明：本文为博主原创文章，未经博主允许不得转载!!欢迎访问:https://blog.youkuaiyun.com/qq_21439395/article/details/81266889交流QQ: 824203453 1.java中的序列化的回顾val stream = new ObjectOutputStream(new FileOutputStream("f:/perso...原创 2018-07-28 23:59:59 · 3469 阅读 · 1 评论 -
Spark从入门到精通一----spark简介，spark的4种部署模式--spark2.x集群搭建-standalone集群
版权声明：本文为博主原创文章，未经博主允许不得转载!!欢迎访问:https://blog.youkuaiyun.com/qq_21439395/article/details/82778934交流QQ: 824203453Spark概述 什么是Spark（官网：http://spark.apache.org） spark中文官网：http://spark.apachecn.org ...原创 2018-09-19 21:52:06 · 757 阅读 · 0 评论 -
Spark从入门到精通二----spark任务的提交方式spark-shell/spark-submit----------各种版本的wordcount
版权声明：本文为博主原创文章，未经博主允许不得转载!!欢迎访问:https://blog.youkuaiyun.com/qq_21439395/article/details/82779266交流QQ: 824203453 执行Spark程序使用spark-shell命令和spark-submit命令来提交spark任务。当执行测试程序，使用spark-shell，spark的交互式命...原创 2018-09-19 22:12:51 · 4240 阅读 · 0 评论 -
Spark最新2.x源码一SparkRPC背景简介--sparkRPC的发展演化史
版权声明：本文为博主原创文章，未经博主允许不得转载!!欢迎访问:https://blog.youkuaiyun.com/qq_21439395/article/details/82817475交流QQ: 824203453 Spark RPC简介 RPC(Remote Procedure Call Protocol)--远程过程调用协议RPC是分布式项目的基石，Spark RPC被dep...原创 2018-09-22 20:49:52 · 399 阅读 · 0 评论 -
Spark最新2.x源码二-----------SparkRPC架构-RPC发展史--RpcEndpoint---RpcEnv---RpcEndpointRef
版权声明：本文为博主原创文章，未经博主允许不得转载!!欢迎访问:https://blog.youkuaiyun.com/qq_21439395/article/details/82817538交流QQ: 824203453 Spark Rpc 架构 演变历程简述： Actor中有3个重要概念，ActorSystem、Actor和ActorRef 。spark1.4规范了rpc的...原创 2018-09-22 21:03:25 · 426 阅读 · 0 评论 -
Spark从入门到精通三------scala版本的wordcount---java版本的wordcount----java-lambda版本的wordcount
版权声明：本文为博主原创文章，未经博主允许不得转载。欢迎访问:https://blog.youkuaiyun.com/qq_21439395/article/details/83590992交流QQ: 824203453 在IDEA中编写WordCount程序 spark shell仅在测试和验证我们的程序时使用的较多，在生产环境中，通常会在IDE中开发程序，然后打成jar包，然后提...原创 2018-10-31 21:26:20 · 242 阅读 · 0 评论 -
Spark从入门到精通四-----spark集群各角色简介
版权声明：本文为博主原创文章，未经博主允许不得转载。欢迎访问:https://blog.youkuaiyun.com/qq_21439395/article/details/83591020交流QQ: 824203453 常驻进程：Master进程 Worker进程当我们提交spark任务的时候（spark-shell ,spark-submit）会生成了一个Applicati...原创 2018-10-31 21:31:50 · 457 阅读 · 0 评论 -
Spark从入门到精通五----RDD的产生背景---创建方式及分区说明
版权声明：本文为博主原创文章，未经博主允许不得转载！欢迎访问：https://blog.youkuaiyun.com/qq_21439395/article/details/83591136交流QQ: 824203453弹性分布式数据集RDD RDD概述 RDD论文，中文版 ：http://spark.apachecn.org/paper/zh/spark-rdd.html ...原创 2018-10-31 21:35:38 · 358 阅读 · 0 评论 -
Spark事件体系---Spark ListenerBus 和 MetricsSystem 体系分析
摘要： Spark 事件体系的中枢是ListenerBus，由该类接受Event并且分发给各个Listener。MetricsSystem 则是一个为了衡量系统的各种指标的度量系统。Listener可以是MetricsSystem的信息来源之一。他们之间总体是一个互相补充的关系。前言监控是一个大系统完成后最重要的一部分。Spark整个系统运行情况是由ListenerBus以及MetricsSyst...转载 2018-07-09 21:53:42 · 250 阅读 · 0 评论 -
spark源码 -- spark ListenerBus 监听器
Spark 源码中对livelistenerBus进行了这样的注释：即所有spark消息SparkListenerEvents 被异步的发送给已经注册过的SparkListeners. 在SparkContext中, 首先会创建LiveListenerBus实例,这个类主要功能如下:保存有消息队列,负责消息的缓存保存有注册过的listener,负责消息的分发listener链表保存在Listene...转载 2018-07-09 21:30:10 · 370 阅读 · 0 评论 -
sparkstreaming多consumer消费kafka报错问题
版权声明：本文为博主原创文章，未经博主允许不得转载!!欢迎访问:https://blog.youkuaiyun.com/qq_21439395/article/details/80428047交流QQ: 824203453 版本： sparkstreaming 2.2 kafka 0.10sparkstreaming 集成kafka后（Direct模式），同一个groupi...原创 2018-05-23 23:36:04 · 6826 阅读 · 0 评论 -
SparkOnYarn专题一SparkOnYarn环境搭建
版权声明：本文为博主原创文章，未经博主允许不得转载!!欢迎访问:https://blog.youkuaiyun.com/qq_21439395/article/details/80678372交流QQ: 824203453欢迎关注B站，收看更多视频内容：https://space.bilibili.com/383891492hadoop版本： 2.8.0 spark 版本： 2...原创 2018-06-13 14:15:33 · 17932 阅读 · 2 评论 -
SparkOnYarn专题二---以Cluster模式和Client模式下的任务提交
版权声明：本文为博主原创文章，未经博主允许不得转载!!欢迎访问:https://blog.youkuaiyun.com/qq_21439395/article/details/80678392交流QQ: 824203453 hadoop版本： 2.8.0 spark 版本： 2.2.0 1.运行spark on yarn 任务简介 yarn集群运行spark任务有两种模...原创 2018-06-13 14:16:35 · 9370 阅读 · 0 评论 -
SparkOnYarn专题三--Sparkonyarn运行机制详解
版权声明：本文为博主原创文章，未经博主允许不得转载!!欢迎访问:https://blog.youkuaiyun.com/qq_21439395/article/details/80678415交流QQ: 824203453 hadoop版本： 2.8.0 spark 版本： 2.2.0 1.Cluster模式运行机制：1.2 原理图： 1.2 具体过程：S...原创 2018-06-13 14:18:17 · 7297 阅读 · 0 评论 -
SparkOnYarn专题四--cluster模式和client模式资源分配的详解
版权声明：本文为博主原创文章，未经博主允许不得转载!!欢迎访问:https://blog.youkuaiyun.com/qq_21439395/article/details/80678493交流QQ: 824203453 hadoop版本： hadoop 2.8.0 spark版本： spark2.2.01. yarn中容器的资源分配说明在yarn集群中，对每一个请求的容器...原创 2018-06-13 14:22:28 · 10274 阅读 · 0 评论 -
Spark-SparkSql中利用ConfigFactory获取配置文件详解
版权声明：本文为博主原创文章，未经博主允许不得转载!!欢迎访问:https://blog.youkuaiyun.com/qq_21439395/article/details/80678524交流QQ: 824203453 1. 获取配置文件中的配置1.1. 简述在实际的开发中，工程中的一些配置会放在classpath下的配置文件中，然后在程序代码中，会对配置文件进行加载使用。...原创 2018-06-13 14:24:10 · 11660 阅读 · 1 评论 -
Spark2.x 内存管理之---OFF_HEAP
版权声明：本文为博主原创文章，未经博主允许不得转载!!欢迎访问:https://blog.youkuaiyun.com/qq_21439395/article/details/80773121交流QQ: 824203453 1. Spark 内存管理之—OFF_HEAP1.1. 存储级别简介Spark中RDD提供了多种存储级别，除去使用内存，磁盘等，还有一种是OFF_H...原创 2018-06-22 14:19:24 · 7491 阅读 · 0 评论 -
Apache Spark 内存管理详解
Spark 作为一个基于内存的分布式计算引擎，其内存管理模块在整个系统中扮演着非常重要的角色。理解 Spark 内存管理的基本原理，有助于更好地开发 Spark 应用程序和进行性能调优。本文旨在梳理出 Spark 内存管理的脉络，抛砖引玉，引出读者对这个话题的深入探讨。本文中阐述的原理基于 Spark 2.1 版本，阅读本文需要读者有一定的 Spark 和 Java 基础，了解 RDD、Shuff...转载 2018-06-22 17:27:25 · 5750 阅读 · 0 评论 -
启动hive报错----缺少spark-assembly-*.jar
版权声明：本文为博主原创文章，未经博主允许不得转载!!欢迎访问:https://blog.youkuaiyun.com/qq_21439395/article/details/80710169交流QQ: 824203453 操作版本： hive版本 1.2.1 spark版本 2.2.0启动hive时，报如下错误提示： 问题剖析： 启动hive，提示找不到 spar...原创 2018-06-15 22:17:59 · 7490 阅读 · 1 评论 -
Spark从入门到精通六------RDD的算子
版权声明：本文为博主原创文章，未经博主允许不得转载！欢迎访问：https://blog.youkuaiyun.com/qq_21439395/article/details/83591271交流QQ: 824203453RDD编程API RDD算子 算子是RDD中定义的方法，分为转换(transformantion)和动作(action)。Tranformation算子并不会触发Sp...原创 2018-10-31 21:43:01 · 423 阅读 · 0 评论