<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[minge_se的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/minge_se</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; minge_se]]></copyright><item><title><![CDATA[spark入门之spark Driver Web UI]]></title><link>https://blog.youkuaiyun.com/minge_se/article/details/79146737</link><guid>https://blog.youkuaiyun.com/minge_se/article/details/79146737</guid><author>minge_se</author><pubDate>Wed, 24 Jan 2018 11:26:09 +0800</pubDate><description><![CDATA[*注：本文为本人结合网上资料翻译 Apache Spark 2.x for Java developers 一书而来，仅作个人学习研究之用，支持转载，但务必注明出处。



一、概述

本节将提供Spark driver‘s UI的一些重要方面。 我们将在Spark UI上看到我们使用Spark shell执行的作业的统计信息。


在启动spark-shell时，调试信息会给出]]></description><category></category></item><item><title><![CDATA[spark入门之Spark 组件（components）]]></title><link>https://blog.youkuaiyun.com/minge_se/article/details/79137085</link><guid>https://blog.youkuaiyun.com/minge_se/article/details/79137085</guid><author>minge_se</author><pubDate>Tue, 23 Jan 2018 11:03:21 +0800</pubDate><description><![CDATA[*注：本文为本人结合网上资料翻译 Apache Spark 2.x
 for Java developers 一书而来，仅作个人学习研究之用，支持转载，但务必注明出处。

我们先来了解一些spark相关的术语：


Driver：这是监督Spark作业或程序端到端执行的主程序。 它与集群的资源管理器进行资源的协商，并将程序编排成尽可能小的数据本地并行编程单元。

Executors]]></description><category></category></item><item><title><![CDATA[Spark入门之REPL/CLI/spark shell 快速学习]]></title><link>https://blog.youkuaiyun.com/minge_se/article/details/79130463</link><guid>https://blog.youkuaiyun.com/minge_se/article/details/79130463</guid><author>minge_se</author><pubDate>Mon, 22 Jan 2018 16:38:03 +0800</pubDate><description><![CDATA[*注：本文为本人结合网上资料翻译 Apache
 Spark 2.x for Java developers 一书而来，仅作个人学习研究之用，支持转载，但务必注明出处。

一、前言
本章的目的是提供指导，以便读者熟悉独立模式下安装Apache Spark的过程及其依赖关系。 然后，我们将开始与Apache Spark的第一次交互，通过使用Spark CLI（称为REPL）进行一些练习。
]]></description><category></category></item><item><title><![CDATA[Spark基础：java回顾之泛型与接口]]></title><link>https://blog.youkuaiyun.com/minge_se/article/details/79103768</link><guid>https://blog.youkuaiyun.com/minge_se/article/details/79103768</guid><author>minge_se</author><pubDate>Fri, 19 Jan 2018 10:26:51 +0800</pubDate><description><![CDATA[*注：本文为本人结合网上资料翻译 Apache Spark 2.x for Java developers 一书而来，仅作个人学习研究之用，支持转载，但务必注明出处。一、泛型（Generics）1.简介Generics在java 1.5中被引入。Generics帮助用户创建定义时拥有抽象类型的通用代码，那个抽象类型能够在实现时被任何一种具体类型所代替。举个例子，list接口或者它的实现：Array]]></description><category></category></item><item><title><![CDATA[Spark2.x基础学习之RDD理解]]></title><link>https://blog.youkuaiyun.com/minge_se/article/details/79097192</link><guid>https://blog.youkuaiyun.com/minge_se/article/details/79097192</guid><author>minge_se</author><pubDate>Thu, 18 Jan 2018 15:57:27 +0800</pubDate><description><![CDATA[一、RDD介绍RDD:Resilient Distributed Datasets弹性分布式数据集——对于内存集群运算（In-Memory Cluster Computing）的一个容错（Fault-Tolerant）抽象Spark是一个函数式编程的范例（functional programming paradigm），函数式编程的一个关键概念是不变的（immutable）对象，RDD也是一个im]]></description><category></category></item></channel></rss>