<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[涛哥的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/r02221</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; r02221]]></copyright><item><title><![CDATA[spark-sql流程解析]]></title><link>https://blog.youkuaiyun.com/r02221/article/details/79317502</link><guid>https://blog.youkuaiyun.com/r02221/article/details/79317502</guid><author>r02221</author><pubDate>Mon, 12 Feb 2018 16:32:10 +0800</pubDate><description><![CDATA[最近想来，大数据相关技术与传统型数据库技术很多都是相互融合、互相借鉴的。传统型数据库强势在于其久经考验的SQL优化器经验，弱势在于分布式领域的高可用性、容错性、扩展性等，假以时日，让其经过一定的改造，比如引入Paxos、raft等，强化自己在分布式领域的能力，相信一定会在大数据系统中占有一席之地。相反，大数据相关技术优势在于其天生的扩展性、可用性、容错性等，但其SQL优化器经验却基本全部来自于传统...]]></description><category></category></item><item><title><![CDATA[storm]]></title><link>https://blog.youkuaiyun.com/r02221/article/details/78676488</link><guid>https://blog.youkuaiyun.com/r02221/article/details/78676488</guid><author>r02221</author><pubDate>Thu, 30 Nov 2017 15:15:48 +0800</pubDate><description><![CDATA[Apache Storm 官方文档 —— 消息的可靠性保障


Storm 能够保证每一个由 Spout 发送的消息都能够得到完整地处理。本文详细解释了 Storm 如何实现这种保障机制，以及作为用户如何使用好 Storm 的可靠性机制。


消息的“完整性处理”是什么意思

一个从 spout 中发送出的 tuple 会产生上千个基于它创建的 tuples。例如，有这样一个 wo]]></description><category></category></item><item><title><![CDATA[sparkSQL架构分析]]></title><link>https://blog.youkuaiyun.com/r02221/article/details/77513193</link><guid>https://blog.youkuaiyun.com/r02221/article/details/77513193</guid><author>r02221</author><pubDate>Wed, 23 Aug 2017 23:17:52 +0800</pubDate><description><![CDATA[这篇博文内容虽然有点点过时，但对于初学者理解sparkSQL架构帮助还是很大的。作者思路清晰并恰当的点出了sparkSQL各阶段实现的关键类或方法，值得收藏和转载。

1、sql语句的模块解析

   当我们写一个查询语句时，一般包含三个部分，select部分，from数据源部分，where限制条件部分，这三部分的内容在sql中有专门的名称：


当我们写sql时，如上图所示，在进行]]></description><category></category></item><item><title><![CDATA[Spark常用函数讲解之键值RDD转换]]></title><link>https://blog.youkuaiyun.com/r02221/article/details/61718388</link><guid>https://blog.youkuaiyun.com/r02221/article/details/61718388</guid><author>r02221</author><pubDate>Sun, 12 Mar 2017 23:58:09 +0800</pubDate><description><![CDATA[摘要：
RDD：弹性分布式数据集，是一种特殊集合 ‚ 支持多种来源 ‚ 有容错机制 ‚ 可以被缓存 ‚ 支持并行操作，一个RDD代表一个分区里的数据集
RDD有两种操作算子：
        Transformation（转换）：Transformation属于延迟计算，当一个RDD转换成另一个RDD时并没有立即进行转换，仅仅是记住       了数据集的逻辑操作
         Ati]]></description><category></category></item><item><title><![CDATA[kafka启动时内存异常]]></title><link>https://blog.youkuaiyun.com/r02221/article/details/55225036</link><guid>https://blog.youkuaiyun.com/r02221/article/details/55225036</guid><author>r02221</author><pubDate>Wed, 15 Feb 2017 22:55:38 +0800</pubDate><description><![CDATA[一 启动时内存不足
##
 There is insufficient memory for the Java Runtime Environment to continue.
#
 Native memory allocation (malloc) failed to allocate 986513408 bytes for committing reserved memory.
#]]></description><category></category></item><item><title><![CDATA[spark资源调度流程总结]]></title><link>https://blog.youkuaiyun.com/r02221/article/details/54319007</link><guid>https://blog.youkuaiyun.com/r02221/article/details/54319007</guid><author>r02221</author><pubDate>Tue, 10 Jan 2017 23:32:36 +0800</pubDate><description><![CDATA[初学spark在Standalone模式下的资源调度机制，发现学习源码是理解spark一切机制的根本。现在对相关spark2.1.0源码的学习做个梳理。
一
应用程序提交时Master中对Driver和Executor的启动控制和资源分配机制。
首先进入Master.scala中查看Master类，资源调度流程学习从receive方法的case
 RegisterApplicaiton(作]]></description><category></category></item><item><title><![CDATA[Spark集群中HA环境搭建]]></title><link>https://blog.youkuaiyun.com/r02221/article/details/53954702</link><guid>https://blog.youkuaiyun.com/r02221/article/details/53954702</guid><author>r02221</author><pubDate>Sat, 31 Dec 2016 12:21:51 +0800</pubDate><description><![CDATA[1.环境介绍
（1）操作系统ubuntu16.4.0
（2）两个节点：spark1(192.168.232.147),spark2(192.168.232.152) (生产环境下一般配置3台)
（3）两个节点上都装好了Hadoop 2.2集群
2.安装Zookeeper3.4.5
（1）下载Zookeeper：http://apache.fayea.com/zookeeper
（2）解]]></description><category></category></item><item><title><![CDATA[集群环境ssh免密码登录设置]]></title><link>https://blog.youkuaiyun.com/r02221/article/details/53954619</link><guid>https://blog.youkuaiyun.com/r02221/article/details/53954619</guid><author>r02221</author><pubDate>Sat, 31 Dec 2016 12:09:56 +0800</pubDate><description><![CDATA[集群环境ssh免密码登录设置



一、准备工作
1) 用客户端工具（ssh client或者putty）连接到linux服务器。在root用户下输入命令
vi /etc/hosts,用vi编辑hosts文件，如下：


#127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
]]></description><category></category></item><item><title><![CDATA[深入理解Spark RDD抽象模型]]></title><link>https://blog.youkuaiyun.com/r02221/article/details/53914004</link><guid>https://blog.youkuaiyun.com/r02221/article/details/53914004</guid><author>r02221</author><pubDate>Wed, 28 Dec 2016 21:06:18 +0800</pubDate><description><![CDATA[深入理解Spark RDD抽象模型和编写RDD函数

Spark revolves around the concept of a resilient distributed dataset (RDD), which is an immutable , fault-tolerant , partitioned collection of elements
 that can be opera]]></description><category></category></item><item><title><![CDATA[spark master web ui 端口8080被占用解决办法]]></title><link>https://blog.youkuaiyun.com/r02221/article/details/53876022</link><guid>https://blog.youkuaiyun.com/r02221/article/details/53876022</guid><author>r02221</author><pubDate>Sun, 25 Dec 2016 22:42:47 +0800</pubDate><description><![CDATA[spark master web ui 默认端口为8080，当系统有其它程序也在使用该接口时，启动master时也不会报错，spark自己会改用其它端口，自动端口号加1，但为了可以控制到指定的端口，我们可以自行设置，修改方法：
1、cd SPARK_HOME/sbin
2、vi start-master.sh
3、mster启动脚本中，该命令用来控制WEBUI的默认端口：
if [ "$S]]></description><category></category></item><item><title><![CDATA[hadoop进程WEB无法访问的问题]]></title><link>https://blog.youkuaiyun.com/r02221/article/details/53870817</link><guid>https://blog.youkuaiyun.com/r02221/article/details/53870817</guid><author>r02221</author><pubDate>Sun, 25 Dec 2016 17:12:41 +0800</pubDate><description><![CDATA[背景：PC系统从Win7升级到Win10。重新安装hadoop，配置正常，进程启动正常，老实关闭防火墙，WEB无法访问节点的任何端口。
问题描述：
PC系统升级，虚拟机安装ubuntu16.4.0。按部就班的安装JDK和HADOOP，配置环境变量；配置HADOOP中各个配置文件，且namenode等端口均使用默认端口；关闭防火墙，启动hdfs进程；查看hadoop进程，以及启动的监听端口，OK]]></description><category></category></item><item><title><![CDATA[ubuntu 16.04 启用root用户方法]]></title><link>https://blog.youkuaiyun.com/r02221/article/details/53822900</link><guid>https://blog.youkuaiyun.com/r02221/article/details/53822900</guid><author>r02221</author><pubDate>Thu, 22 Dec 2016 23:14:57 +0800</pubDate><description><![CDATA[1、使用:sudo passwd root设置root的密码，如下图所示：


2、使用su root来测试是否可以进入root用户，如果出现#说明已经设置root用户的密码成功，如下图所示：


3、进入到/usr/share/lightdm/lightdm.conf.d/目录，使用gedit 50-unity-greeter.conf &命令打开50-unity-greeter.c]]></description><category></category></item></channel></rss>