<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[Scott的专栏]]></title><description><![CDATA[莫畏浮云遮望眼~~~]]></description><link>https://blog.youkuaiyun.com/can007</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; can007]]></copyright><item><title><![CDATA[JVM相关小结]]></title><link>https://blog.youkuaiyun.com/can007/article/details/78012690</link><guid>https://blog.youkuaiyun.com/can007/article/details/78012690</guid><author>can007</author><pubDate>Sun, 17 Sep 2017 19:44:16 +0800</pubDate><description><![CDATA[对JVM中分层模型、垃圾回收期、垃圾回收算法趁着周末小结一下。有不对的地方，还请指正和讨论~

 

1.JVM内存模型



 

2.JVM垃圾回收期



 

 3.JVM垃圾回收算法



 

---------------------------------------------------------------------------]]></description><category></category></item><item><title><![CDATA[Tachyon框架的Worker心跳及Master高可用性分析]]></title><link>https://blog.youkuaiyun.com/can007/article/details/39506111</link><guid>https://blog.youkuaiyun.com/can007/article/details/39506111</guid><author>can007</author><pubDate>Tue, 23 Sep 2014 23:04:47 +0800</pubDate><description><![CDATA[0 概述

    分布式框架中的Master-Slave类型，Slave节点负责工作的具体执行，Master负责任务的分发或者相关元数据的存储等。一般情况下，一个Master节点都会对应多个Slave节点，Master在分配任务时需要知道当前有哪些Slave节点是可以接受自己所发的命令的(Slave节点有可能因为各种原因挂掉)，因此需要在其内部维持一个链表来保存所有还活着的Slave节点。H]]></description><category></category></item><item><title><![CDATA[Yarn中的几种状态机]]></title><link>https://blog.youkuaiyun.com/can007/article/details/38391355</link><guid>https://blog.youkuaiyun.com/can007/article/details/38391355</guid><author>can007</author><pubDate>Tue, 05 Aug 2014 21:58:55 +0800</pubDate><description><![CDATA[1 概述

    为了增大并发性，Yarn采用事件驱动的并发模型，将各种处理逻辑抽象成事件和调度器，将事件的处理过程用状态机表示。什么是状态机？

    如果一个对象，其构成为若干个状态，以及触发这些状态发生相互转移的事件，那么此对象称之为状态机。

    处理请求作为某种事件发送到系统中，由一个中央调度器传递给对应的事件调度器，进而对事件进行处理，处理完成之后再次发送给中央调度]]></description><category></category></item><item><title><![CDATA[Spark on Yarn遇到的几个问题]]></title><link>https://blog.youkuaiyun.com/can007/article/details/38368119</link><guid>https://blog.youkuaiyun.com/can007/article/details/38368119</guid><author>can007</author><pubDate>Mon, 04 Aug 2014 13:21:09 +0800</pubDate><description><![CDATA[1 概述

    Spark的on Yarn模式，其资源分配是交给Yarn的ResourceManager来进行管理的，但是目前的Spark版本，Application日志的查看，只能通过Yarn的yarn logs命令实现。

    在部署和运行Spark Application的过程中，如果不注意一些小的细节，也许会导致一些问题的出现。
2 防火墙

    部署好Spark]]></description><category></category></item><item><title><![CDATA[Spark1.0.x入门指南(spark on yarn, standalone)]]></title><link>https://blog.youkuaiyun.com/can007/article/details/37885555</link><guid>https://blog.youkuaiyun.com/can007/article/details/37885555</guid><author>can007</author><pubDate>Wed, 16 Jul 2014 21:38:00 +0800</pubDate><description><![CDATA[1 节点说明

 



IP


Role




192.168.1.111


ActiveNameNode




192.168.1.112


StandbyNameNode,Master,Worker




192.168.1.113


DataNode,Master,Worker




192.168]]></description><category></category></item><item><title><![CDATA[Mapreduce执行过程分析(基于Hadoop2.4)——(三)]]></title><link>https://blog.youkuaiyun.com/can007/article/details/37671891</link><guid>https://blog.youkuaiyun.com/can007/article/details/37671891</guid><author>can007</author><pubDate>Thu, 10 Jul 2014 23:05:13 +0800</pubDate><description><![CDATA[4.4 Reduce类

4.4.1 Reduce介绍

整完了Map，接下来就是Reduce了。YarnChild.main()—>ReduceTask.run()。ReduceTask.run方法开始和MapTask类似，包括initialize()初始化，根据情况看是否调用runJobCleanupTask()，runTaskCleanupTask()等。之后进入正式的工作，主要有这]]></description><category></category></item><item><title><![CDATA[Mapreduce执行过程分析(基于Hadoop2.4)——(二)]]></title><link>https://blog.youkuaiyun.com/can007/article/details/37671879</link><guid>https://blog.youkuaiyun.com/can007/article/details/37671879</guid><author>can007</author><pubDate>Thu, 10 Jul 2014 23:04:07 +0800</pubDate><description><![CDATA[4.3 Map类

   创建Map类和map函数，map函数是org.apache.hadoop.mapreduce.Mapper类中的定义的，当处理每一个键值对的时候，都要调用一次map方法，用户需要覆写此方法。此外还有setup方法和cleanup方法。map方法是当map任务开始运行的时候调用一次，cleanup方法是整个map任务结束的时候运行一次。

4.3.1 Map介绍
]]></description><category></category></item><item><title><![CDATA[Mapreduce执行过程分析(基于Hadoop2.4)——(一)]]></title><link>https://blog.youkuaiyun.com/can007/article/details/37671861</link><guid>https://blog.youkuaiyun.com/can007/article/details/37671861</guid><author>can007</author><pubDate>Thu, 10 Jul 2014 23:03:03 +0800</pubDate><description><![CDATA[1 概述

该瞅瞅MapReduce的内部运行原理了，以前只知道个皮毛，再不搞搞，不然怎么死的都不晓得。下文会以2.4版本中的WordCount这个经典例子作为分析的切入点，一步步来看里面到底是个什么情况。
2 为什么要使用MapReduce

Map/Reduce，是一种模式，适合解决并行计算的问题，比如TopN、贝叶斯分类等。注意，是并行计算，而非迭代计算，像涉及到层次聚类的问题就不]]></description><category></category></item><item><title><![CDATA[HttpClient实现文件的上传下载]]></title><link>https://blog.youkuaiyun.com/can007/article/details/36037763</link><guid>https://blog.youkuaiyun.com/can007/article/details/36037763</guid><author>can007</author><pubDate>Mon, 30 Jun 2014 21:10:27 +0800</pubDate><description><![CDATA[1 HTTP

    HTTP 协议可能是现在 Internet 上使用得最多、最重要的协议了，越来越多的 Java 应用程序需要直接通过 HTTP 协议来访问网络资源。

    虽然在 JDK 的 java.net 包中已经提供了访问 HTTP 协议的基本功能，但是对于大部分应用程序来说，JDK 库本身提供的功能还不够丰富和灵活。HttpClient 用来提供高效的、最新的、功能丰富]]></description><category></category></item><item><title><![CDATA[Hadoop2.3+Hive0.12集群部署]]></title><link>https://blog.youkuaiyun.com/can007/article/details/21659741</link><guid>https://blog.youkuaiyun.com/can007/article/details/21659741</guid><author>can007</author><pubDate>Thu, 20 Mar 2014 23:58:13 +0800</pubDate><description><![CDATA[0 机器说明






IP


Role






192.168.1.106


NameNode、DataNode、NodeManager、ResourceManager




192.168.1.107


SecondaryNameNode、NodeManager、DataNode




192.168.1.108]]></description><category></category></item><item><title><![CDATA[win7的centos虚拟机上搭建mysql5.6服务]]></title><link>https://blog.youkuaiyun.com/can007/article/details/20080699</link><guid>https://blog.youkuaiyun.com/can007/article/details/20080699</guid><author>can007</author><pubDate>Thu, 27 Feb 2014 23:06:19 +0800</pubDate><description><![CDATA[1 安装包下载

mysql5.6下载地址：

http://dev.mysql.com/downloads/mysql/

这里选择linux版本:






navicat11破解版的下载地址：

http://download.youkuaiyun.com/detail/can007/6971475
2 mysql的安装

从官网下载的rpm64位的安装包：

]]></description><category></category></item><item><title><![CDATA[Redis学习]]></title><link>https://blog.youkuaiyun.com/can007/article/details/19848559</link><guid>https://blog.youkuaiyun.com/can007/article/details/19848559</guid><author>can007</author><pubDate>Mon, 24 Feb 2014 22:11:13 +0800</pubDate><description><![CDATA[1 概述

    目前多数的NoSql数据库本质上都是键值对形式，Redis也不例外。作为缓存数据库的一种，和Memcached相比，有以下几种主要的优点：

(1)速度上，Redis要比Memcached快，这是基于一些Benchmarks的测试结果得出的，而且在内存使用上，Redis突破了物理内存限制，可以使用虚拟内存；

(2)数据类型比Memcached要多，Redis支持L]]></description><category></category></item><item><title><![CDATA[ArrayList、LinkedList、HashMap的遍历及遍历过程中增删元素]]></title><link>https://blog.youkuaiyun.com/can007/article/details/19645405</link><guid>https://blog.youkuaiyun.com/can007/article/details/19645405</guid><author>can007</author><pubDate>Fri, 21 Feb 2014 22:59:09 +0800</pubDate><description><![CDATA[ArrayList、LinkedList、HashMap是Java中常用到的几种集合类型，遍历它们是时常遇到的情况。当然还有一些变态的时候，那就是在遍历的过程中动态增加或者删除其中的元素。

    下面的例子就是可以实现动态遍历ArrayList、LinkedList、HashMap。

  1 import java.util.ArrayList;
  2 import java.ut]]></description><category></category></item><item><title><![CDATA[STS中搭建SpringMVC工程]]></title><link>https://blog.youkuaiyun.com/can007/article/details/18153601</link><guid>https://blog.youkuaiyun.com/can007/article/details/18153601</guid><author>can007</author><pubDate>Sat, 11 Jan 2014 22:39:23 +0800</pubDate><description><![CDATA[1 环境说明

    首次接触Spring，面对这么一个优秀的框架，先从环境搞起，再慢慢学。开发环境选择Spring Tool Suite，得专业点不是？Maven选2.2.1，JDK还是1.6，Tomcat采用7。下面一步步来…
2 STS安装

    Spring Tool Suite是免费的一款基于Eclipse的Spring开发的定制版IDE，其官方下载地址为：

htt]]></description><category></category></item><item><title><![CDATA[字符串匹配算法之Sunday算法]]></title><link>https://blog.youkuaiyun.com/can007/article/details/17643965</link><guid>https://blog.youkuaiyun.com/can007/article/details/17643965</guid><author>can007</author><pubDate>Sun, 29 Dec 2013 00:31:43 +0800</pubDate><description><![CDATA[字符串匹配查找算法中，最著名的两个是KMP算法（Knuth-Morris-Pratt)和BM算法（Boyer-Moore)。两个算法在最坏情况下均具有线性的查找时间。但是在实用上，KMP算法并不比最简单的C库函数strstr()快多少，而BM算法则往往比KMP算法快上3－5倍(未亲身实践)。但是BM算法还不是最快的算法，这里介绍一种比BM算法更快一些的查找算法Sunday算法。

    Su]]></description><category></category></item><item><title><![CDATA[设计模式之观察者模式]]></title><link>https://blog.youkuaiyun.com/can007/article/details/17596821</link><guid>https://blog.youkuaiyun.com/can007/article/details/17596821</guid><author>can007</author><pubDate>Fri, 27 Dec 2013 00:02:46 +0800</pubDate><description><![CDATA[1 概述

    观察者模式(Observer Patern)，定义了对象间的一对多依赖，当一个对象改变状态时，它的所有依赖者都会收到通知并自动更新。其目的就是为了对象间的解耦。

    这个模式的角色有以下几种：

(1)抽象主题(Subject)角色：它把所有对观察者对象的引用保存在一个集合中，每个主题都可以有多个观察者，抽象主题提供一个接口，可以增加和删除观察者对象；]]></description><category></category></item><item><title><![CDATA[设计模式之模板模式]]></title><link>https://blog.youkuaiyun.com/can007/article/details/17566925</link><guid>https://blog.youkuaiyun.com/can007/article/details/17566925</guid><author>can007</author><pubDate>Wed, 25 Dec 2013 23:06:23 +0800</pubDate><description><![CDATA[1 概述

    模板模式(Template Patern)，是在一个方法中定义了一个算法的骨架，而将一些步骤延迟到子类中。模板方法中使得子类可以在不改变算法结构的情况下，重新定义算法中的某些步骤。

    模板就是一个方法，这个方法将算法定义成一组步骤，为了不被子类改变，这个方法通常被限制为final类型。另外还有一个钩子(hook)的概念，所谓的“钩子”就是默认不做事的方法，这个方]]></description><category></category></item><item><title><![CDATA[设计模式之策略模式]]></title><link>https://blog.youkuaiyun.com/can007/article/details/17489357</link><guid>https://blog.youkuaiyun.com/can007/article/details/17489357</guid><author>can007</author><pubDate>Sun, 22 Dec 2013 21:26:59 +0800</pubDate><description><![CDATA[1 概述

    策略模式(Strategy Patern)，是把针对同一件事情的不同的算法分别封装起来，并且相互之间可以替换。这种模式的使用需要以下三种角色：

(1)环境角色：应用不同的策略来达到完成某件事情的目的；

(2)抽象策略角色：通常由接口或者抽象类实现，所有的具体角色都继承此抽象；

(3)具体策略角色：具体的算法实现；
2 示例

    相对来说，例子还]]></description><category></category></item><item><title><![CDATA[设计模式之享元模式]]></title><link>https://blog.youkuaiyun.com/can007/article/details/17457553</link><guid>https://blog.youkuaiyun.com/can007/article/details/17457553</guid><author>can007</author><pubDate>Sat, 21 Dec 2013 00:17:16 +0800</pubDate><description><![CDATA[1 概述

    享元模式(Flyweight)：享，就是共享；元，就是元数据。简单来说，这个模式就是将系统中的对象公用，不用创建很多对象造成JVM拥塞。类似于平常用到的数据库连接池。

    把一个对象的状态分成两部分，变与不变。通过共享不变的部分，变化的状态通过参数传入，达到减少对象数量的目的。享元模式通常结合工厂模式一起实现，具体怎么做呢？最常见的例子就是Java中的字符串常量。]]></description><category></category></item><item><title><![CDATA[设计模式之组合模式]]></title><link>https://blog.youkuaiyun.com/can007/article/details/17291411</link><guid>https://blog.youkuaiyun.com/can007/article/details/17291411</guid><author>can007</author><pubDate>Thu, 12 Dec 2013 23:25:50 +0800</pubDate><description><![CDATA[1 概述

    组合模式（Composite）,将对象组合成树形结构来表现“整体&部分”这一层次结构。这种模式能让客户以一致的方式处理个别对象以及对象组合。

    组合内的所有对象都必须实现相同的接口，当组合结构复杂，遍历的成本太高时，就有必要实现组合节点的缓存。组合的优点是可以让客户端不再区分操作的是组合对象还是叶子对象，而是以一种统一的方式来操作。

    组合模式的组成]]></description><category></category></item></channel></rss>