<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[TragicJun的专栏]]></title><description><![CDATA[A little bit everyday]]></description><link>https://blog.youkuaiyun.com/TragicJun</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; TragicJun]]></copyright><item><title><![CDATA[Spark RDD计算机制剖析]]></title><link>https://blog.youkuaiyun.com/TragicJun/article/details/88427626</link><guid>https://blog.youkuaiyun.com/TragicJun/article/details/88427626</guid><author>TragicJun</author><pubDate>Sun, 17 Mar 2019 15:58:48 +0800</pubDate><description><![CDATA[通用的分布式计算框架，为了降低学习和使用门槛，便于用户直观理解，一般会尽量简化上层抽象（姑且定义为逻辑层），RDD之于Spark就是最核心的逻辑层抽象。然而，当你深入框架内部实现（对应来说就是物理层），通常会发现它比逻辑层复杂得多，仿佛是打开了另一扇窗。对Spark RDD来说莫不如此，让我们来看看它在物理层的另一面。


...]]></description><category></category></item><item><title><![CDATA[SVM Kernel学习笔记]]></title><link>https://blog.youkuaiyun.com/TragicJun/article/details/79261368</link><guid>https://blog.youkuaiyun.com/TragicJun/article/details/79261368</guid><author>TragicJun</author><pubDate>Mon, 05 Feb 2018 21:44:04 +0800</pubDate><description><![CDATA[SVM是机器学习里应用最广泛的模型之一，而说起SVM大家一般都会提kernel，有叫kernel function也有叫kernel trick的。这是因为实际的应用中，没有kernel的SVM也就是一个线性分类器，与LR（logistic regression）没有本质的差别，就连目标函数都很相似。

线性分类器是指它的decision boundary是线性的，但训练数据并不一定能被线性区分开]]></description><category></category></item><item><title><![CDATA[Apache Ranger剖析：Hadoop生态圈的安全管家]]></title><link>https://blog.youkuaiyun.com/TragicJun/article/details/44830231</link><guid>https://blog.youkuaiyun.com/TragicJun/article/details/44830231</guid><author>TragicJun</author><pubDate>Tue, 16 Aug 2016 22:53:40 +0800</pubDate><description><![CDATA[前言2016年，Hadoop迎来了自己十周岁生日。过去的十年，Hadoop雄霸武林盟主之位，号令天下，引领大数据技术生态不断发展壮大，一时间百家争鸣，百花齐放。然而，兄弟多了不好管，为了抢占企业级市场，各家都迭代出自己的一套访问控制体系，不管是老牌系统(比如HDFS、HBase)，还是生态新贵(比如Kafka、Alluxio)，ACL(Access Control List)支持都是Roadmap里]]></description><category></category></item><item><title><![CDATA[【Ambari】Agent总体概览]]></title><link>https://blog.youkuaiyun.com/TragicJun/article/details/44814115</link><guid>https://blog.youkuaiyun.com/TragicJun/article/details/44814115</guid><author>TragicJun</author><pubDate>Wed, 01 Apr 2015 22:52:03 +0800</pubDate><description><![CDATA[Agent是Ambari一个核心模块，主要负责在集群节点上执行命令（install/start/stop）和上报状态(liveness/progress/alert)。要理解实现细节甚至修改源代码，首先要有总体宏观的认识。笔者粗略浏览了一下Agent代码，认为可以从三大基本抽象入手，来描绘总体的概览。抽象Agent定义了三个基本抽象，也是三个抽象类：Resource表示Agent可操作的对象，每个R]]></description><category></category></item><item><title><![CDATA[Ansible Tryout]]></title><link>https://blog.youkuaiyun.com/TragicJun/article/details/44177123</link><guid>https://blog.youkuaiyun.com/TragicJun/article/details/44177123</guid><author>TragicJun</author><pubDate>Tue, 10 Mar 2015 16:31:33 +0800</pubDate><description><![CDATA[#下载镜像，容器运行
docker pull ansible/centos7-ansible
docker run -it --rm ansible/centos7-ansible /bin/bash#由于要用到ssh密码登录，需要install sshpasss
yum -y install sshpass.x86_64
#将需要远程操控的机器IP加入本机的known_hosts
ssh-keyg]]></description><category></category></item><item><title><![CDATA[Why Eureka is superior to Zookeeper in terms of service discovery]]></title><link>https://blog.youkuaiyun.com/TragicJun/article/details/44156477</link><guid>https://blog.youkuaiyun.com/TragicJun/article/details/44156477</guid><author>TragicJun</author><pubDate>Mon, 09 Mar 2015 16:52:43 +0800</pubDate><description><![CDATA[很多服务发现方案采纳zookeeper做为service registry，但是这篇文章提出的观点是，ZK并不适合！理由主要是以下两点：
ZK主要的用途是做distributed coordination，所以在CAP的选择上必然是CP(这个有道理，coordination service主要是为了帮助其他别人实现系统一致性的，总不能自身的一致性都无法保证）。然而，对于服务发现来说，更重要的是AP—]]></description><category></category></item><item><title><![CDATA[Kubernetes与YARN的结合]]></title><link>https://blog.youkuaiyun.com/TragicJun/article/details/44081307</link><guid>https://blog.youkuaiyun.com/TragicJun/article/details/44081307</guid><author>TragicJun</author><pubDate>Thu, 05 Mar 2015 13:18:59 +0800</pubDate><description><![CDATA[Hortonworks在去年启动的项目kubernetes-yarn，旨在将kubernetes框架运行在YARN集群上，做为YARN的一种Application。这样的做的好处是，kubernetes可以与其他已有的Hadoop生态链的框架共享集群，可以参考http://zh.hortonworks.com/blog/openshift-v3-kubernetes-docker-hadoop-ya]]></description><category></category></item><item><title><![CDATA[【Docker】服务发现项目Registrator]]></title><link>https://blog.youkuaiyun.com/TragicJun/article/details/44080453</link><guid>https://blog.youkuaiyun.com/TragicJun/article/details/44080453</guid><author>TragicJun</author><pubDate>Thu, 05 Mar 2015 13:12:49 +0800</pubDate><description><![CDATA[通常，一个服务发现系统主要由三部分组成：
注册器(registrator)：根据服务运行状态，注册/注销服务。主要要解决的问题是，何时发起注册/注销动作。
注册表(registry)：存储服务信息。常见的解决方案有zookeeper、etcd、cousul等。
发现机制(discovery)：从注册表读取服务信息，给用户封装访问接口。
在Docker集群系统中，常见的做法是由服务发现机制封装在集群管]]></description><category></category></item><item><title><![CDATA[分布式系统迁移Docker云案例分享]]></title><link>https://blog.youkuaiyun.com/TragicJun/article/details/43764031</link><guid>https://blog.youkuaiyun.com/TragicJun/article/details/43764031</guid><author>TragicJun</author><pubDate>Thu, 12 Feb 2015 16:23:11 +0800</pubDate><description><![CDATA[前言“只要站在风口，猪也能飞起来”，这碗心灵鸡汤不知道激励了多少英雄豪杰踏上寻风口之路。而现如今，Docker这阵龙卷风呼啸来袭，更让众人生起迎风而上、直冲云霄的欲望。为了找到这风口，数据平台部开始全面拥抱Docker，基于多年的大数据集群管理经验，倾力打造DockerOnGaia云平台（简称Gaia云），并动员将数平自身的核心系统Lhotse、Hermes、Hive、TRE、TDBank等全面接入]]></description><category></category></item><item><title><![CDATA[Docker时代来了，你准备好了吗]]></title><link>https://blog.youkuaiyun.com/TragicJun/article/details/42472813</link><guid>https://blog.youkuaiyun.com/TragicJun/article/details/42472813</guid><author>TragicJun</author><pubDate>Tue, 06 Jan 2015 23:07:38 +0800</pubDate><description><![CDATA[刚刚过去的2014年或许是史上最热的一年，在这火热的年份里，Docker 也好似一支被点燃的火箭，掀起一股股热浪。Docker之所以如此受人瞩目，并不是因为它创造了多么神奇的技术，而是因为它重新定义了软件的交付方式，进而将改变传统“开发-测试-部署”的软件流程。尤其是在云计算和开源软件大行其道的今天，Docker的出现正好顺应了时代的发展，占尽了天时地利人和。]]></description><category></category></item><item><title><![CDATA[Flynn初探：基于Docker的PaaS平台]]></title><link>https://blog.youkuaiyun.com/TragicJun/article/details/41266133</link><guid>https://blog.youkuaiyun.com/TragicJun/article/details/41266133</guid><author>TragicJun</author><pubDate>Wed, 19 Nov 2014 01:04:01 +0800</pubDate><description><![CDATA[[Flynn](https://flynn.io/)是一个开源的PaaS平台，可自动构建部署任何应用到Docker容器集群上运行，其功能特性与组件设计大量参考了传统的PaaS平台[Heroku](https://www.heroku.com/)。本文旨在从使用动机、基本对象、架构层次、功能组件、基本工作流这几个方面对Flynn做总体的介绍。]]></description><category></category></item><item><title><![CDATA[Kubernetes初探]]></title><link>https://blog.youkuaiyun.com/TragicJun/article/details/40598151</link><guid>https://blog.youkuaiyun.com/TragicJun/article/details/40598151</guid><author>TragicJun</author><pubDate>Thu, 30 Oct 2014 00:10:58 +0800</pubDate><description><![CDATA[Kubernetes是Google开源的容器集群管理系统。它构建于docker技术之上，为容器化的应用提供资源调度、部署运行、服务发现、扩容缩容等整一套功能，本质上可看作是基于容器技术的mini-PaaS平台。本文旨在梳理Kubernetes的架构、概念及基本工作流，并且通过运行一个简单的示例应用来介绍如何使用Kubernetes。]]></description><category></category></item><item><title><![CDATA[【Reading】2014-07, 08]]></title><link>https://blog.youkuaiyun.com/TragicJun/article/details/37969185</link><guid>https://blog.youkuaiyun.com/TragicJun/article/details/37969185</guid><author>TragicJun</author><pubDate>Sat, 19 Jul 2014 21:33:27 +0800</pubDate><description><![CDATA[http://radar.oreilly.com/2014/07/questioning-the-lambda-architecture.html]]></description><category></category></item><item><title><![CDATA[【Java】Maven使用笔记]]></title><link>https://blog.youkuaiyun.com/TragicJun/article/details/35399483</link><guid>https://blog.youkuaiyun.com/TragicJun/article/details/35399483</guid><author>TragicJun</author><pubDate>Sat, 28 Jun 2014 01:11:04 +0800</pubDate><description><![CDATA[Maven通常被认为]]></description><category></category></item><item><title><![CDATA[【Java】Upload file to web services]]></title><link>https://blog.youkuaiyun.com/TragicJun/article/details/35286599</link><guid>https://blog.youkuaiyun.com/TragicJun/article/details/35286599</guid><author>TragicJun</author><pubDate>Fri, 27 Jun 2014 17:43:37 +0800</pubDate><description><![CDATA[最近需要写一个web service API提供给前台调用，用以上传文件内容。]]></description><category></category></item><item><title><![CDATA[【MQ】kafka学习笔记]]></title><link>https://blog.youkuaiyun.com/TragicJun/article/details/29406745</link><guid>https://blog.youkuaiyun.com/TragicJun/article/details/29406745</guid><author>TragicJun</author><pubDate>Sun, 08 Jun 2014 22:55:54 +0800</pubDate><description><![CDATA[最近几天把kafka的]]></description><category></category></item><item><title><![CDATA[【Hadoop】Compression Options]]></title><link>https://blog.youkuaiyun.com/TragicJun/article/details/18962643</link><guid>https://blog.youkuaiyun.com/TragicJun/article/details/18962643</guid><author>TragicJun</author><pubDate>Fri, 07 Feb 2014 14:49:44 +0800</pubDate><description><![CDATA[http://comphadoop.weebly.com/experiment-and-results.html


http://comphadoop.weebly.com/

http://www.slideshare.net/ydn/hug-compression-talk


以上几篇文章MR中常见的几种compression格式，并通过一些实验数据来比较。通常，compr]]></description><category></category></item><item><title><![CDATA[【Reading】2014-01, 02]]></title><link>https://blog.youkuaiyun.com/TragicJun/article/details/18503079</link><guid>https://blog.youkuaiyun.com/TragicJun/article/details/18503079</guid><author>TragicJun</author><pubDate>Sun, 19 Jan 2014 14:16:17 +0800</pubDate><description><![CDATA[http://blog.cloudera.com/blog/2012/01/an-update-on-apache-hadoop-1-0/
Cloudera Blog上的这篇文章描述了Apache Projects通常的branching策略。回顾了Hadoop因为没有严格遵照这种策略而造成版本混乱的历史。]]></description><category></category></item><item><title><![CDATA[A rule of thumb about Interface vs Abstract Class]]></title><link>https://blog.youkuaiyun.com/TragicJun/article/details/14648695</link><guid>https://blog.youkuaiyun.com/TragicJun/article/details/14648695</guid><author>TragicJun</author><pubDate>Sat, 09 Nov 2013 17:21:16 +0800</pubDate><description><![CDATA[最近在翻阅Hadoop早期的jira list，对于一些重要的jira，会有很多贡献者的详细讨论，包括Doug Cutting, Tom White, Arun Murthy, Owen O'Malley等一批Hadoop领军人物的思想、观点，具有极强的学习价值。
今天在阅读Hadoop-3412和HADOOP-1230，当中Doug Cutting阐述了如何选择Interface和Abstra]]></description><category></category></item><item><title><![CDATA[【Hadoop】JobQueueTaskScheduler]]></title><link>https://blog.youkuaiyun.com/TragicJun/article/details/14524399</link><guid>https://blog.youkuaiyun.com/TragicJun/article/details/14524399</guid><author>TragicJun</author><pubDate>Fri, 08 Nov 2013 17:48:47 +0800</pubDate><description><![CDATA[JobQueueTaskScheduler是JT默认的任务调度器，其本质上维护一个priority-based
 FIFO作业队列，基本的机制是优先调度高优先级/提交时间早的作业。但是，具体的调度策略需要综合考虑一系列的问题，比如cluster资源利用率、系统吞吐率、任务locality等等。下面从这些方面来分析一下调度策略。


单个TaskTracker利用率
最初，JT调度器每次h]]></description><category></category></item></channel></rss>