<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[在路上的学习者]]></title><description><![CDATA[记录生活，定格瞬间]]></description><link>https://blog.youkuaiyun.com/yeruby</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; yeruby]]></copyright><item><title><![CDATA[Flume1.7.0的TaildirSource介绍]]></title><link>https://blog.youkuaiyun.com/yeruby/article/details/51812759</link><guid>https://blog.youkuaiyun.com/yeruby/article/details/51812759</guid><author>yeruby</author><pubDate>Sat, 02 Jul 2016 21:39:04 +0800</pubDate><description><![CDATA[使用更改后的TaildirSource，可以递归地监听配置目录的动态变化的文件。需求描述使用了SpoolDirectorySource可以配置一个监听目录，会监听该目录下所有的文件，但是如果配置目录下面嵌套了子目录，则无法监听，通过修改源码，我们可以递归地对配置目录的所有子目录的所有文件进行监听，见上一篇文章 Flume的Spooling Directory Source支持Sub-director]]></description><category></category></item><item><title><![CDATA[Linux中利用logrotate来对log文件进行转储]]></title><link>https://blog.youkuaiyun.com/yeruby/article/details/51812751</link><guid>https://blog.youkuaiyun.com/yeruby/article/details/51812751</guid><author>yeruby</author><pubDate>Sat, 02 Jul 2016 21:38:17 +0800</pubDate><description><![CDATA[使用logrotate对日志文件转储，按时或者按大小。logrotate简介NAME
       logrotate - rotates, compresses, and mails system logsSYNOPSIS
       logrotate [-dv] [-f|--force] [-s|--state file] config_file ..DESCRIPTION
       l]]></description><category></category></item><item><title><![CDATA[Flume的Spooling Directory Source支持Sub-directories]]></title><link>https://blog.youkuaiyun.com/yeruby/article/details/51812737</link><guid>https://blog.youkuaiyun.com/yeruby/article/details/51812737</guid><author>yeruby</author><pubDate>Sat, 02 Jul 2016 21:36:02 +0800</pubDate><description><![CDATA[使得Spooling Directory Source可以递归地对配置目录的所有子目录的所有文件进行监听。 
现实需求Spooling Directory Source支持的feature官方介绍： 
https://flume.apache.org/FlumeUserGuide.html#spooling-directory-source使用基本的Spooling Directory Source]]></description><category></category></item><item><title><![CDATA[Log4j的配置与使用详解]]></title><link>https://blog.youkuaiyun.com/yeruby/article/details/51719333</link><guid>https://blog.youkuaiyun.com/yeruby/article/details/51719333</guid><author>yeruby</author><pubDate>Mon, 20 Jun 2016 11:04:48 +0800</pubDate><description><![CDATA[本文转自：《Log4j的配置与使用详解》
作者：李天炜






Log4j是Apache的一个开放源代码项目，通过使用Log4j，我们可以控制日志信息输送的目的地是控制台、文件、GUI组件、甚至是套接口服务器、NT的事件记录器、UNIX Syslog守护进程等；我们也可以控制每一条日志的输出格式；通过定义每一条日志信息的级别，我们能够更加细致地控制日志的生成过程。

原文链]]></description><category></category></item><item><title><![CDATA[SparkSQL与Hive on Spark的比较]]></title><link>https://blog.youkuaiyun.com/yeruby/article/details/51448188</link><guid>https://blog.youkuaiyun.com/yeruby/article/details/51448188</guid><author>yeruby</author><pubDate>Wed, 18 May 2016 22:20:08 +0800</pubDate><description><![CDATA[简要介绍了SparkSQL与Hive on Spark的区别与联系一、关于Spark简介在Hadoop的整个生态系统中，Spark和MapReduce在同一个层级，即主要解决分布式计算框架的问题。架构Spark的架构如下图所示，主要包含四大组件：Driver、Master、Worker和Executor。Spark特点
Spark可以部署在YARN上
Spark原生支持对HDFS文件系统的访问
使用]]></description><category></category></item><item><title><![CDATA[Flume event转化为ES的document过程分析]]></title><link>https://blog.youkuaiyun.com/yeruby/article/details/51448183</link><guid>https://blog.youkuaiyun.com/yeruby/article/details/51448183</guid><author>yeruby</author><pubDate>Wed, 18 May 2016 22:18:47 +0800</pubDate><description><![CDATA[使用更改后的MultiExecSource + MemoryChannel +　ElasticsearchSink 将flume收集到的日志信息发送到es集群中。一条flume event的构成一个flume event由 header + body 构成：/**
 * Basic representation of a data object in Flume.
 * Provides acces]]></description><category></category></item><item><title><![CDATA[Java使用quartz实现作业调度]]></title><link>https://blog.youkuaiyun.com/yeruby/article/details/51448173</link><guid>https://blog.youkuaiyun.com/yeruby/article/details/51448173</guid><author>yeruby</author><pubDate>Wed, 18 May 2016 22:17:23 +0800</pubDate><description><![CDATA[在spring boot中使用quartz实现作业调度的功能，简单易用。什么是Quartz？Quartz是Java领域最著名的、功能丰富的、开放源码的作业调度工具，几乎可以在所有的Java应用程序中集成——从小的单机应用到大的电子商务系统。 Quartz可以用来执行成百上千甚至数万的级别的、简单或者复杂的作业调度，一个Job可以执行任意的你所编程的任务。 Quartz调度包括许多企业级功能，如JTA]]></description><category></category></item><item><title><![CDATA[Java&Python操作WebHDFS]]></title><link>https://blog.youkuaiyun.com/yeruby/article/details/51448166</link><guid>https://blog.youkuaiyun.com/yeruby/article/details/51448166</guid><author>yeruby</author><pubDate>Wed, 18 May 2016 22:16:21 +0800</pubDate><description><![CDATA[有用到通过java client或者python client操作HDFS，记录一下简单的代码片段。WebHDFS的认证方式WebHDFS的认证方式有三种：AuthenticationWhen security is off, the authenticated user is the username specified in the user.name query parameter. If t]]></description><category></category></item><item><title><![CDATA[源码分析Ambari的DAG是如何做的]]></title><link>https://blog.youkuaiyun.com/yeruby/article/details/51167879</link><guid>https://blog.youkuaiyun.com/yeruby/article/details/51167879</guid><author>yeruby</author><pubDate>Sat, 16 Apr 2016 14:11:32 +0800</pubDate><description><![CDATA[我认为Ambari最有趣的地方之一是如何计算DAG(Directed acyclic graph，有向无环图)]]></description><category></category></item><item><title><![CDATA[Ambari的架构与设计思想]]></title><link>https://blog.youkuaiyun.com/yeruby/article/details/51167868</link><guid>https://blog.youkuaiyun.com/yeruby/article/details/51167868</guid><author>yeruby</author><pubDate>Sat, 16 Apr 2016 14:10:08 +0800</pubDate><description><![CDATA[Ambari包罗了大部分Hadoop生态系统的组件，说明它的抽象层次、设计思想值得我们去研究学习。]]></description><category></category></item><item><title><![CDATA[cobbler原理分析]]></title><link>https://blog.youkuaiyun.com/yeruby/article/details/51167862</link><guid>https://blog.youkuaiyun.com/yeruby/article/details/51167862</guid><author>yeruby</author><pubDate>Sat, 16 Apr 2016 14:09:00 +0800</pubDate><description><![CDATA[Cobbler通过将设置和管理一个安装服务器所涉及的任务集中在一起，从而简化了系统配置。]]></description><category></category></item><item><title><![CDATA[cobbler快速批量安装OS]]></title><link>https://blog.youkuaiyun.com/yeruby/article/details/51167859</link><guid>https://blog.youkuaiyun.com/yeruby/article/details/51167859</guid><author>yeruby</author><pubDate>Sat, 16 Apr 2016 14:07:37 +0800</pubDate><description><![CDATA[通过cobbler快速部署centos6.5mini的详细指导，且提供了一键部署cobbler的脚本以供参考。实验环境： 
1. cobbler server所在机器的OS版本：CentOs6.5-x86_64 mini 
2. 快速安装的OS版本：CentOs6.5-x86_64 mini]]></description><category></category></item><item><title><![CDATA[源码分析Flume启动过程]]></title><link>https://blog.youkuaiyun.com/yeruby/article/details/51167839</link><guid>https://blog.youkuaiyun.com/yeruby/article/details/51167839</guid><author>yeruby</author><pubDate>Sat, 16 Apr 2016 14:04:10 +0800</pubDate><description><![CDATA[对Flume-NG的agent启动过程进行详细的分析。]]></description><category></category></item><item><title><![CDATA[LeetCode Letter Combinations of a Phone Number DFS]]></title><link>https://blog.youkuaiyun.com/yeruby/article/details/51079594</link><guid>https://blog.youkuaiyun.com/yeruby/article/details/51079594</guid><author>yeruby</author><pubDate>Wed, 06 Apr 2016 23:04:39 +0800</pubDate><description><![CDATA[DFSC++ code:class Solution {
private:
    vector<string> mapping = {"abc", "def", "ghi", "jkl", "mno", "pqrs", "tuv", "wxyz"};
public:
    vector<string> letterCombinations(string digits) {
        vec]]></description><category></category></item><item><title><![CDATA[六款大数据采集平台的架构分析]]></title><link>https://blog.youkuaiyun.com/yeruby/article/details/51003445</link><guid>https://blog.youkuaiyun.com/yeruby/article/details/51003445</guid><author>yeruby</author><pubDate>Tue, 29 Mar 2016 10:15:48 +0800</pubDate><description><![CDATA[本文转自：《六款大数据采集平台的架构分析》


文中介绍了目前业界存在的六款数据采集平台，数据采集平台可以作为数据平台的日志采集系统，个人尝试过Flume+ES+Kibana这样的开源组合，为什么这么选，因为Flume非常灵活且无缝的支持Hadoop生态系统的大部分组件，ES和Kibana也是比较成熟的开源大数据实时搜索展示的组合。






随着大数据越来越被重视，数据采集]]></description><category></category></item><item><title><![CDATA[flume建立ElasticSearch索引时间的问题]]></title><link>https://blog.youkuaiyun.com/yeruby/article/details/50982799</link><guid>https://blog.youkuaiyun.com/yeruby/article/details/50982799</guid><author>yeruby</author><pubDate>Mon, 28 Mar 2016 15:16:09 +0800</pubDate><description><![CDATA[本文转自：《flume建立ElasticSearch索引时间的问题》


本文解决的是Flume导入es中建立的索引时间问题，（index也就是索引在es可以类比为database数据库）


对于@timestamp在es中默认是UTC时区保存，不管flume导入的Date时区是多少，都会强制改为es中默认的时区，所以显示需要在kibana中设置


Reference：htt]]></description><category></category></item><item><title><![CDATA[Spark分布式计算执行模型]]></title><link>https://blog.youkuaiyun.com/yeruby/article/details/50858052</link><guid>https://blog.youkuaiyun.com/yeruby/article/details/50858052</guid><author>yeruby</author><pubDate>Fri, 11 Mar 2016 18:17:22 +0800</pubDate><description><![CDATA[本文转自：《Spark分布式计算执行模型》  作者：火光摇曳


亮点：通过最基础的WordCount程序介绍了RDD，Partition，和如何通过RDD之间的依赖关系生成RDD DAG（Stage），使我们可以非常容易的理解Spark的分布式计算执行模型。


引言


相对Hadoop, Spark在处理需要迭代运算的机器学习训练等任务上有着很大性能提升，同时提供了批处理、]]></description><category></category></item><item><title><![CDATA[从机器学习谈起]]></title><link>https://blog.youkuaiyun.com/yeruby/article/details/50838087</link><guid>https://blog.youkuaiyun.com/yeruby/article/details/50838087</guid><author>yeruby</author><pubDate>Wed, 09 Mar 2016 19:50:17 +0800</pubDate><description><![CDATA[本文转自：《从机器学习谈起》   作者：计算机的潜意识


本文非常经典，通俗易懂，刚入门ML的都可以看看。






从机器学习谈起




　　在本篇文章中，我将对机器学习做个概要的介绍。本文的目的是能让即便完全不了解机器学习的人也能了解机器学习，并且上手相关的实践。这篇文档也算是EasyPR开发的番外篇，从这里开始，必须对机器学习了解才能进一步介绍EasyPR]]></description><category></category></item><item><title><![CDATA[ambari的Command介绍]]></title><link>https://blog.youkuaiyun.com/yeruby/article/details/50778627</link><guid>https://blog.youkuaiyun.com/yeruby/article/details/50778627</guid><author>yeruby</author><pubDate>Wed, 02 Mar 2016 11:35:49 +0800</pubDate><description><![CDATA[ambari-server会向ambari-agent发送命令，来控制agent的行为，命令是通过agent向server发送的心跳包的response来传送的：在agent向server注册完毕后，agent的心跳包就开始向server汇报：Ambari Agent starts heartbeat to Ambari Server, checking for commands to execut]]></description><category></category></item><item><title><![CDATA[RPM打包记录]]></title><link>https://blog.youkuaiyun.com/yeruby/article/details/50756966</link><guid>https://blog.youkuaiyun.com/yeruby/article/details/50756966</guid><author>yeruby</author><pubDate>Sat, 27 Feb 2016 21:12:29 +0800</pubDate><description><![CDATA[一、根据RPM版本定位rpmbuild工作目录如果 rpm 的版本 <=4.4.x，那么 rpmbuild 工具其默认的工作路径是 /usr/src/redhat ，这就使得普通用户不能制作 rpm 包，因为权限的问题，在制作 rpm 软件包时必须切换到root身份才可以。所以，rpm从4.5.x版本开始，将rpmbuid的默认工作路径移动到用户家目录下的rpmbuild目录里，即$HOME/rpm]]></description><category></category></item></channel></rss>