<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[道听途说]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/slx_2011</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; slx_2011]]></copyright><item><title><![CDATA[Druid源码分析--整体结构]]></title><link>https://blog.youkuaiyun.com/slx_2011/article/details/56489786</link><guid>https://blog.youkuaiyun.com/slx_2011/article/details/56489786</guid><author>slx_2011</author><pubDate>Fri, 24 Feb 2017 16:28:09 +0800</pubDate><description><![CDATA[代码版本
0.9.1


项目地址
https://github.com/druid-io/druid.git


代码整体结构

api                       核心接口层，整个代码库的最底层
common                    公共方法，依赖api
examples                  实例
indexing-hado]]></description><category></category></item><item><title><![CDATA[tar命令打包时剔除无用的子目录]]></title><link>https://blog.youkuaiyun.com/slx_2011/article/details/54929330</link><guid>https://blog.youkuaiyun.com/slx_2011/article/details/54929330</guid><author>slx_2011</author><pubDate>Wed, 08 Feb 2017 17:09:47 +0800</pubDate><description><![CDATA[tar zcvf backup.tar.gz site/* --exclude=site/attach --exclude=site/images





简单解释一下：

ls -l | grep “^-" 用来把当前目录下所有文件列出来，不包括子目录；
awk '{print "dollar"8}' 用来把ls和grep输出的文件名取出来；
xargs 将前面一串的输出，]]></description><category></category></item><item><title><![CDATA[Supervisor永不挂掉的进程]]></title><link>https://blog.youkuaiyun.com/slx_2011/article/details/54908838</link><guid>https://blog.youkuaiyun.com/slx_2011/article/details/54908838</guid><author>slx_2011</author><pubDate>Tue, 07 Feb 2017 13:38:18 +0800</pubDate><description><![CDATA[使用Supervisor管理Linux进程

简介

Supervisor是一个C/S系统,它可以在类UNIX系统上控制系统进程，由python编写，提供了大量的功能来实现对进程的管理。

安装
sudo pip install supervisor1

配置

安装完成 supervisor 之后，可以使用 “echo_supervisord_conf” 命令来生成样例配置]]></description><category></category></item><item><title><![CDATA[Python升级2.4到2.7]]></title><link>https://blog.youkuaiyun.com/slx_2011/article/details/54908821</link><guid>https://blog.youkuaiyun.com/slx_2011/article/details/54908821</guid><author>slx_2011</author><pubDate>Tue, 07 Feb 2017 13:37:07 +0800</pubDate><description><![CDATA[Python升级
 # yum install gcc gcc-c++.x86_64 compat-gcc-34-c++.x86_64 openssl-devel.x86_64 zlib*.x86_64
 # wget http://www.python.org/ftp/python/2.7/Python-2.7.tar.bz2
 # tar -xvjf Python-2.7.tar.bz2]]></description><category></category></item><item><title><![CDATA[spark初探--单机快速安装]]></title><link>https://blog.youkuaiyun.com/slx_2011/article/details/54691821</link><guid>https://blog.youkuaiyun.com/slx_2011/article/details/54691821</guid><author>slx_2011</author><pubDate>Mon, 23 Jan 2017 10:37:31 +0800</pubDate><description><![CDATA[上次接触spark还在2013年，那会应该是0.*的版本，相当的不稳定，近两年spark越来越火，实在是受不了诱惑，膜拜膜拜。


安装那点小事


   单机伪分布尝尝鲜，下载http://d3kbcqa49mib13.cloudfront.net/spark-2.1.0-bin-hadoop2.7.tgz，要求python2.6+ java1.7+ scala2.11+
    ]]></description><category></category></item><item><title><![CDATA[Scala基本语法]]></title><link>https://blog.youkuaiyun.com/slx_2011/article/details/54616917</link><guid>https://blog.youkuaiyun.com/slx_2011/article/details/54616917</guid><author>slx_2011</author><pubDate>Thu, 19 Jan 2017 15:50:46 +0800</pubDate><description><![CDATA[基本语法

Scala 基本语法需要注意以下几点：



区分大小写 -  Scala是大小写敏感的，这意味着标识Hello 和 hello在Scala中会有不同的含义。


类名 - 对于所有的类名的第一个字母要大写。

如果需要使用几个单词来构成一个类的名称，每个单词的第一个字母要大写。

示例：class MyFirstScalaClass


方法名称 - ]]></description><category></category></item><item><title><![CDATA[Scala 特性]]></title><link>https://blog.youkuaiyun.com/slx_2011/article/details/54616890</link><guid>https://blog.youkuaiyun.com/slx_2011/article/details/54616890</guid><author>slx_2011</author><pubDate>Thu, 19 Jan 2017 15:48:25 +0800</pubDate><description><![CDATA[Scala 特性

面向对象特性

Scala是一种纯面向对象的语言，每个值都是对象。对象的数据类型以及行为由类和特质描述。

类抽象机制的扩展有两种途径：一种途径是子类继承，另一种途径是灵活的混入机制。这两种途径能避免多重继承的种种问题。

函数式编程

Scala也是一种函数式语言，其函数也能当成值来使用。Scala提供了轻量级的语法用以定义匿名函数，支持高阶函数，允许嵌套]]></description><category></category></item><item><title><![CDATA[Scala简介]]></title><link>https://blog.youkuaiyun.com/slx_2011/article/details/54616881</link><guid>https://blog.youkuaiyun.com/slx_2011/article/details/54616881</guid><author>slx_2011</author><pubDate>Thu, 19 Jan 2017 15:47:42 +0800</pubDate><description><![CDATA[Scala 简介

Scala 是 Scalable Language 的简写，是一门多范式的编程语言

联邦理工学院洛桑（EPFL）的Martin Odersky于2001年基于Funnel的工作开始设计Scala。

Funnel是把函数式编程思想和Petri网相结合的一种编程语言。

Odersky先前的工作是Generic Java和javac（Sun Java编译器）。J]]></description><category></category></item><item><title><![CDATA[写在2017年的一月]]></title><link>https://blog.youkuaiyun.com/slx_2011/article/details/54616790</link><guid>https://blog.youkuaiyun.com/slx_2011/article/details/54616790</guid><author>slx_2011</author><pubDate>Thu, 19 Jan 2017 15:40:44 +0800</pubDate><description><![CDATA[重新写起博客来，记录点滴，不断成长，写给自己，即将步入而立之年的程序员。]]></description><category></category></item><item><title><![CDATA[ambari编译前环境准备]]></title><link>https://blog.youkuaiyun.com/slx_2011/article/details/45038833</link><guid>https://blog.youkuaiyun.com/slx_2011/article/details/45038833</guid><author>slx_2011</author><pubDate>Tue, 14 Apr 2015 10:52:39 +0800</pubDate><description><![CDATA[原文地址：https://cwiki.apache.org/confluence/display/AMBARI/Ambari+Development
1/安装git
yum install git
2/下载ambari源码


git
 clone https://git-wip-us.apache.org/repos/asf/ambari.git

cd
 ambari
3]]></description><category></category></item><item><title><![CDATA[编译安装Ambari]]></title><link>https://blog.youkuaiyun.com/slx_2011/article/details/45038089</link><guid>https://blog.youkuaiyun.com/slx_2011/article/details/45038089</guid><author>slx_2011</author><pubDate>Tue, 14 Apr 2015 10:07:32 +0800</pubDate><description><![CDATA[1.1 需要安装的工具

1.1.1     安装JDK

输入命令

[root@bigData-02 ~]# java –version

java version "1.7.0_51"

Java(TM) SE Runtime Environment (build 1.7.0_51-b13)

Java HotSpot(TM) 64-Bit Server VM (bu]]></description><category></category></item><item><title><![CDATA[spark简介]]></title><link>https://blog.youkuaiyun.com/slx_2011/article/details/44858019</link><guid>https://blog.youkuaiyun.com/slx_2011/article/details/44858019</guid><author>slx_2011</author><pubDate>Fri, 03 Apr 2015 17:50:14 +0800</pubDate><description><![CDATA[转自：http://tech.uc.cn/?p=2116

概述

什么是Spark


Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架，Spark基于map reduce算法实现的分布式计算，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出和结果可以保存在内存中，从而不再]]></description><category></category></item><item><title><![CDATA[MR1与MR2（yarn）对比]]></title><link>https://blog.youkuaiyun.com/slx_2011/article/details/44857885</link><guid>https://blog.youkuaiyun.com/slx_2011/article/details/44857885</guid><author>slx_2011</author><pubDate>Fri, 03 Apr 2015 17:39:06 +0800</pubDate><description><![CDATA[原地址：http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-yarn/


对于业界的大数据存储及分布式处理系统来说，Hadoop 是耳熟能详的卓越开源分布式文件存储及处理框架，对于 Hadoop 框架的介绍在此不再累述，读者可参考 Hadoop
 官方简介。使用和学习过老 Hadoop 框架（0.20.0 及之前版本）]]></description><category></category></item><item><title><![CDATA[hadoop工作原理]]></title><link>https://blog.youkuaiyun.com/slx_2011/article/details/44857857</link><guid>https://blog.youkuaiyun.com/slx_2011/article/details/44857857</guid><author>slx_2011</author><pubDate>Fri, 03 Apr 2015 17:37:13 +0800</pubDate><description><![CDATA[1.Job类初始化JobClient实例，JobClient中生成JobTracker的RPC实例，这样可以保持与JobTracker的通讯，JobTracker的地址和端口等都是外部配置的，通过Configuration对象读取并且传入。

2.JobClient提交作业。

3.JobClient生成作业目录。

4.从本地拷贝MapReduce的作业jar文件(一般是自己写的程序]]></description><category></category></item><item><title><![CDATA[hive统计分析窗口函数实战]]></title><link>https://blog.youkuaiyun.com/slx_2011/article/details/44807241</link><guid>https://blog.youkuaiyun.com/slx_2011/article/details/44807241</guid><author>slx_2011</author><pubDate>Wed, 01 Apr 2015 15:07:41 +0800</pubDate><description><![CDATA[窗口函数应用场景：

（1）用于分区排序

（2）动态Group By

（3）Top N

（4）累计计算

（5）层次查询

 

一、分析函数

用于等级、百分点、n分片等。



函数
说明


RANK()
返回数据项在分组中的排名，排名相等会在名次中留下空位


DENSE_RANK()
返回数据项在分组中的排名，排名相等会在名]]></description><category></category></item><item><title><![CDATA[linux使用supervisor监控fluentd进程]]></title><link>https://blog.youkuaiyun.com/slx_2011/article/details/44752137</link><guid>https://blog.youkuaiyun.com/slx_2011/article/details/44752137</guid><author>slx_2011</author><pubDate>Mon, 30 Mar 2015 15:55:02 +0800</pubDate><description><![CDATA[1/配置
[program:td-agent]
command=td-agent -o /var/log/td-agent/td-agent.log
process_name=%(program_name)s
autostart=true
autorestart=true
startsecs=10


[inet_http_server]         ; inet (TCP)]]></description><category></category></item><item><title><![CDATA[linux下使用supervisor监控应用程序]]></title><link>https://blog.youkuaiyun.com/slx_2011/article/details/44751951</link><guid>https://blog.youkuaiyun.com/slx_2011/article/details/44751951</guid><author>slx_2011</author><pubDate>Mon, 30 Mar 2015 15:46:27 +0800</pubDate><description><![CDATA[1 应用场景

应用程序需要24小时不间断运行。这时可使用supervisor监控应用程序的进程。当发生应用程序内部错误退出、进程被杀死等情况时，自动重启应用程序。




2 supervisor

supervisor由python写成， 简单好用。官方网站 http://supervisord.org，上面有详细的指南文档。




3 安装supervisor]]></description><category></category></item><item><title><![CDATA[hadoop日志收集解决方案--fluentd配置文件]]></title><link>https://blog.youkuaiyun.com/slx_2011/article/details/44751175</link><guid>https://blog.youkuaiyun.com/slx_2011/article/details/44751175</guid><author>slx_2011</author><pubDate>Mon, 30 Mar 2015 15:04:30 +0800</pubDate><description><![CDATA[type tail
format apache
path /Data/logs/nginx/access.log
pos_file /var/log/td-agent/nginx.pos
tag nginx.access

pos_file建议设置，方便fluentd挂掉以后，继续传递，确保数据完整性


type copy

type file
path /var/log]]></description><category></category></item><item><title><![CDATA[开源日志收集软件fluentd 转发(forward)架构配置]]></title><link>https://blog.youkuaiyun.com/slx_2011/article/details/44750575</link><guid>https://blog.youkuaiyun.com/slx_2011/article/details/44750575</guid><author>slx_2011</author><pubDate>Mon, 30 Mar 2015 14:32:29 +0800</pubDate><description><![CDATA[需求：

通过开源软件fluentd收集各个设备的apache访问日志到fluentd的转发服务器中，然后通过webHDFS接口，写入到hdfs文件系统中。




软件版本说明：

hadoop版本：1.1.2

fluentd版本：1.1.21




测试环境说明：

node29服务器上安装了apache，以及fluentd，作为fluentd的客户端；]]></description><category></category></item><item><title><![CDATA[利用fluentd构建分布式日志管理系统]]></title><link>https://blog.youkuaiyun.com/slx_2011/article/details/44750539</link><guid>https://blog.youkuaiyun.com/slx_2011/article/details/44750539</guid><author>slx_2011</author><pubDate>Mon, 30 Mar 2015 14:32:07 +0800</pubDate><description><![CDATA[如何有效地收集和管理大量服务器的日志一直是企业很头疼的一个问题，部分企业应用shell脚本来管理，部分企业基于hadoop来开发自己的日志管理系统，第一种管理成本巨大，需要大量的人力来维护脚本的正常运行，第二种研发成本高昂，那么如何才能降低这两方面的成本呢。
下面我们来介绍fluentd这种分布式日志管理系统，希望大家在了解之后，能得出自己的答案。
首先我们需要一台装有mongodb的服务器用]]></description><category></category></item></channel></rss>