<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[Helpless_pain的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/Helpless_pain</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; Helpless_pain]]></copyright><item><title><![CDATA[flume]]></title><link>https://blog.youkuaiyun.com/Helpless_pain/article/details/70313113</link><guid>https://blog.youkuaiyun.com/Helpless_pain/article/details/70313113</guid><author>Helpless_pain</author><pubDate>Fri, 21 Apr 2017 11:38:59 +0800</pubDate><description><![CDATA[Flume:
    ** Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、传输、聚合的系统。
    ** Flume仅仅运行在linux环境下
    ** flume.apache.org(Documentation--Flume User Guide)

Flume体系结构(Architecture)：(见图)
Source： 用于采集数据，So]]></description><category></category></item><item><title><![CDATA[HDFS Federation]]></title><link>https://blog.youkuaiyun.com/Helpless_pain/article/details/70313089</link><guid>https://blog.youkuaiyun.com/Helpless_pain/article/details/70313089</guid><author>Helpless_pain</author><pubDate>Fri, 21 Apr 2017 11:37:10 +0800</pubDate><description><![CDATA[====HDFS Federation=====================================

HDFS Federation
    业务1    namenode1(hdfs01)    日志文件[log]    --> 分析网站PV、UV...    
    业务2    namenode2(hdfs02)    数据库[table]    --> 用户的购买记]]></description><category></category></item><item><title><![CDATA[分析]]></title><link>https://blog.youkuaiyun.com/Helpless_pain/article/details/70313047</link><guid>https://blog.youkuaiyun.com/Helpless_pain/article/details/70313047</guid><author>Helpless_pain</author><pubDate>Fri, 21 Apr 2017 11:34:42 +0800</pubDate><description><![CDATA[数据来源： 2015082818、2015082819

统计每日数据：        
日期          UV   PV   登录人数      游客人数  平均访问时长  二跳率  独立IP数
20150828    23     891    12            20            2s            ...    
20150829    231  ]]></description><category></category></item><item><title><![CDATA[压缩-储存]]></title><link>https://blog.youkuaiyun.com/Helpless_pain/article/details/70228386</link><guid>https://blog.youkuaiyun.com/Helpless_pain/article/details/70228386</guid><author>Helpless_pain</author><pubDate>Tue, 18 Apr 2017 14:50:35 +0800</pubDate><description><![CDATA[====压缩=======================================================
    
Hive常用压缩格式: bzip2, gzip, lzo, snappy ...

注意：hive里要使用某种压缩格式,hadoop必须支持才行，因为hive依赖于Hadoop
查看hadoop是否支持某种压缩的命令：
$ bin/hadoop chec]]></description><category></category></item><item><title><![CDATA[sqoop]]></title><link>https://blog.youkuaiyun.com/Helpless_pain/article/details/70228369</link><guid>https://blog.youkuaiyun.com/Helpless_pain/article/details/70228369</guid><author>Helpless_pain</author><pubDate>Tue, 18 Apr 2017 14:49:07 +0800</pubDate><description><![CDATA[sqoop框架(工具)简介
    ** RDBMS   HDFS、HIVE、HBASE
    ** 原先数据库集群已有的数据 --> HDFS --> 分析
    ** Hive分析结果 -->  RDBMS(mysql) --> 报表展示
    
    ** sqoop.apache.org
        ** apache版本
        ** CDH版本

]]></description><category></category></item><item><title><![CDATA[分区表 UDF]]></title><link>https://blog.youkuaiyun.com/Helpless_pain/article/details/70228340</link><guid>https://blog.youkuaiyun.com/Helpless_pain/article/details/70228340</guid><author>Helpless_pain</author><pubDate>Tue, 18 Apr 2017 14:47:16 +0800</pubDate><description><![CDATA[===分区表=================================================

分区表实例：按照时间来生成和管理日志文件
20160830
    ** 2016083001.log
    ** 2016083002.log
    ** 2016083003.log
    ...
20160831
    ** 2016083101.log]]></description><category></category></item><item><title><![CDATA[Hive]]></title><link>https://blog.youkuaiyun.com/Helpless_pain/article/details/70153873</link><guid>https://blog.youkuaiyun.com/Helpless_pain/article/details/70153873</guid><author>Helpless_pain</author><pubDate>Thu, 13 Apr 2017 09:25:30 +0800</pubDate><description><![CDATA[Hive
    ** Facebook开源
    ** 官网：hive.apache.org
    ** Hive是基于Hadoop的一个数据仓库工具    

Hive与数据库：
数据库: mysql、oracle、DB2、sqlserver
数据仓库 !== 数据库  换言之, Hive不是数据库

为什么要选择hive
    ** MapReduce编程成本高
]]></description><category></category></item><item><title><![CDATA[MapReduce常用数据类型]]></title><link>https://blog.youkuaiyun.com/Helpless_pain/article/details/70153834</link><guid>https://blog.youkuaiyun.com/Helpless_pain/article/details/70153834</guid><author>Helpless_pain</author><pubDate>Thu, 13 Apr 2017 09:22:34 +0800</pubDate><description><![CDATA[MapReduce：
    **  

----MapReduce常用数据类型----------------

ByteWritable：单字节数值
IntWritable：整型数
LongWritable：长整型数
FloatWritable：浮点数
DoubleWritable：双字节数值
BooleanWritable：标准布尔型数值        
Text：使用]]></description><category></category></item><item><title><![CDATA[Zookeeper]]></title><link>https://blog.youkuaiyun.com/Helpless_pain/article/details/70153802</link><guid>https://blog.youkuaiyun.com/Helpless_pain/article/details/70153802</guid><author>Helpless_pain</author><pubDate>Thu, 13 Apr 2017 09:19:59 +0800</pubDate><description><![CDATA[====zookeeper==============================================

ZooKeeper  -- 动物园管理员
    hadoop -- 大象
    Hive   -- 蜜蜂
    pig       -- 猪
    HBase  -- 马
    ...

    ** apache的顶级开源项目
    ** zo]]></description><category></category></item><item><title><![CDATA[集群搭建]]></title><link>https://blog.youkuaiyun.com/Helpless_pain/article/details/70046234</link><guid>https://blog.youkuaiyun.com/Helpless_pain/article/details/70046234</guid><author>Helpless_pain</author><pubDate>Tue, 11 Apr 2017 09:55:39 +0800</pubDate><description><![CDATA[====Hadoop集群======================================================
注：注意修改自己的ID
** 集群
** 伪分布式
    
集群规划：
        blue01           blue02              blue03 
HDFS    namenode                    ]]></description><category></category></item><item><title><![CDATA[mapreduce]]></title><link>https://blog.youkuaiyun.com/Helpless_pain/article/details/69557307</link><guid>https://blog.youkuaiyun.com/Helpless_pain/article/details/69557307</guid><author>Helpless_pain</author><pubDate>Fri, 07 Apr 2017 15:10:54 +0800</pubDate><description><![CDATA[Google三篇论文         Hadoop 
    GFS         –>    HDFS 
    mapreduce   –>    Mapreduce 
    bigtable    –>    HBaseHadoop 
    ** common 
    ** HDFS 
    ** mapreduce 
    ** YARN mapreduce 
    ** 分布]]></description><category></category></item><item><title><![CDATA[HDFS]]></title><link>https://blog.youkuaiyun.com/Helpless_pain/article/details/69390179</link><guid>https://blog.youkuaiyun.com/Helpless_pain/article/details/69390179</guid><author>Helpless_pain</author><pubDate>Thu, 06 Apr 2017 15:31:28 +0800</pubDate><description><![CDATA[====HDFS================================================

HDFS(Hadoop Distributed File System)
    ** block:（见图）
    ** HDFS把文件划分成block存储在不同节点上
        --默认128M（以前是64M，今后可能会变为256M）
        --dfs]]></description><category></category></item><item><title><![CDATA[伪分布式]]></title><link>https://blog.youkuaiyun.com/Helpless_pain/article/details/69225399</link><guid>https://blog.youkuaiyun.com/Helpless_pain/article/details/69225399</guid><author>Helpless_pain</author><pubDate>Wed, 05 Apr 2017 10:06:31 +0800</pubDate><description><![CDATA[企业大数据来源：
    1、企业内部
        ** 日志文件(apache、nginx、tomcat、resin、jboss..)
        ** 数据库(oracle、mysql、DB2)
        ** 用户行为数据
    2、企业外部
        ** 爬虫（python）
        ** 第三方购买（上海数据交易中心）    


大数]]></description><category></category></item><item><title><![CDATA[Linux find命令 | 菜鸟教程]]></title><link>https://blog.youkuaiyun.com/Helpless_pain/article/details/69223196</link><guid>https://blog.youkuaiyun.com/Helpless_pain/article/details/69223196</guid><author>Helpless_pain</author><pubDate>Wed, 05 Apr 2017 09:49:04 +0800</pubDate><description><![CDATA[http://www.runoob.com/linux/linux-comm-find.html]]></description><category></category></item><item><title><![CDATA[Linux系统安装及网络配置]]></title><link>https://blog.youkuaiyun.com/Helpless_pain/article/details/68943832</link><guid>https://blog.youkuaiyun.com/Helpless_pain/article/details/68943832</guid><author>Helpless_pain</author><pubDate>Sat, 01 Apr 2017 13:58:37 +0800</pubDate><description><![CDATA[1.修改主机名(不能以数字开头，大小写英文字符，数字等)
    第一种方式：hostname [主机名]
    临时生效
    第二种方式：# vi /etc/sysconfig/network
        命令行模式
            键盘键入i，左下角出现----INSERT----
        INSERT插入模式：
            HOSTNANM]]></description><category></category></item><item><title><![CDATA[Linux硬盘分区]]></title><link>https://blog.youkuaiyun.com/Helpless_pain/article/details/68942818</link><guid>https://blog.youkuaiyun.com/Helpless_pain/article/details/68942818</guid><author>Helpless_pain</author><pubDate>Sat, 01 Apr 2017 11:43:41 +0800</pubDate><description><![CDATA[[root@com Desktop]# fdisk /dev/sdb 
Device contains neither a valid DOS partition table, nor Sun, SGI or OSF disklabel 
Building a new DOS disklabel with disk identifier 0x75e69255. 
Changes will remai]]></description><category></category></item><item><title><![CDATA[Linux基础命令]]></title><link>https://blog.youkuaiyun.com/Helpless_pain/article/details/68929231</link><guid>https://blog.youkuaiyun.com/Helpless_pain/article/details/68929231</guid><author>Helpless_pain</author><pubDate>Fri, 31 Mar 2017 19:46:55 +0800</pubDate><description><![CDATA[Linux基础
 一、基础命令
    1、ls：列出当前目录下的的文件或目录
    2、ls -a ：列出当前目录下所有的文件和目录（包括隐藏文件）
    3、ls -l ：显示文件的详细信息（长格式的信息查看），相当于 ll
       ls -hl:显示文件的详细信息和文件的大小
       ls -al:列出当前目录下所有的文件和目录的详细信息
       ls -]]></description><category></category></item></channel></rss>