<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[亡の剑指]]></title><description><![CDATA[Talk is cheap,show me the code!]]></description><link>https://blog.youkuaiyun.com/cuirong1986</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; cuirong1986]]></copyright><item><title><![CDATA[hadoop 2.5.0 capacitySchedule Application Queues 参数解析]]></title><link>https://blog.youkuaiyun.com/cuirong1986/article/details/42008027</link><guid>https://blog.youkuaiyun.com/cuirong1986/article/details/42008027</guid><author>cuirong1986</author><pubDate>Thu, 18 Dec 2014 17:31:55 +0800</pubDate><description><![CDATA[web UI中队列各项参数含义：


Queue State:
RUNNING  

Used Capacity:
0.0%  已使用资源占队列配置值的百分比

Absolute Used Capacity:
0.0%  已使用资源占集群的百分比

Absolute Capacity:
90.0% 集群最小可使用容量

Absolute Max Capacity:
]]></description><category></category></item><item><title><![CDATA[hbase运维笔记]]></title><link>https://blog.youkuaiyun.com/cuirong1986/article/details/41847917</link><guid>https://blog.youkuaiyun.com/cuirong1986/article/details/41847917</guid><author>cuirong1986</author><pubDate>Wed, 10 Dec 2014 16:34:26 +0800</pubDate><description><![CDATA[（hbase0.98.7 + hadoop2.5.0）




hbase启动后，master马上挂掉，错误很诡异：




2014-12-10 15:45:59,239 DEBUG [master:XX-249-83:60000] zookeeper.ZKAssign: master:60000-0x34a32d840170020, quorum=XX-249-75:218]]></description><category></category></item><item><title><![CDATA[linux ssh 无密码登陆笔记]]></title><link>https://blog.youkuaiyun.com/cuirong1986/article/details/41681341</link><guid>https://blog.youkuaiyun.com/cuirong1986/article/details/41681341</guid><author>cuirong1986</author><pubDate>Tue, 02 Dec 2014 17:23:26 +0800</pubDate><description><![CDATA[首先要整明白ssh的相关原理和配置文件准备。




第一，配置文件目录：/etc/ssh/,（debian系统）

 ssh_config文件需要注意的有,是否需要代理转发（#   ForwardAgent yes），是否更改了默认的端口22（#   Port 22）

 sshd_config是ssh服务配置文件，更改后要重启ssh服务。需要注意的有，是否允许root用户无密]]></description><category></category></item><item><title><![CDATA[mahout笔记：基于用户的推荐例子]]></title><link>https://blog.youkuaiyun.com/cuirong1986/article/details/40113845</link><guid>https://blog.youkuaiyun.com/cuirong1986/article/details/40113845</guid><author>cuirong1986</author><pubDate>Wed, 15 Oct 2014 17:24:01 +0800</pubDate><description><![CDATA[数据准备：

1,10,1.0
1,11,2.0
1,12,5.0
1,13,5.0
1,14,5.0
1,15,4.0
1,16,5.0
1,17,1.0
1,18,5.0
2,10,1.0
2,11,2.0
2,15,5.0
2,16,4.5
2,17,1.0
2,18,5.0
3,11,2.5
3,12,4.5
3,13,4.0
3,14,3.0
3,15,3.5
3,16,4.5
3,]]></description><category></category></item><item><title><![CDATA[storm使用中遇到的问题]]></title><link>https://blog.youkuaiyun.com/cuirong1986/article/details/39119049</link><guid>https://blog.youkuaiyun.com/cuirong1986/article/details/39119049</guid><author>cuirong1986</author><pubDate>Sun, 07 Sep 2014 12:28:11 +0800</pubDate><description><![CDATA[1、异常：Caused by: java.util.jar.JarException:file:/home/data/storm/supervisor/stormdist/testtest22-38-1408443230/stormjar.jarhas unsigned entries - 。。。
  at javax.crypto.JarVerifier.verifySingleJar(Jar]]></description><category></category></item><item><title><![CDATA[flume+kafka+storm调研]]></title><link>https://blog.youkuaiyun.com/cuirong1986/article/details/37657819</link><guid>https://blog.youkuaiyun.com/cuirong1986/article/details/37657819</guid><author>cuirong1986</author><pubDate>Thu, 10 Jul 2014 16:14:45 +0800</pubDate><description><![CDATA[1、zookeeper集群，storm和kafka可以共用，最好独立机器安装。
2、在web容器所在所有机器安装flume，分别启动agent，监听特定目录，发送消息到kafka。
3、配置多个broker的kafka集群，在每台机器分别启动kafkaserver,接收来自flumekafkasink的数据，写入kafka集群的分区。
4、在storm集群某一节点启动nimbus，在其他节点]]></description><category></category></item><item><title><![CDATA[storm笔记（一）]]></title><link>https://blog.youkuaiyun.com/cuirong1986/article/details/37657685</link><guid>https://blog.youkuaiyun.com/cuirong1986/article/details/37657685</guid><author>cuirong1986</author><pubDate>Thu, 10 Jul 2014 15:59:25 +0800</pubDate><description><![CDATA[环境配置：
 
在每个节点上操作：
1、下载，解压，配置环境变量。
2、依赖安装
3、修改storm.yaml
 
启动zookeeper。
启动nimbus。
启动若干supervisor。
启动ui。
序列化：0.6版本以后变化大。
使用kyro序列化。
处理的字段类型是动态的。
 
事务的概念：每个流要有唯一id，第一次执行成功，再一次执行会跳过。保证只执行一次]]></description><category></category></item><item><title><![CDATA[kafka笔记（一）]]></title><link>https://blog.youkuaiyun.com/cuirong1986/article/details/37657559</link><guid>https://blog.youkuaiyun.com/cuirong1986/article/details/37657559</guid><author>cuirong1986</author><pubDate>Thu, 10 Jul 2014 15:54:14 +0800</pubDate><description><![CDATA[每个分区是一段提交日志，有偏移量。队列里的topic可配置过期时间，
consumer控制读取的位置offset，consumer之间互不影响。分区是分布式的，所有请求由leader处理，如果配置了副本数，则有对应的follwer。
 
consumer group：实现了消息队列和广播。
topic会发到每个consumer group的其中一个consumer实例。
相对于传统pub]]></description><category></category></item><item><title><![CDATA[flume笔记（一）]]></title><link>https://blog.youkuaiyun.com/cuirong1986/article/details/37657473</link><guid>https://blog.youkuaiyun.com/cuirong1986/article/details/37657473</guid><author>cuirong1986</author><pubDate>Thu, 10 Jul 2014 15:46:45 +0800</pubDate><description><![CDATA[从不同的源收集，聚合日志，传输到存储系统。
 

 
 
source用来读取数据，可以是各种客户端，或者来自另一个agent，存入channel，sink来消费，整个过程是异步的。
 
event只有在被成功存入下一个agent的channel里（多个agent）或最终目的地（单个agent）时才删除，确保可靠性。
 
Channel
有文件和内存两种。
 
多个实例要指]]></description><category></category></item><item><title><![CDATA[用一个MapReduce job实现去重，多目录输出功能]]></title><link>https://blog.youkuaiyun.com/cuirong1986/article/details/37654951</link><guid>https://blog.youkuaiyun.com/cuirong1986/article/details/37654951</guid><author>cuirong1986</author><pubDate>Thu, 10 Jul 2014 13:40:03 +0800</pubDate><description><![CDATA[总结之前工作中遇到的一个问题。


背景：
运维用scribe从apache服务器推送过来的日志有重复记录，所以这边的ETL处理要去重，还有个需求是要按业务类型多目录输出，方便挂分区，后面的使用。
这两个需求单独处理都没有问题，但要在一个mapreduce里完成，需要一点技巧。


1、map输入数据，经过一系列处理，输出时：
 if(ttype.equals("other"))]]></description><category></category></item><item><title><![CDATA[phoenix 一些东西（1）]]></title><link>https://blog.youkuaiyun.com/cuirong1986/article/details/27682071</link><guid>https://blog.youkuaiyun.com/cuirong1986/article/details/27682071</guid><author>cuirong1986</author><pubDate>Fri, 30 May 2014 15:45:27 +0800</pubDate><description><![CDATA[如果集群不允许Eclipse远程连接，则jdbc的测试需要打包后丢到集群上：
java-Djava.ext.dirs=/home/hbase/hbase-0.94.14/lib/:/home/hbase/hbase-0.94.14/
 -jar PhoenixCRUD.jar
 
Phoenix
的创建表，索引，查询基本没什么可说，测试了下，百万级数据的聚合查询，建索引比不建索引查询时间]]></description><category></category></item><item><title><![CDATA[oozie 4.0.1版本功能]]></title><link>https://blog.youkuaiyun.com/cuirong1986/article/details/26933677</link><guid>https://blog.youkuaiyun.com/cuirong1986/article/details/26933677</guid><author>cuirong1986</author><pubDate>Tue, 27 May 2014 17:36:04 +0800</pubDate><description><![CDATA[oozie 1.x 运行mapreduce，pig任务的工作流job]]></description><category></category></item><item><title><![CDATA[phoenix 一点了解]]></title><link>https://blog.youkuaiyun.com/cuirong1986/article/details/26724667</link><guid>https://blog.youkuaiyun.com/cuirong1986/article/details/26724667</guid><author>cuirong1986</author><pubDate>Fri, 23 May 2014 17:07:46 +0800</pubDate><description><![CDATA[hbase 0.94版本支持按一个cf一个column的sum聚合
从hbase0.96开始取消了对应类，可以配合phoenix使用实现相应功能。
 
phoenix2,3支持hbase0.94
2.1版本以后支持可变数据的索引。
 
1、使用shell
命令行操作sql
2、使用java api (jdbc操作，唯一不同点是协议：jdbc:phoenix)
3、批量加载进pho]]></description><category></category></item><item><title><![CDATA[hive 元数据的一点问题]]></title><link>https://blog.youkuaiyun.com/cuirong1986/article/details/26724101</link><guid>https://blog.youkuaiyun.com/cuirong1986/article/details/26724101</guid><author>cuirong1986</author><pubDate>Fri, 23 May 2014 17:04:17 +0800</pubDate><description><![CDATA[hive升级到了0.9，发现以前用的查看建表语句的脚本不能用了，研究了下，有个元数据表在0.7版本叫COLUMNS，目前用的0.9版本变成COLUMN_V2,
并且表结构也变了，之前查询字段体的语句这样：


SELECT concat(' ',C.COLUMN_NAME,' ',C.TYPE_NAME,(case when C.COMMENT is not null then conca]]></description><category></category></item><item><title><![CDATA[HDFS Federation(HDFS 联邦)（hadoop2.3）]]></title><link>https://blog.youkuaiyun.com/cuirong1986/article/details/23461047</link><guid>https://blog.youkuaiyun.com/cuirong1986/article/details/23461047</guid><author>cuirong1986</author><pubDate>Fri, 11 Apr 2014 18:15:02 +0800</pubDate><description><![CDATA[最早接触Federation这个词还是第一家公司用的DB2联邦数据库。


第一代hadoop HDFS：




结构上由一个namenode和众多datanode组成。
功能上划分为namespace和block storage service 两部分。


所谓的HDFS Federation就是有多个namenode（或者说namespace）。
如图：

]]></description><category></category></item><item><title><![CDATA[基本排序算法复习]]></title><link>https://blog.youkuaiyun.com/cuirong1986/article/details/21610155</link><guid>https://blog.youkuaiyun.com/cuirong1986/article/details/21610155</guid><author>cuirong1986</author><pubDate>Thu, 20 Mar 2014 12:52:45 +0800</pubDate><description><![CDATA[排序算法：


1、冒泡排序


双层循环，内层循环一圈得出一个最小（最大）值。循环和交换复杂度均为n*n。
for(int i=0;i
{
    for(int j=i+1;j
    {
       int temp;
       if(src[i]>src[j])
       {
           temp=src[j];
           sr]]></description><category></category></item><item><title><![CDATA[BusinessOBject analysis + sqlserver analysis service 开发文档]]></title><link>https://blog.youkuaiyun.com/cuirong1986/article/details/10458609</link><guid>https://blog.youkuaiyun.com/cuirong1986/article/details/10458609</guid><author>cuirong1986</author><pubDate>Wed, 28 Aug 2013 16:56:03 +0800</pubDate><description><![CDATA[一些概念：

OLAP




核心——维、度量、聚合
多维视图，数据立方(Data Cube)
目标——多维分析
 
特点
灵活、动态、快速
多角度、多层次的视角
 
BI = DataWarehouse + OLAP + Data Mining
 
Bo Analysis OLAP版（office版）       ---报表层
SSAS （cognos，es]]></description><category></category></item><item><title><![CDATA[MapReduce Design Patterns（chapter 7 （part 2））（十四）]]></title><link>https://blog.youkuaiyun.com/cuirong1986/article/details/8528317</link><guid>https://blog.youkuaiyun.com/cuirong1986/article/details/8528317</guid><author>cuirong1986</author><pubDate>Tue, 22 Jan 2013 09:04:42 +0800</pubDate><description><![CDATA[External Source Input
Pattern Description
这种模式不从hdfs加载数据，而是从hadoop以外系统，例如RDB或web service加载。
Intent
想要从非MapReduce框架的系统并行加载数据。
Motivation
使用MapReduce分析数据通常的做法是把数据先存储到存储平台上，例如hdfs，然后分析。用这中模式，你可以使用M]]></description><category></category></item><item><title><![CDATA[MapReduce Design Patterns（chapter 7 （part 1））（十三）]]></title><link>https://blog.youkuaiyun.com/cuirong1986/article/details/8510162</link><guid>https://blog.youkuaiyun.com/cuirong1986/article/details/8510162</guid><author>cuirong1986</author><pubDate>Wed, 16 Jan 2013 16:52:54 +0800</pubDate><description><![CDATA[CHAPTER 7.Input and Output Patterns
本章关注一个最经常忽略的问题，来改进MapReduce
的value：自定义输入和输出。我们并不会总使用Mapreduce本身的方式加载或存储数据。有时，可以跳过在hdfs存储数据这项耗时的阶段，仅存储一些数据，不是全部的，或直接在MapReduce结束后输送给后面的处理。有时，基本的Hadoop规范，文件块和输入分割不能]]></description><category></category></item><item><title><![CDATA[MapReduce Design Patterns（chapter 6 （part 2））（十二）]]></title><link>https://blog.youkuaiyun.com/cuirong1986/article/details/8502460</link><guid>https://blog.youkuaiyun.com/cuirong1986/article/details/8502460</guid><author>cuirong1986</author><pubDate>Mon, 14 Jan 2013 20:59:56 +0800</pubDate><description><![CDATA[Chain Folding
这是对job 链的一种优化。基本上是一种大体规则：每条记录都会提交给多个mapper，或者给reducer然后给mapper。这种综合处理方法会节省很多读文件和传输数据的时间。多个job的结构通常这样处理是可行的，因为map阶段是完全无共享的：看起来每条记录是单独的，数据的组织或是否分组是没有关系的。当创建大的MapReduce链时，合并这个链使多个map阶段合并会带]]></description><category></category></item></channel></rss>