<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[苏的博客]]></title><description><![CDATA[http://weibo.com/cheersu]]></description><link>https://blog.youkuaiyun.com/cheersu</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; cheersu]]></copyright><item><title><![CDATA[Hive Job log解析——perl脚本]]></title><link>https://blog.youkuaiyun.com/cheersu/article/details/8468742</link><guid>https://blog.youkuaiyun.com/cheersu/article/details/8468742</guid><author>cheersu</author><pubDate>Sat, 05 Jan 2013 14:55:13 +0800</pubDate><description><![CDATA[Hive Job log解析 
cat parseHiveJobLog.pl
use Data::Dumper;

if (!defined($ARGV[0]) or $ARGV[0] eq '')
{
    print "useage: perl parseJobHistory.pl filename\n";
    exit;
}

my $filename = $ARGV[0];
my]]></description><category></category></item><item><title><![CDATA[Hadoop Job History解析——perl脚本]]></title><link>https://blog.youkuaiyun.com/cheersu/article/details/8393385</link><guid>https://blog.youkuaiyun.com/cheersu/article/details/8393385</guid><author>cheersu</author><pubDate>Sun, 23 Dec 2012 14:31:15 +0800</pubDate><description><![CDATA[通过解析job history日志和job config文件可以获得Job的具体运行情况，包括job的配置信息、运行状态及task、Attempt的运行状态和相应的counter。脚本如下：
parseJobHistory.pl
use File::Basename;
use XML::Simple;
use Data::Dumper;

if (!defined($ARGV[0]) or $]]></description><category></category></item><item><title><![CDATA[hive 自定义UDF UDAF UDTF]]></title><link>https://blog.youkuaiyun.com/cheersu/article/details/8333045</link><guid>https://blog.youkuaiyun.com/cheersu/article/details/8333045</guid><author>cheersu</author><pubDate>Wed, 19 Dec 2012 18:36:34 +0800</pubDate><description><![CDATA[UDF步骤：

1.继承org.apache.hadoop.hive.ql.exec.UDF
2.实现evaluate函数，evaluate函数支持重载
package cn.sina.stat.hive.udf;
import java.util.Arrays;
import org.apache.hadoop.hive.ql.exec.UDF;
public final class S]]></description><category></category></item><item><title><![CDATA[HIVE体系架构]]></title><link>https://blog.youkuaiyun.com/cheersu/article/details/8314973</link><guid>https://blog.youkuaiyun.com/cheersu/article/details/8314973</guid><author>cheersu</author><pubDate>Tue, 18 Dec 2012 16:17:47 +0800</pubDate><description><![CDATA[*注：本文基于hive-0.8.1写的

架构图：



一、   service
1、       hive有三种service，分别是cli，hiveserver和hwi。
2、       cli是命令行工具，为默认服务，启动方式$HIVE_HOME/bin/hive 或 $HIVE_HOME/bin/hive --service cli。
3、       hiverse]]></description><category></category></item><item><title><![CDATA[hadoop集群目录配置与注意事项]]></title><link>https://blog.youkuaiyun.com/cheersu/article/details/8200440</link><guid>https://blog.youkuaiyun.com/cheersu/article/details/8200440</guid><author>cheersu</author><pubDate>Mon, 19 Nov 2012 17:38:26 +0800</pubDate><description><![CDATA[一、目录配置参数说明





参数
描述
备注
位置


hadoop.tmp.dir
临时目录，其它临时目录的父目录。
本地或hdfs


dfs.name.dir
nameNode的元数据(fsimage)存储目录。
以逗号隔开，hdfs会把数据冗余复制到这些目录，一般这些目录是不同的块设备，不存在的目录会被忽略掉。
namenode本地


d]]></description><category></category></item><item><title><![CDATA[hadoop http address绑定内网地址]]></title><link>https://blog.youkuaiyun.com/cheersu/article/details/8191743</link><guid>https://blog.youkuaiyun.com/cheersu/article/details/8191743</guid><author>cheersu</author><pubDate>Fri, 16 Nov 2012 17:25:51 +0800</pubDate><description><![CDATA[hadoop默认配置里http address接口domain段均为0.0.0.0，表示可通过任一网卡访问http接口，对于双网卡服务器(一个内网，一个外网)，意味着公网用户可以随意访问hadoop系统开放的web资源，存在极大的安全隐患。
我们可以修改配置将domain段替换成内网IP，这对于dfs.http.address、mapred.job.tracker.http.address没什么]]></description><category></category></item><item><title><![CDATA[secondaryNamenode配置与nameNode故障恢复]]></title><link>https://blog.youkuaiyun.com/cheersu/article/details/8183052</link><guid>https://blog.youkuaiyun.com/cheersu/article/details/8183052</guid><author>cheersu</author><pubDate>Wed, 14 Nov 2012 15:38:52 +0800</pubDate><description><![CDATA[*注：本文基于0.20.2配置测试，0.21以后已改成Checkpoint Node和Backup Node
一、配置
1. 在masters文件中添加 Secondary节点的主机名。
*注：masters文件用于指定secondary的主机而不是namenode，slaves用于指定datanode和tasktracker，
  namenode由core-site.xml fs.de]]></description><category></category></item><item><title><![CDATA[oozie hive action注意事项]]></title><link>https://blog.youkuaiyun.com/cheersu/article/details/8179709</link><guid>https://blog.youkuaiyun.com/cheersu/article/details/8179709</guid><author>cheersu</author><pubDate>Tue, 13 Nov 2012 18:31:10 +0800</pubDate><description><![CDATA[注：本文指针对版本oozie-3.2.0-incubating。
oozie-hive注意事项：
理论上将hive相关的配置放在oozie.hive.defaults属性指定的文件(hive-default.xml)即可，如下：

                
                    oozie.hive.defaults
                    hiv]]></description><category></category></item><item><title><![CDATA[oozie web-console 时间本地化]]></title><link>https://blog.youkuaiyun.com/cheersu/article/details/8179661</link><guid>https://blog.youkuaiyun.com/cheersu/article/details/8179661</guid><author>cheersu</author><pubDate>Tue, 13 Nov 2012 18:05:44 +0800</pubDate><description><![CDATA[Oozie web console(版本oozie-3.2.0-incubating)显示的时间是GMT，始终跟北京时间差8个小时，且格式不好看，通过修改$OOZIE_HOME/oozie-server/webapps/oozie/oozie-console.js可以将时间本地化(此修改只涉及web console显示，不影响任何后端处理、日志等)
1、增加函数getLocalTime
fun]]></description><category></category></item><item><title><![CDATA[Hadoop 权限管理]]></title><link>https://blog.youkuaiyun.com/cheersu/article/details/8080162</link><guid>https://blog.youkuaiyun.com/cheersu/article/details/8080162</guid><author>cheersu</author><pubDate>Wed, 17 Oct 2012 10:28:20 +0800</pubDate><description><![CDATA[如下图，hadoop访问控制分为两级，其中ServiceLevel Authorization为系统级，用于控制是否可以访问指定的服务，例如用户/组是否可以向集群提交Job，它是最基础的访问控制，优先于文件权限和mapred队列权限验证。Access Control on Job Queues在job调度策略层之上，控制mapred队列的权限。DFSPermmision用户控制文件权限。目前版本中]]></description><category></category></item><item><title><![CDATA[关于memcache]]></title><link>https://blog.youkuaiyun.com/cheersu/article/details/4768103</link><guid>https://blog.youkuaiyun.com/cheersu/article/details/4768103</guid><author>cheersu</author><pubDate>Wed, 04 Nov 2009 16:35:00 +0800</pubDate><description><![CDATA[addServer(ip,port)增加多台服务器，并记录servernum。get或set时通过crc32($key)%servernum来指定某台具体的服务器。缺点，增减服务器时由于servernum变化，可能会导致所有的key-value都失效 memcache内存管理通过观察getExtendedStats()返回的[curr_items]可知：1、某key-val]]></description><category></category></item><item><title><![CDATA[REMOTE_ADDR、HTTP_CLIENT_IP与HTTP_X_FORWARDED_FOR]]></title><link>https://blog.youkuaiyun.com/cheersu/article/details/4325841</link><guid>https://blog.youkuaiyun.com/cheersu/article/details/4325841</guid><author>cheersu</author><pubDate>Mon, 06 Jul 2009 17:16:00 +0800</pubDate><description><![CDATA[REMOTE_ADDR 是跟服务器“握手”的IP，如果使用代理服务器则为代理服务器的IP，没有代理则为客户端的IP。HTTP_CLIENT_IP 是由UserAgent向HTTP头写入的，例如由IE写入，有些UserAgent可能不写HTTP_CLIENT_IP，HTTP_CLIENT_IP可被伪造。HTTP_X_FORWARDED_FOR 仅当使用代理服务器时存在，由代理服务器写入H]]></description><category></category></item><item><title><![CDATA[LVS IPVS负载均衡机制详解]]></title><link>https://blog.youkuaiyun.com/cheersu/article/details/4282417</link><guid>https://blog.youkuaiyun.com/cheersu/article/details/4282417</guid><author>cheersu</author><pubDate>Fri, 19 Jun 2009 11:42:00 +0800</pubDate><description><![CDATA[ IPVS的负载均衡机制有三种：         VirtualServer via NAT         VirtualServer via IP Tunneling         VirtualServer via Direct Routing 1、  NAThttp://www.linuxvirtualserver.org/VS-NAT.html]]></description><category></category></item><item><title><![CDATA[面向对象设计(OOD)方法与步骤]]></title><link>https://blog.youkuaiyun.com/cheersu/article/details/4225211</link><guid>https://blog.youkuaiyun.com/cheersu/article/details/4225211</guid><author>cheersu</author><pubDate>Sat, 30 May 2009 02:14:00 +0800</pubDate><description><![CDATA[   尽管对OOD的地位和作用已经有一定的知识，但目前还没有现成的，形式化的方法论。相应的工具也处于研究之中。下面简要介绍OOD的基本方法和步骤    1.类的认定    OOD中关于类的认定与OOA中关于对象的认定有着密切关系。但是OOD中对类的认定，不能像OOA中那样以准确反映问题空间为衡量准则，更多的要考虑通过对类以及类层次结构的认定，寻找解空间的基本结构，并为实现提供有效的支持。 ]]></description><category></category></item><item><title><![CDATA[面向对象设计(OOD)基本原理]]></title><link>https://blog.youkuaiyun.com/cheersu/article/details/4225210</link><guid>https://blog.youkuaiyun.com/cheersu/article/details/4225210</guid><author>cheersu</author><pubDate>Sat, 30 May 2009 02:13:00 +0800</pubDate><description><![CDATA[OOD是在设计原理上与传统方法完全不同的一种新型的系统设计方法。    1.OOD的核心概念是对象    OOD既不是功能、也不是数据的分解过程；而是首先在现实世界中寻找、识别出影响用户解决问题、并必须进行操纵的对象；然后用计算机中的软件对象来仿真现实世界的对象和行为。    2.OOD的出发点是充分重视人工系统的作用    现实世界问题的解早已存在于人工系统中，人工系统总结了人们]]></description><category></category></item><item><title><![CDATA[从面向对象分析(OOA)到面向对象设计(OOD)]]></title><link>https://blog.youkuaiyun.com/cheersu/article/details/4225208</link><guid>https://blog.youkuaiyun.com/cheersu/article/details/4225208</guid><author>cheersu</author><pubDate>Sat, 30 May 2009 02:12:00 +0800</pubDate><description><![CDATA[从OOA到OOD是对现实世界的进一步建模。从概念上，OOA主要是对现实世界的问题空间建模，其分析侧重于整体，较为粗糙（粒度较大）的研究。而OOD则要求对特定的解空间建模，通常OOD又可分为概要的（或总体的）OOD 和详细的OOD两个阶段。OOA是完全独立于编程语言，概要的OOD  仍保持较大部分独立于编程语言的特点、详细的OOD则与编程语言有密切关系。显然，若能采用面向对象的编程语言，会更有利于O]]></description><category></category></item><item><title><![CDATA[面向对象的系统分析(三)-面向对象分析基本方法]]></title><link>https://blog.youkuaiyun.com/cheersu/article/details/4225207</link><guid>https://blog.youkuaiyun.com/cheersu/article/details/4225207</guid><author>cheersu</author><pubDate>Sat, 30 May 2009 02:11:00 +0800</pubDate><description><![CDATA[OOA方法共分为五大步骤：标识对象，标识结构，标识主题，定义属性及定义服务。下面分别作一简要介绍。    1.标识对象    OOA中的对象实质上是类，它可定义为对数据和在其上执行操作的抽象，反映出一个系统为现实世界的事物保存信息及与其发生相互作用的能力；同时它也是属性的值以及这些属性上专有操作的封装。    可以用单个名词或形容词名词作为对象名，当然采用问题空间的标准名称作为对象名更]]></description><category></category></item><item><title><![CDATA[面向对象的系统分析(二)-面向对象分析基本原理]]></title><link>https://blog.youkuaiyun.com/cheersu/article/details/4225205</link><guid>https://blog.youkuaiyun.com/cheersu/article/details/4225205</guid><author>cheersu</author><pubDate>Sat, 30 May 2009 02:06:00 +0800</pubDate><description><![CDATA[OOA建立在信息模型和面向对象程序设计语言的概念基础上。从信息模型中提取了属性、关系、结构以及对象作为问题空间中某些事物的实例表示方法等概念；从面向对象程序设计语言中提取了属性和方法的封装、属性和方法作为一个不可分割的整 体、以及分类结构和继承性等概念。OOA方法可表示为：    OOA方法=对象+类+继承性+基于消息的通信    OOA主要采用4条基本原理    1.抽象原理  ]]></description><category></category></item><item><title><![CDATA[面向对象的系统分析(一)-系统分析方法]]></title><link>https://blog.youkuaiyun.com/cheersu/article/details/4225203</link><guid>https://blog.youkuaiyun.com/cheersu/article/details/4225203</guid><author>cheersu</author><pubDate>Sat, 30 May 2009 02:05:00 +0800</pubDate><description><![CDATA[面向对象的观点，首先是在程序设计语言中得到表达与实现。正如结构化程序设计的思想很快被用到系统分析与系统设计的方法中去一样，面向对象方法也很快引起系统分析方法论者的注意.在OOP蓬勃发展的80年代,面向对象的系统分析（OOA)和面向对象的系统设计(OOD)也开始发展起来。进入90年代以后,OOA和OOD的方法逐渐走向实用化,一些专家按面向对象思想，对系统分析和系统设计工作的步骤，方法，图形工具等进行]]></description><category></category></item><item><title><![CDATA[几种典型的面向对象开发方法]]></title><link>https://blog.youkuaiyun.com/cheersu/article/details/4225199</link><guid>https://blog.youkuaiyun.com/cheersu/article/details/4225199</guid><author>cheersu</author><pubDate>Sat, 30 May 2009 01:59:00 +0800</pubDate><description><![CDATA[摘 要 自80年代后期以来，相继出现了多种面向对象开发方法，文章主要介绍了其中六种典型的面向对象开发方法，并对它们进行了比较。UML的出现意味着开发方法统一化、标准化的新发展，标志着软件自动化的进程又迈进了一步。关键字 面向对象开发方法 典型 比较 一、引言随着计算机科学的发展和应用领域的不断扩大，对计算机技术的要求越来越高。特别是当计算机硬件有了飞速发展之后，各种应用领域对软件提]]></description><category></category></item></channel></rss>