<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[扑腾蛾子]]></title><description><![CDATA[带着眼镜的，肥胖的，扑腾蛾子]]></description><link>https://blog.youkuaiyun.com/xiaochawan</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; xiaochawan]]></copyright><item><title><![CDATA[Hadoop集群部署配置文档（第2部分）]]></title><link>https://blog.youkuaiyun.com/xiaochawan/article/details/9007765</link><guid>https://blog.youkuaiyun.com/xiaochawan/article/details/9007765</guid><author>xiaochawan</author><pubDate>Sun, 02 Jun 2013 18:52:55 +0800</pubDate><description><![CDATA[1. CentOS配置
1.1 同步时间
1) 配置时间同步
crontab -e
   5 2 * * * /usr/sbin/ntpdate cn.pool.ntp.org && /sbin/hwclock -w
2) 手动同步时间
/usr/sbin/ntpdate cn.pool.ntp.org
1.2 关闭防火墙
1.3 调整openfiles
1) 查看： ulimi]]></description><category></category></item><item><title><![CDATA[Hadoop集群部署配置文档（第1部分）]]></title><link>https://blog.youkuaiyun.com/xiaochawan/article/details/9007757</link><guid>https://blog.youkuaiyun.com/xiaochawan/article/details/9007757</guid><author>xiaochawan</author><pubDate>Sun, 02 Jun 2013 18:45:29 +0800</pubDate><description><![CDATA[1. 概述
本文档是hadoop集群的部署配置文档，详细描述了hadoop生产集群的安装步骤与配置参数。
本文档涉及软件版本如下：




序号


软件


版本




1


操作系统


CentOS5.5




2


JDK


JDK1.6.0_31




3


hadoop


Clo]]></description><category></category></item><item><title><![CDATA[Apache Flume - HDFSSink]]></title><link>https://blog.youkuaiyun.com/xiaochawan/article/details/9005625</link><guid>https://blog.youkuaiyun.com/xiaochawan/article/details/9005625</guid><author>xiaochawan</author><pubDate>Sun, 02 Jun 2013 12:44:10 +0800</pubDate><description><![CDATA[这篇文章是关于Flume HDFSSink的，以Flume-1.3.1版为依据。Flume设计目标是：高效收集聚合大量的日志数据。Fluem是一个可靠的、可用的、分布式日志收集聚合系统。Flume体系结构基于流式数据流设计。其中Flume Sink主要承担将数据传输到下一跳或最终目的的任务。
       
        HDFSSink用来将数据写入Hadoop分布式文件系统（HDFS）中]]></description><category></category></item><item><title><![CDATA[Apache Flume - File通道]]></title><link>https://blog.youkuaiyun.com/xiaochawan/article/details/8996102</link><guid>https://blog.youkuaiyun.com/xiaochawan/article/details/8996102</guid><author>xiaochawan</author><pubDate>Thu, 30 May 2013 19:14:31 +0800</pubDate><description><![CDATA[原文链接：https://blogs.apache.org/flume/entry/apache_flume_filechannel
说明：翻译在尽量符合原文表达的基础上，尽量保证行文流畅。水平有限，请多指正！
这篇文章是关于Flume FileChannel的。Flume是为高效收集聚合大量日志数据设计的可靠的、可用的分布式系统。它有一个基于流式数据流的简单灵活的体系。它提供了可控的可靠机制]]></description><category></category></item><item><title><![CDATA[flume ng配置拓扑图]]></title><link>https://blog.youkuaiyun.com/xiaochawan/article/details/8986888</link><guid>https://blog.youkuaiyun.com/xiaochawan/article/details/8986888</guid><author>xiaochawan</author><pubDate>Tue, 28 May 2013 22:25:17 +0800</pubDate><description><![CDATA[生产环境flume ng配置拓扑图。超级详细]]></description><category></category></item><item><title><![CDATA[Flume1.3.1配置-汇聚节点]]></title><link>https://blog.youkuaiyun.com/xiaochawan/article/details/8986831</link><guid>https://blog.youkuaiyun.com/xiaochawan/article/details/8986831</guid><author>xiaochawan</author><pubDate>Tue, 28 May 2013 22:11:14 +0800</pubDate><description><![CDATA[#===newlog-collector CONFIG START=======================================================================================


newlog-collector.sources = updatelog
newlog-collector.sinks = updatelog]]></description><category></category></item><item><title><![CDATA[Flume1.3.1配置-日志节点]]></title><link>https://blog.youkuaiyun.com/xiaochawan/article/details/8986811</link><guid>https://blog.youkuaiyun.com/xiaochawan/article/details/8986811</guid><author>xiaochawan</author><pubDate>Tue, 28 May 2013 22:07:29 +0800</pubDate><description><![CDATA[#====flume1.3.1带负载均衡的配置==========================================================================================


newlog-agent.sources=updatelog
newlog-agent.sinks=updatelog updatelog2
newlog-a]]></description><category></category></item><item><title><![CDATA[使用Flume NG构建数据收集系统(第一部分 Flume介绍)]]></title><link>https://blog.youkuaiyun.com/xiaochawan/article/details/8986489</link><guid>https://blog.youkuaiyun.com/xiaochawan/article/details/8986489</guid><author>xiaochawan</author><pubDate>Tue, 28 May 2013 21:04:49 +0800</pubDate><description><![CDATA[Flume是什么


收集、聚合事件流数据的分布式框架通常用于log数据采用ad-hoc方案，明显优点如下：

可靠的、可伸缩、可管理、可定制、高性能声明式配置，可以动态更新配置提供上下文路由功能支持负载均衡和故障转移功能丰富完全的可扩展

核心概念



EventClientAgent

Sources、Channels、Sinks其他组件：Interceptors、]]></description><category></category></item><item><title><![CDATA[什么是oozie]]></title><link>https://blog.youkuaiyun.com/xiaochawan/article/details/8937261</link><guid>https://blog.youkuaiyun.com/xiaochawan/article/details/8937261</guid><author>xiaochawan</author><pubDate>Thu, 16 May 2013 21:56:47 +0800</pubDate><description><![CDATA[Oozie是一种Java Web应用程序，它运行在Java servlet容器——即Tomcat——中，并使用数据库来存储以下内容：



工作流定义当前运行的工作流实例，包括实例的状态和变量


Oozie工作流是放置在控制依赖DAG（有向无环图 Direct Acyclic Graph）中的一组动作（例如，Hadoop的Map/Reduce作业、Pig作业等），其中指定了动作执行]]></description><category></category></item><item><title><![CDATA[安装Apache Pig]]></title><link>https://blog.youkuaiyun.com/xiaochawan/article/details/8932947</link><guid>https://blog.youkuaiyun.com/xiaochawan/article/details/8932947</guid><author>xiaochawan</author><pubDate>Wed, 15 May 2013 23:28:21 +0800</pubDate><description><![CDATA[Pig 安装配置过程还是很简单的，在已有的 Hadoop
 集群环境(需要首先安装hadoop和配置hadoop环境变量)下具体的操作过程如下：
1、安装版本
     pig-0.11.1
     最新版本可以从http://pig.apache.org/releases.html#Download下载
2、安装目录
      /usr/local/pig-0.11.1
3、安]]></description><category></category></item><item><title><![CDATA[什么是Apache Pig]]></title><link>https://blog.youkuaiyun.com/xiaochawan/article/details/8932872</link><guid>https://blog.youkuaiyun.com/xiaochawan/article/details/8932872</guid><author>xiaochawan</author><pubDate>Wed, 15 May 2013 23:09:18 +0800</pubDate><description><![CDATA[Apache Pig为大数据集的处理提供了更高层次的抽象，提供类SQL的数据处理脚本语言。配合Hadoop使用，可以在处理海量数据时达到事半功倍的效果；简化map-reduce编程，比使用Java等语言编写map-reduce程序处理大规模数据的难度要小N倍，实现同样的效果的代码量也小N倍。


Pig包括：


Pig Latin, 类SQL数据处理语言在Hadoop上运行的Pig]]></description><category></category></item><item><title><![CDATA[使用ffmpeg可以生成视频截图]]></title><link>https://blog.youkuaiyun.com/xiaochawan/article/details/8804789</link><guid>https://blog.youkuaiyun.com/xiaochawan/article/details/8804789</guid><author>xiaochawan</author><pubDate>Mon, 15 Apr 2013 17:07:47 +0800</pubDate><description><![CDATA[使用ffmpeg可以非常方便的生成视频截图，命令行下的mplayer也可以做视频截图，只不过mplayer在本质上还是调用ffmpeg来实现。ffmpeg 通过指定 -vcodec 参数为 mjpeg，或者指定 -f 参数为 mjpeg时，可以输出 jpg截图，指定 -vcodec参数为png，或者指定输出文件扩展名为png，可输出png截图。如果参数指定不当，会导致ffmpeg处理速度非常缓慢，]]></description><category></category></item><item><title><![CDATA[Hadoop测试环境安装记录]]></title><link>https://blog.youkuaiyun.com/xiaochawan/article/details/8733094</link><guid>https://blog.youkuaiyun.com/xiaochawan/article/details/8733094</guid><author>xiaochawan</author><pubDate>Thu, 28 Mar 2013 18:23:13 +0800</pubDate><description><![CDATA[测试机：10.1.1.1
1、测试环境勘查
1）硬件
a、CPU
      命令：cat /proc/cpuinfo
      命令：cat /proc/cpuinfo | grep name | cut -f2 -d: | uniq -c
        命令：cat
 /proc/cpuinfo | grep physical.id | uniq -c
        命令]]></description><category></category></item><item><title><![CDATA[mahout in action[中文] 第2章 推荐系统简介]]></title><link>https://blog.youkuaiyun.com/xiaochawan/article/details/8507427</link><guid>https://blog.youkuaiyun.com/xiaochawan/article/details/8507427</guid><author>xiaochawan</author><pubDate>Tue, 15 Jan 2013 21:38:06 +0800</pubDate><description><![CDATA[本章涵盖


mahout中，推荐是什么首先看一下实战中的推荐系统评价一个引擎的准确率和召回率在真实数据集GroupLens上评价推荐系统
      我们每天都会对喜欢的、不喜欢的、甚至不关心的事情有很多观点。这些事情往往发生的不知不觉。你在收音机上听歌，因为它容易记住或者因为听起来可怕而关注它 -- 又或者根本不去关注它。同样的事情有可能发生在T恤衫，色拉，发型，滑雪胜地，面孔，电视节]]></description><category></category></item><item><title><![CDATA[mahout in action[中文]  第一部分 推荐]]></title><link>https://blog.youkuaiyun.com/xiaochawan/article/details/8507421</link><guid>https://blog.youkuaiyun.com/xiaochawan/article/details/8507421</guid><author>xiaochawan</author><pubDate>Tue, 15 Jan 2013 21:35:24 +0800</pubDate><description><![CDATA[本书的第一部分，包括第2章到第6章，探究mahout机器学习实现的三个核心之一：协同过滤和推荐。用这些技术，你能理解一个人的tastes并且自动的为他发现新的令他满意的内容。这一部分也是本书剩余部分的一个预热，这将要依赖于重量级的hadoop分布式计算框架。你会遇到在mahout中的机器学习技术，先用简单的java，然后在hadoop中。
        第2章介绍推荐引擎，在mahout中的实]]></description><category></category></item><item><title><![CDATA[tasktracker不能启动 报Tasktracker disallowed by JobTracker信息]]></title><link>https://blog.youkuaiyun.com/xiaochawan/article/details/8059379</link><guid>https://blog.youkuaiyun.com/xiaochawan/article/details/8059379</guid><author>xiaochawan</author><pubDate>Thu, 11 Oct 2012 10:42:53 +0800</pubDate><description><![CDATA[1、背景描述
      为了保证接入hadoop集群datanode和tasktracker的可信，增加集群安全，增加如下配置
      a、在hdfs-site.xml中增加datanode许可列表

   
   
       dfs.hosts
       /data0/hadoop/hosts/include]]></description><category></category></item><item><title><![CDATA[oozie安装手记]]></title><link>https://blog.youkuaiyun.com/xiaochawan/article/details/8057198</link><guid>https://blog.youkuaiyun.com/xiaochawan/article/details/8057198</guid><author>xiaochawan</author><pubDate>Wed, 10 Oct 2012 16:55:01 +0800</pubDate><description><![CDATA[系统需求

Unix (在Linux和Mac OS X上做过测试)Java 1.6+hadoop-0.20.2-cdh3u3ExtJS library (optional, to enable Oozie webconsole)

ExtJS 2.2

Oozie  Server安装

版本：oozie-2.3.2-cdh3u3创建 oozie 组和用户

/usr/sbin/]]></description><category></category></item><item><title><![CDATA[Storm指南]]></title><link>https://blog.youkuaiyun.com/xiaochawan/article/details/8032002</link><guid>https://blog.youkuaiyun.com/xiaochawan/article/details/8032002</guid><author>xiaochawan</author><pubDate>Sat, 29 Sep 2012 13:10:58 +0800</pubDate><description><![CDATA[Storm这是一个分布式的、容错的实时计算系统，它被托管在GitHub上，遵循Eclipse
 Public License 1.0。Storm是由BackType开发的实时处理系统，BackType现在已在Twitter麾下，基本是用Clojure写的。

      Storm为分布式实时计算提供了一组通用原语，可被用于“流处理”之中，实时处理消息并更新数据库。这是管理队列及工作者集群的]]></description><category></category></item><item><title><![CDATA[利用Sqoop从HDFS导出数据到DB]]></title><link>https://blog.youkuaiyun.com/xiaochawan/article/details/7994556</link><guid>https://blog.youkuaiyun.com/xiaochawan/article/details/7994556</guid><author>xiaochawan</author><pubDate>Wed, 19 Sep 2012 09:39:03 +0800</pubDate><description><![CDATA[需求

hadoop分析完的结果数据最终要呈现给用户，其中一些结果可能需要导入DB。
这里大部分是insert操作，但是有些时候可能还需要update。最好是如果存在就update，不存在就insert。

目标

将一系列HDFS中的文件导出到RDBMS。这里要求RDBMS的表必须提前创建。
文件中的数据通过指定的分割符被解析为表中的记录。
支持insert、update和in]]></description><category></category></item></channel></rss>