<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[reylee的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/github_26054561</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; github_26054561]]></copyright><item><title><![CDATA[Flume 与 kafka 配置和使用]]></title><link>https://blog.youkuaiyun.com/github_26054561/article/details/53410293</link><guid>https://blog.youkuaiyun.com/github_26054561/article/details/53410293</guid><author>github_26054561</author><pubDate>Wed, 30 Nov 2016 17:20:58 +0800</pubDate><description><![CDATA[1， 使用版本如下：
flume-1.7.0
kafka-2.11.0
zookeeper-3. 4.9


2, 配置flume, 源数据基于 日志文件内容检测， sink为 kafka 的producer, 配置文件如下：


a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the so]]></description><category></category></item><item><title><![CDATA[Zookeeper客户端不能启动问题]]></title><link>https://blog.youkuaiyun.com/github_26054561/article/details/53115476</link><guid>https://blog.youkuaiyun.com/github_26054561/article/details/53115476</guid><author>github_26054561</author><pubDate>Thu, 10 Nov 2016 14:39:34 +0800</pubDate><description><![CDATA[1， 安装完zookeeper后运行客户端：


root@MASTER opt]# zkCli.sh -server SLAVE:2181
Connecting to SLAVE:2181
2016-11-10 11:15:10,274 [myid:] - INFO  [main:Environment@100] - Client environment:zookeeper.versi]]></description><category></category></item><item><title><![CDATA[HBASE 安装后 hbase shell 启动失败问题]]></title><link>https://blog.youkuaiyun.com/github_26054561/article/details/53115416</link><guid>https://blog.youkuaiyun.com/github_26054561/article/details/53115416</guid><author>github_26054561</author><pubDate>Thu, 10 Nov 2016 14:32:26 +0800</pubDate><description><![CDATA[1， 安装HBASE，　并且启动成功


[root@MASTER opt]# jps
21920 SecondaryNameNode
2273 HMaster
21441 NameNode
5490 ResourceManager
1844 QuorumPeerMain
2501 HRegionServer
21653 DataNode
3532 Jps
22236 No]]></description><category></category></item><item><title><![CDATA[Hive2.1.0安装配置mysql]]></title><link>https://blog.youkuaiyun.com/github_26054561/article/details/53084078</link><guid>https://blog.youkuaiyun.com/github_26054561/article/details/53084078</guid><author>github_26054561</author><pubDate>Tue, 08 Nov 2016 17:05:28 +0800</pubDate><description><![CDATA[1. 设置Hive环境变量
export JAVA_HOME=/usr/java/jdk1.8.0_111
export JRE_HOME=/usr/java/jdk1.8.0_111/jre
export CLASSPATH=/usr/java/jdk1.8.0_111/lib
export HADOOP_HOME=/root/cluster/opt/hadoop-2.6.0
expo]]></description><category></category></item><item><title><![CDATA[hadoop 2.6 环境搭建]]></title><link>https://blog.youkuaiyun.com/github_26054561/article/details/53036541</link><guid>https://blog.youkuaiyun.com/github_26054561/article/details/53036541</guid><author>github_26054561</author><pubDate>Fri, 04 Nov 2016 16:43:03 +0800</pubDate><description><![CDATA[一、环境说明
1、机器：一台物理机(MASTER)和一台虚拟机(SLAVE)
2、集群节点：两个 MASTER(Master）, SLAVE(Slave)
MASTER 10.12.2.182
SLAVE 10.12.2.90
3, 设置主机名称
1)
Vi /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=MASTER
2) vi ]]></description><category></category></item><item><title><![CDATA[如何解决误修改/etc/passwd 的root根目录，导致无法进入root根目录的问题]]></title><link>https://blog.youkuaiyun.com/github_26054561/article/details/53018985</link><guid>https://blog.youkuaiyun.com/github_26054561/article/details/53018985</guid><author>github_26054561</author><pubDate>Thu, 03 Nov 2016 10:33:52 +0800</pubDate><description><![CDATA[最近想修改root的默认根目录从/home/rli 到 /root,  打开/etc/passwd， 找到root用户行修改。


但当用 su root 时， 却发现根目录有问题，导致crash, 现在无法使用root权限了：（


经过查看相关的文档， 发现可以先把/etc/passwd 文档 copy到另外一台主机上(scp)， 然后再修改回原先的根路径， 最后copy到当前主机]]></description><category></category></item><item><title><![CDATA[ssh免密码登录问题分析]]></title><link>https://blog.youkuaiyun.com/github_26054561/article/details/53009842</link><guid>https://blog.youkuaiyun.com/github_26054561/article/details/53009842</guid><author>github_26054561</author><pubDate>Wed, 02 Nov 2016 17:46:57 +0800</pubDate><description><![CDATA[环境说明：

一台linux虚拟机和一台linux PC




1， 配置机器 虚拟机hostname

#hostname  rli_vb

查看：

#hostname

rli_vb

命名成功。

2， 添加hosts:

添加



10.12.2.90 rli_vb

10.12.2.182 rli_linux
到 /etc/h]]></description><category></category></item><item><title><![CDATA[Hadoop时代的大数据架构]]></title><link>https://blog.youkuaiyun.com/github_26054561/article/details/52997466</link><guid>https://blog.youkuaiyun.com/github_26054561/article/details/52997466</guid><author>github_26054561</author><pubDate>Tue, 01 Nov 2016 16:49:11 +0800</pubDate><description><![CDATA[后Hadoop时代的大数据架构




提到大数据分析平台，不得不说Hadoop系统，Hadoop到现在也超过10年的历史了，很多东西发生了变化，版本也从0.x进化到目前的2.6版本。我把2012年后定义成后Hadoop平台时代，这不是说不用Hadoop，而是像NoSQL （Not Only SQL）那样，有其他的选型补充。


提到大数据分析平台，不得不说Hadoop系统，Had]]></description><category></category></item><item><title><![CDATA[Hadoop 生态系统]]></title><link>https://blog.youkuaiyun.com/github_26054561/article/details/52994100</link><guid>https://blog.youkuaiyun.com/github_26054561/article/details/52994100</guid><author>github_26054561</author><pubDate>Tue, 01 Nov 2016 11:19:36 +0800</pubDate><description><![CDATA[1. hadoop 生态概况

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。

用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。

具有可靠、高效、可伸缩的特点。

Hadoop的核心是YARN,HDFS和Mapreduce

下图是hadoop生态系统，集成spark生态圈。在未来一段时间内，hadoop将于]]></description><category></category></item><item><title><![CDATA[hadoop1.x 与hadoop2.x 架构变化分析]]></title><link>https://blog.youkuaiyun.com/github_26054561/article/details/52993318</link><guid>https://blog.youkuaiyun.com/github_26054561/article/details/52993318</guid><author>github_26054561</author><pubDate>Tue, 01 Nov 2016 10:15:11 +0800</pubDate><description><![CDATA[Hadoop2相比较于Hadoop1.x来说，HDFS的架构与MapReduce的都有较大的变化，且速度上和可用性上都有了很大的提高，Hadoop2中有两个重要的变更：
（1）HDFS的NameNode可以以集群的方式布署，增强了NameNodes的水平扩展能力和高可用性，分别是:HDFSFederation与HA；
（2）MapReduce将JobTracker中的资源管理及任务生命周期管理]]></description><category></category></item><item><title><![CDATA[Protocol Buffers, Avro, Thrift，MessagePack区别]]></title><link>https://blog.youkuaiyun.com/github_26054561/article/details/46647345</link><guid>https://blog.youkuaiyun.com/github_26054561/article/details/46647345</guid><author>github_26054561</author><pubDate>Fri, 26 Jun 2015 10:43:58 +0800</pubDate><description><![CDATA[Perhaps one of the first inescapable observations that a newGoogle developer (Noogler) makes once they dive into the code is that ProtocolBuffers (PB) is the "language of data" at Google. Put simply,P]]></description><category></category></item><item><title><![CDATA[基于Yarn运行spark应用的进程分析]]></title><link>https://blog.youkuaiyun.com/github_26054561/article/details/46378007</link><guid>https://blog.youkuaiyun.com/github_26054561/article/details/46378007</guid><author>github_26054561</author><pubDate>Fri, 05 Jun 2015 15:58:11 +0800</pubDate><description><![CDATA[首先配置HADOOP_CONF_DIR或者YARN_CONF_DIR指向hadoop集群，从而可以调用Yarn
的资源管理器。

两种模式：
1，Yarn-client：
Spark driver运行在client进程中，只是利用AM(applicationMaster)向Yarn的资源管理模块申请资源。
运行此种模式只需指定参数yarn-client即可，例如：

[root@l]]></description><category></category></item><item><title><![CDATA[关于dos-formatted/unix-formatted 文件转换]]></title><link>https://blog.youkuaiyun.com/github_26054561/article/details/46357847</link><guid>https://blog.youkuaiyun.com/github_26054561/article/details/46357847</guid><author>github_26054561</author><pubDate>Thu, 04 Jun 2015 11:07:35 +0800</pubDate><description><![CDATA[Convert DOS-Formatted Files to Unix-Format in Ubuntu and CentOS




Have you ever seen a bunch of ^M characters in a text file? This odd character at the end of a line can also be represented as ]]></description><category></category></item><item><title><![CDATA[sqoop入门实践]]></title><link>https://blog.youkuaiyun.com/github_26054561/article/details/46351251</link><guid>https://blog.youkuaiyun.com/github_26054561/article/details/46351251</guid><author>github_26054561</author><pubDate>Wed, 03 Jun 2015 21:10:41 +0800</pubDate><description><![CDATA[Sqoop是一款开源的工具，主要用于在hadoop与传统的数据库(mysql,oracle等)间进行数据的传递，可以将一个关系型数据库（MySQL ,Oracle 等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。
测试环境：
Hadoop + hive (linux) + mysql(windows)
 
测试用例
1，  把mysql上user_]]></description><category></category></item><item><title><![CDATA[spark与hadoop集成详解]]></title><link>https://blog.youkuaiyun.com/github_26054561/article/details/46344889</link><guid>https://blog.youkuaiyun.com/github_26054561/article/details/46344889</guid><author>github_26054561</author><pubDate>Wed, 03 Jun 2015 15:08:02 +0800</pubDate><description><![CDATA[我们经常被问到如何让spark集成到hadoop生态系统中，如何让spark在现有的hadoop集群中运行，本文的目的就是来回答上述问题。
1，spark主要用于提高而不是取代hadoop栈，从一开始spark就被设计从hdfs中读取存储数据，类似于其他的存储系统，例如Hbase, Amazon S3等，因此，hadoop用户可以通过结合spark来提高hadoop MR, Hbase 及其他大]]></description><category></category></item><item><title><![CDATA[spark安装和试用入门]]></title><link>https://blog.youkuaiyun.com/github_26054561/article/details/46331087</link><guid>https://blog.youkuaiyun.com/github_26054561/article/details/46331087</guid><author>github_26054561</author><pubDate>Tue, 02 Jun 2015 16:00:41 +0800</pubDate><description><![CDATA[1, 下载spark版本:
git clone git://github.com/apache/spark.git -b branch-1.3
2, 编译spark:
 mvn -DskipTests cleanpackage
3，使用spark(python环境下）
pyspark



基于README.cmd 生成RDD:



>>> textFile= sc.t]]></description><category></category></item><item><title><![CDATA[Spark特性分析]]></title><link>https://blog.youkuaiyun.com/github_26054561/article/details/46327767</link><guid>https://blog.youkuaiyun.com/github_26054561/article/details/46327767</guid><author>github_26054561</author><pubDate>Tue, 02 Jun 2015 13:47:25 +0800</pubDate><description><![CDATA[Spark是快速轻量级大规模数据处理引擎
优势：
1， 与hadoop mapReduce相比，内存中处理速度100倍以上，磁盘中10倍以上。
2， 简单易用，快速编写java,scala或者python应用来处理。
3， 通用性强，可以把SQL,streaming和复杂分析结合起来使用。
4， 应用广泛，能运行在hadoop，mesos或者云中，可以获取多样性的数据源，例如hdfs,C]]></description><category></category></item><item><title><![CDATA[Hive数据挖掘实战教程]]></title><link>https://blog.youkuaiyun.com/github_26054561/article/details/46053091</link><guid>https://blog.youkuaiyun.com/github_26054561/article/details/46053091</guid><author>github_26054561</author><pubDate>Wed, 27 May 2015 21:27:50 +0800</pubDate><description><![CDATA[Hive 提供类SQL接口处理HDFS上数据，同时提供基于hadoop数据库访问，从而降低程序员的工作强度，省去了map/reduce的编程时间，为快速大数据分析提供了很好手段，下面是基于Hive数据分析一个实例。
1， 环境配置：
Hadoop 2.6 + hive + mysql (linux)
搭建步骤可参考相关文档，此处略去。


2， 数据源文件获取（仅作参考）：
http]]></description><category></category></item><item><title><![CDATA[基于mysql的hive表项存储实例分析]]></title><link>https://blog.youkuaiyun.com/github_26054561/article/details/46051661</link><guid>https://blog.youkuaiyun.com/github_26054561/article/details/46051661</guid><author>github_26054561</author><pubDate>Wed, 27 May 2015 20:30:51 +0800</pubDate><description><![CDATA[Hive存储是基于hadoop hdfs文件系统的，通过默认内嵌的Derby 数据库或外部数据库系统（如mysql)组织元数据访问，下面就通过实际案例描述其存储过程。
 
1， 在hive 中创建表，然后把外部csv文件导入其中（外部文件为Batting.csv, 内部表为temp_batting):
hive>create table temp_batting (col_value STR]]></description><category></category></item></channel></rss>