George的博客

昨晚突然之间mr跑步起来了 jps查看 进程都在的，但是在reduce任务跑了85%的时候会抛异常 异常情况如下： [code="java"] 2016-09-21 21:32:28,538 INFO [org.apache.hadoop.mapreduce.Job] - map 100% reduce 84% 2016-09-21 21:32:30,623 INFO [org.a...

Flume概念 Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制[size=large]各类数据发送方[/size]，用于收集数据；同时，Flume提供对数据进行简单处理，并写到[size=large]各种数据接受方[/size]（可定制）的能力。 flume 特点： 1、可靠性 当节点出现故障时，日志能够被传送到其他节点上而不会丢失。Flu...

配置完成zookeeper集群，发现有一个节点，进程正常但是状态异常 [img]http://dl2.iteye.com/upload/attachment/0121/8256/5d31e28b-19b6-3638-aa19-337d43671f1a.jpg[/img] 查看日志一开始进入歧途了，查看的是这个目录 [img]http://dl2.iteye.com/uploa...

HDFS： [img]http://dl2.iteye.com/upload/attachment/0121/8139/4bc1aec8-749d-35b2-87b4-83a9572d1c58.png[/img] 基础架构 1、NameNode（Master） 1)命名空间管理：命名空间支持对HDFS中的目录、文件和块做类似文件系统的创建、修改、删除、列表文件和目录等基本操作。 ...

CDH 数据库 磁盘坏了 所有集群配置 都没了 而且 还没备份 .... 元数据 还在 cdh 软件配置 和 安装软件 不能用了 下载 apache hadoop 重新配置 namenode datenode journode 加载以前的数据 读出来了 .. 强制了 namenode 主 把数据迁移到 其他节点 因为 重新 ...

MapReduce中数据流动 （1）最简单的过程： map - reduce （2）定制了partitioner以将map的结果送往指定reducer的过程：　map - partition - reduce （3）增加了在本地先进性一次reduce（优化）过程：　map - combin(本地reduce) - partition -reduce map函数的处理...

默认情况下，Map 输出的结果会对 Key 进行默认的排序，但是有时候需要对 Key 排序的同时再对 Value 进行排序，这时候就要用到二次排序了。下面让我们来介绍一下什么是二次排序。 二次排序原理 我们把二次排序主要分为以下几个阶段。 Map 起始阶段 在Map阶段，使用 job.setInputFormatClass() 定义的 Inpu...

matadata： [code="java"] hadoop a spark a hive a hbase a tachyon a storm a redis a [/code] 自定义分组 [code="java"] import org.apache.hadoop.conf.Configuration; impo...

具体情况比较曲折：hadoop2.6.0编译不过 错误如下： [img]http://dl2.iteye.com/upload/attachment/0120/9044/7f4f4d5e-4cc6-375a-8820-57bfb914e901.png[/img] 这个kms模块始终编译不过，最后得出结论国内的aliyun maven仓库有问题， 在编译hadoop2.2.0 可...

换了个环境，出现此异常 016-10-18 23:54:01,334 WARN [org.apache.hadoop.util.NativeCodeLoader] - Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 2016-10-18 2...

以前在Hadoop 1.0中JobTracker主要完成两项功能：资源的管理和作业控制。在集群规模过大的场景下，JobTracker 存在以下不足： 1）JobTracker 单点故障。 2）JobTracker 承受的访问压力大，影响系统的扩展性。 3）不支持MapReduce之外的计算框架，比如Storm、Spa rk、Flink 因此在YARN的设计中，资源的管理和作业控制是分...