marho

调研Hadoop颇久，就是想知道hadoop是什么？hadoop能做什么？怎么用hadoop？最主要是这三块，至于投入和风险也会随之出来（浓缩了我几十页的调研方案啊！！！） hadoop是什么？ Hadoop是一个开源的框架，可编写和运行分不是应用处理大规模数据，是专为离线和大规模数据分析而设计的，并不适合那种对几个记录随机读写的在线事务处理模式。Hadoop=HDFS（文件系

1、安装和配置 可以通过下载压缩包来安装一个稳定版的Hive，也可以下载源码进行编译。 1.1 运行HiveServer2和Beeline 1.2要求 java1.7+，官网推荐1.8 Hadoop2.x 1.3安装Hive的稳定版 下载当前稳定版http://mirrors.cnnic.cn/apache/hive/hive-2.1.0/。 解压缩，并重命名 tar -zxv

本文的目录： 1.MapReduce作业运行流程 2.Map、Reduce任务中Shuffle和排序的过程  MapReduce作业详细的执行流程： 流程分析： 1.在客户端启动一个作业。 2.向JobTracker请求一个Job ID。 3.将运行作业所需要的资源文件复制到HDFS上，包括MapReduce程序打包的JAR文件、配置文

package org.mahao.mr.iplocation; import java.io.IOException; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache

首先会因为以下几种情况才会出现启动不了datanode。 1.首先修改过master那台的配置文件， 2.多次hadoop namenode -format这种不好的习惯。 一般会出现一下报错： java.io.IOException: Cannot lock storage /usr/hadoop/tmp/dfs/name. The directory is alread

datanode无法启动（All directories in dfs.data.dir are invalid） ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: All directories in dfs.data.dir are invalid.

Hadoop RPC是Hadoop的一个重要部分，提供分布式环境下的对象调用功能，源码在org.apache.hadoop.ipc中。而HBase也几乎完全copy了这部分的源码，只是在配置项上面有所改动。 关于Hadoop RPC的机制分析和源码解读，网上已经有许多资料，一搜一大把，这里就不在描述了。本文通过一个小例子，介绍如何调用Hadoop RPC。 1. 应用场景 Hadoop RP

shuffle过程包括在Map和Reduce两端中。  在Map端的shuffle过程是对Map的结果进行分区（partition）、排序（sort）和分割（spill），然后将属于同一个划分的输出合并在一起（merge）并写在硬盘上，同时按照不同的划分将结果发送给对应的Reduce（Map输出的划分与Reduce的对应关系由JobTracker确定）。Reduce端又会将各个Map送来的属于同

本文是基于我自己博客中的一个单词计数程序WordCountApp进行改写的，WordCountApp程序是在程序中指定待处理数据的输入路径和输出路径，这样做就不灵活，不适合实际中的开发。红色部分为修改部分： package hdfs; import java.io.IOException; import org.apache.hadoop.conf.Configuration; impor

大数据量存储：分布式存储 日志处理: Hadoop擅长这个 海量计算: 并行计算 ETL:数据抽取到oracle、mysql、DB2、mongdb及主流数据库 使用HBase做数据分析: 用扩展性应对大量的写操作—Facebook构建了基于HBase的实时数据分析系统 机器学习: 比如Apache Mahout项目 搜索引擎:hadoop + lucene实现 数据挖掘：目前比较流行

hadoop是什么？ (1)Hadoop是一个开源的框架，可编写和运行分布式应用处理大规模数据，是专为离线和大规模数据分析而设计的，并不适合那种对几个记录随机读写的在线事务处理模式。Hadoop=HDFS（文件系统，数据存储技术相关）+ Mapreduce（数据处理），Hadoop的数据来源可以是任何形式，在处理半结构化和非结构化数据上与关系型数据库相比有更好的性能，具有更灵活的处理能力，不管任

hadoop中的MapReduce框架里已经预定义了相关的接口，其中如Mapper类下的方法setup()和cleanup()。 setup()，此方法被MapReduce框架仅且执行一次，在执行Map任务前，进行相关变量或者资源的集中初始化工作。若是将资源初始化工作放在方法map()中，导致Mapper任务在解析每一行输入时都会进行资源初始化工作，导致重复，程序运行效率不高！ c

package mapreduce; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.T

Hadoop官方的中文文档 http://hadoop.apache.org/common/docs/r0.18.2/cn/index.html Hadoop学习资料 -- 这里面总结了很多的东西，值得一一细看 http://cloud21.javaeye.com/blog/607175  关于Hadoop的两本书 -- 有电子书下载 http://caibinb

由于工作需要，需要拿到当前集群的Active Namenode的Ip地址，所以写以下小代码，防止忘记，记录一下： import java.io.IOException; import java.net.InetSocketAddress; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSys...