Elrah的博客

1.什么是大数据？4V？    大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。    大数据 = “海量数据”+“复杂类型的数据”。   大数据的4V：Volume(大量)、Velocity(高速)、Variety(多样)、Value(价值)。    大数据（big data），或称巨量数据、海量数据；是由数量巨大、结构复杂、类型众多数据构成的数据

使用第三方工具：

最简单的MapReduce应用程序至少包含 3 个部分：一个 Map 函数、一个 Reduce 函数和一个 main 函数。在运行一个mapreduce计算任务时候，任务过程被分为两个阶段：map阶段和reduce阶段，每个阶段都是用键值对（key/value）作为输入（input）和输出（output）。main 函数将作业控制和文件输入/输出结合起来。并行读取文本中的内容，

问题描述：安装ubuntu时，分配的内存空间是5G，在做项目时，发现内存不够用，如何扩充？在不重装的前提下，可以进行如下操作： 1.在关机状态下设置VMmare中虚拟机配置-硬盘大小   首先关闭要修改硬盘空间的虚拟机，然后：虚拟机-> 设置-> 硬盘-> 扩展-> 我把它设为想要的大小G 2.安装在ubuntu中安装Gparted：sudo apt-get ins

1.下载安装包http://apache.fayea.com/apache-mirror/hive/stable/apache-hive-1.1.0-bin.tar.gz 2.安装（1）上传包--上传hive包到/home/hadoop上（2）解压   tar–zxvf apache-hive-1.1.0-bin.tar.gz（或者直接在ubuntu图形界面上解压安装包）（

目标：集群，运行mr一个例子1.克隆3台机子，组成一个集群      2.hostname,ip3.ssh          --难点4.配置环境变量5.配置-hadoop的配置文件6.格式化分布式文件系统集群安装部署准备：在hadoop单例模式上克隆ubuntu克隆：虚拟机-> 克隆完毕！1.修改主机名$sudo ged

一.sqoop的功能sqoop是实现hadoop与关系数据库（RDBMS）之间的数据迁移工具。通过Sqoop可以方便的将RDBMS的数据和hdfs、hbase、hive上的数据进行相互导入导出。二.sqoop的安装1.下载压缩包  https://mirrors.tuna.tsinghua.edu.cn/apache/sqoop/1.4.6/sqoop-1.4.6.bin__had