不喜欢计算机的码农

MapReduce是hadoop这只大象的核心，Hadoop 中，数据处理核心就是 MapReduce 程序设计模型。一个Map/Reduce 作业（job） 通常会把输入的数据集切分为若干独立的数据块，由 map任务（task）以完全并行的方式处理它们。框架会对map的输出先进行排序， 然后把结果输入给reduce任务。通常作业的输入和输出都会被存储在文件系统中。因此，我们的编程中心主要是 ma...

一、安装环境已具备java和hadoop的环境，本文的版本为ubuntu16.04、java1.8.0、hadoop2.7.5。安装选择sqoop1.99.7,注意sqoop2中的sqoop1.99.6和1.99.7安装区别较大。二、sqoop2下载安装1.直接在sqoop的官网下载选择sqoop1.99.7版本。我直接下的bin版本，这个版本已经编译好了，直接用。sqoop1.99.7...

一、简介hive是用类SQL语句（HiveQL）来实现对hadoop下的数据管理。hive属于数据仓库的范畴，那么，数据库和数据仓库到底有什么区别了，这里简单说明一下：数据库侧重于OLTP（在线事务处理），数据仓库侧重OLAP（在线分析处理）；也就是说，例如mysql类的数据库更侧重于短时间内的数据处理，反之。无hive：使用者…->mapreduce…-&a