
大数据Hadoop
baishimingbaishiming
始于初心,忠于初心!
展开
-
大数据Hadoop的基础知识与入门
随着大数据与云计算的应用十分广泛,在这里写一下我对大数据的基本认识与了解;一、大数据是啥?1.(1) 举例子:商品推荐 问题(1)、大量订单如何存储 (2)、大量的订单如何计算(2) 天气预报 问题 (1)、大量天气数据如何存储 (2)、大量天气数据如何计算 2.核心问题 数据的存储 与数据的计算 3、Hadoop 要解决的问题就是上面两个问题 4. IBM提出大数据的...原创 2018-03-17 21:58:55 · 477 阅读 · 1 评论 -
大数据的Hdfs与MapReduce介绍
简介:本着对大数据的理解,HDFS是侧重于大数据的数据存储,MapReduce是侧重于计算与任务的分配;Page Rank (搜索排名) 什么是MapReduce ?1、 数据是从页面上面获取,HDFS进行输入2、 Map 的输出是Reduce的输入;3、 Map的输入是HDFS, Reduce的输出也是 HDFS;4、 一共是4次输入输出,都是key,value的形式...原创 2018-03-18 12:17:34 · 2929 阅读 · 0 评论