大数据
关注
分享
扫一扫
清墨迹染
悟来时见江海古，苍崖行遍谒玄门；向道偶题人间事，一笛一剑一昆仑
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
java操作Hadoop的核心类库MapReduce
最近国网这边要求使用大数据框架写项目，无奈之前对于Hadoop这些一无所知，只能先学习一下开发时主要用到的一些技术点，后续有空再继续补充原理知识MapReduce主要是采用分而治之的思想，上图的理解主要如下。Hadoop的Hdfs分布式存储系统将大数据分成很多数据块，每个数据块（input splits）传入到input阶段，MapReduce数据块处理输入拆分：输入到MapReduce...原创 2019-08-20 17:25:09 · 406 阅读 · 0 评论 -
Hadoop之分布式文件存储系统Hdfs
简单了解一下Hadoop的Hdfs(分布式文件存储系统)1、Hdfs将一个很大的数据分割成很多小的数据块（Blocks）存储在数据节点（DataNode）上,由NameNode进行管理2、提供副本进行容错及可靠性保证，每个数据默认在两个不通机架的三个节点上保存由三个副本3、HDFS是针对MapReduce设计的，使得数据尽可能根据其本地局部性进行访问与计算。5、提供对这些信息的快速访问，并...原创 2019-08-23 10:23:29 · 729 阅读 · 0 评论 -
Hbase入门学习——表模型及API操作
什么是Hbase?Hbase是一个利用在HDFS做文件存储,利用mapReduce做数据处理，zookeeper做服务协同的一个高可靠性、高性能、列存储、可伸缩、多版本的 NoSQL 的分布式数据存储系统，实现对大型数据的实时、随机的读写访问。Hbase的表结构模型不说废话，先上图跟关系型数据库不同，hbase在建立的时候列是不必确定的，而是在创建数据的时候动态的创建列。因为Hbase中...原创 2019-09-05 16:10:04 · 367 阅读 · 0 评论