
Hadoop学习
Code_My_Dream
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Apache Hadoop介绍
Hadoop 是 Apache Lucene 创始人 Doug Cutting 创建的。最早起源于 Nutch, 它是 Lucene 的子项目。Nutch 的设计目标是构建一个大型的全网搜索引擎,包 括网页抓取、索引、查询等功能,但随着抓取网页数量的增加,遇到了严重的可 扩展性问题:如何解决数十亿网页的存储和索引问题。 2003 年 Google 发表了一篇论文为该问题提供了可行的解决方案。论文中...原创 2018-12-10 20:32:40 · 525 阅读 · 0 评论 -
Hadoop学习 HDFS 使用
HDFS 重要 特性 首先,它是一个文件系统,用于存储文件,通过统一的命名空间目录树来定 位文件; 其次,它是分布式的,由很多服务器联合起来实现其功能,集群中的服务器 有各自的角色。 2.1. . master/slave 架构 HDFS 采用 master/slave 架构。一般一个 HDFS 集群是有一个 Namenode 和一 定数目的 Datanode 组成。Namenode 是 HD...原创 2019-03-21 17:51:50 · 541 阅读 · 0 评论 -
Hive学习总结
1,hive是数据仓库,数据库和数据仓库的区别? 数据库:传统的关系型数据库的应用,主要是基本的、日常的事务处理,更关注业务交易处理(OLTP) 数据仓库:数据仓库支持复杂的分析操作,侧重决策支持,并且提供直观易懂的查询效果,更关注数据分析层面(OLAP) 2,hive搭建, hive搭建是按照元数据的存储和管理进行搭建的,hive将元数据保存到mysql。 3,hive相关的...原创 2019-08-02 17:15:10 · 733 阅读 · 0 评论