
大数据
Infinity_TP
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Linux系统的简介和常用命令
Linux Linux简介 Linux是一个自由的,免费的,源码开放的操作系统。也是开源软件中最著名的例子。其最主要的目的就是为了建立不受任何商品化软件版权制约的,全世界都能使用的类Unix兼容产品.而我们将服务器部署在Linux将会更加的稳定、安全、高效以及出色的性能这时windows无法比的。 Linux 发行版 发行版是基于 Linux 内核的一个操作系统。它带有用户可以使用的软件集合。更多...原创 2019-03-04 21:04:07 · 426 阅读 · 0 评论 -
Hadoop的HDFS以及YARN简介
Hadoop的HDFS以及YARN简介 Hadoop分布式系统简介 Hadoop是分布式的系统架构,是Apache基金会顶级金牌项目 来源:三大论文GFS、MapReduce、 Bigtable 创始人:Doug cutting Hadoop分布式系统重要部分 HDFS YARN MapReduce Zookeeper Hive Hbase … HDFS(分布式存储系统) 用...原创 2019-03-26 16:43:19 · 917 阅读 · 0 评论 -
Hbase非关系型数据库简介
Hbase HBase-Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩、实时读写的分布式数据库。 Hadoop生态圈中,它是其中一部分且利用Hadoop HDFS作为其文件存储系统,利用Hadoop MapReduce来处理HBase中的海量数据,利用Zookeeper作为其分布式协同服务,主要用来存储非结构化和半结构化的松散数据(NoSQL非关系型数据库有redis、Mo...原创 2019-03-29 13:59:33 · 1335 阅读 · 0 评论 -
数据仓库Hive的简介与应用
Hive 简介 Hive是基于 Hadoop 的一个【数据仓库工具】,可以将结构化的数据文件映射为一张hive数据库表,并提供简单的 sql 查询功能,可以将 hql 语句转换为 MapReduce 任务进行运行。 数据处理的分类 联机事务处理(OLTP) 传统业务逻辑的处理 联机分析处理(OLAP) 数据仓库系统的主要应用 Hive的应用 Hive是一款数据仓库工具 数据仓库 ...原创 2019-04-02 19:27:39 · 1520 阅读 · 0 评论 -
Storm——高性能流式计算处理框架
Storm 简介 Storm是实时的,具备高容错的,分布式流处理计算框架 特点:storm常驻内存,在内存中处理 与MR对比 MR分钟级别响应,storm毫秒级 MR间歇性启停,storm一直运行 MR数据走磁盘,storm数据走内存,而且使用零拷贝技术 架构 Storm Nimbus 负责客户端请求的提交,通过zookeeper与supervisor通信 Supervisor ...原创 2019-04-17 19:47:34 · 984 阅读 · 0 评论