- 博客(5)
- 收藏
- 关注
RSS订阅原创 Storm——高性能流式计算处理框架
Storm简介Storm是实时的，具备高容错的，分布式流处理计算框架特点：storm常驻内存，在内存中处理与MR对比MR分钟级别响应，storm毫秒级MR间歇性启停，storm一直运行MR数据走磁盘，storm数据走内存，而且使用零拷贝技术架构StormNimbus负责客户端请求的提交，通过zookeeper与supervisor通信Supervisor...
2019-04-17 19:47:34
960
原创 数据仓库Hive的简介与应用
Hive简介Hive是基于 Hadoop 的一个【数据仓库工具】，可以将结构化的数据文件映射为一张hive数据库表，并提供简单的 sql 查询功能，可以将 hql 语句转换为 MapReduce 任务进行运行。数据处理的分类联机事务处理（OLTP）传统业务逻辑的处理联机分析处理（OLAP）数据仓库系统的主要应用Hive的应用Hive是一款数据仓库工具数据仓库...
2019-04-02 19:27:39
1488
原创 Hbase非关系型数据库简介
HbaseHBase-Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩、实时读写的分布式数据库。Hadoop生态圈中，它是其中一部分且利用Hadoop HDFS作为其文件存储系统,利用Hadoop MapReduce来处理HBase中的海量数据,利用Zookeeper作为其分布式协同服务,主要用来存储非结构化和半结构化的松散数据（NoSQL非关系型数据库有redis、Mo...
2019-03-29 13:59:33
1319
原创 Hadoop的HDFS以及YARN简介
Hadoop的HDFS以及YARN简介Hadoop分布式系统简介Hadoop是分布式的系统架构，是Apache基金会顶级金牌项目来源：三大论文GFS、MapReduce、 Bigtable创始人：Doug cuttingHadoop分布式系统重要部分HDFSYARNMapReduceZookeeperHiveHbase…HDFS(分布式存储系统)用...
2019-03-26 16:43:19
889
原创 Linux系统的简介和常用命令
LinuxLinux简介Linux是一个自由的，免费的，源码开放的操作系统。也是开源软件中最著名的例子。其最主要的目的就是为了建立不受任何商品化软件版权制约的，全世界都能使用的类Unix兼容产品.而我们将服务器部署在Linux将会更加的稳定、安全、高效以及出色的性能这时windows无法比的。Linux 发行版发行版是基于 Linux 内核的一个操作系统。它带有用户可以使用的软件集合。更多...
2019-03-04 21:04:07
413
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人