Hadoop生态圈中存在的Apache顶级项目

最新推荐文章于 2024-07-15 11:02:31 发布
原创 最新推荐文章于 2024-07-15 11:02:31 发布 · 2k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hadoop

本文回顾了Hadoop及其生态系统从2008年至2014年的关键发展历程，包括Hadoop成为Apache顶级项目，以及多个重要子项目如HBase、Spark等的发展轨迹。
2008年1月，Hadoop成为Apache顶级项目
2009年7月，Avro 和 Chukwa 成为Hadoop新的子项目
2010年5月，Avro脱离Hadoop项目，成为Apache顶级项目
2010年5月，HBase脱离Hadoop项目，成为Apache顶级项目。
2010年5月，Mahout脱离Hadoop项目，成为Apache顶级项目。
2010年9月，Hive( Facebook) 脱离Hadoop，成为Apache顶级项目
2010年9月，Pig脱离Hadoop，成为Apache顶级项目
2011年1月，ZooKeeper 脱离Hadoop，成为Apache顶级项目

2014年2月，Spark 项目成为基金会的顶级项目； Spark 的用户包括：阿里巴巴、Cloudera、Databricks、IBM、英特尔和雅虎。

个人整理，如有遗漏，请指正~

Apache-Hadoop简介
qianfeng_dashuju的博客
06-30 786
一、Hadoop出现的原因 现在的我们，生活在数据大爆炸的年代。国际数据公司已经预测在2020年，全球的数据总量将达到44ZB，经过单位换算后，至少在440亿TB以上，也就是说，全球每人一块1TB的硬盘都存储不下。 一些数据集的大小更远远超过了1TB，也就是说，数据的存储是一个要解决的问题。同时，硬盘技术也面临一个技术瓶颈，就是硬盘的传输速度(读数据的速度)的提升远远低于硬盘容量的提升。我们看下面这个表格: 硬盘瓶颈比较 可以看到，容量提升了将近1000倍，而传输速度才提升了20倍，读完一个硬盘
Hadoop生态圈 大数据文档
BigData_XiaoBai的博客
12-01 1190
文档基于介绍基于Hadoop的大数据生态圈。介绍下图每一个组件的使用场景及使用方法，同时还对每一个组件有更深入的介绍。 ..
Apache顶级项目介绍4 － Hadoop
热门推荐
ErixHao的专栏
05-21 1万+
大象起舞，天下太平，极客们应该知道我们的重量级人物Hadoop登场了。 提到Hadoop, 正所谓饮水思源，我们不得不提及一下Hadoop之父，其对技术界的影响，在近10年可谓重大， 他就是Doug Cutting， 其传奇人生及其大作这里不赘述了，大家可以Google/Bing一下，之后或许我们会推出一些技术大牛的介绍以及好书推荐。 值得提及的是Hadoop之
hadoop开源项目分析
05-30
Hadoop是一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有着高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上。
Hadoop简介
weixin_30526593的博客
06-15 146
Hadoop简介 Hadoop 是一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有着高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上。而且它提供高传输率...
apache hadoop_大数据Apache Hadoop简介
cumj63710的博客
06-06 1161
apache hadoop Apache Hadoop是一个开源软件框架，用于在商品硬件集群上存储和大规模处理数据集。 Hadoop是Apache的顶级项目，由全球的贡献者和用户社区构建和使用。 它是根据Apache License 2.0授权的。 Hadoop由Doug Cutting和Mike Cafarella于2005年创建。Hadoop最初是为支持Nutch搜索引擎项目的发行而...
2024年大数据最全关于Hadoop生态圈相关组件的介绍(1)，分享PDF高清版
2401_84160361的博客
05-05 827
HDFS(Hadoop Distributed File System)，它是一个文件系统，用于存储文件，通过目录树来定位文件;其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。适合一次写入，多次读出的场景，不支持文件修改，可以过来做数据分析。
Hadoop生态系统介绍
黑伴白的博客
05-12 3412
Hadoop生态系统介绍
Hadoop生态圈（十一）：Storm
jiezou12138的博客
04-25 1275
目录 1 Storm概述 1.1 离线计算是什么？ 1.2 流式计算是什么？ 1.3 Storm是什么？ 1.4 Storm与Hadoop的区别 1.5 Storm应用场景及行业案例 1.5.1 运用场景 1.5.2 典型案列 2 Storm基础知识 2.1 Storm编程模型 2.2 Storm核心组件 2.3 实时流计算常见框架图 3 Storm集群搭建 3.1 环...
Hadoop Ecosystem（Hadoop生态环境－130多个相关开源项目）
hugowang的博客
10-29 4252
Apache Hadoop项目开发用于可靠、可扩展的分布式计算的开源软件。 Apache Hadoop软件库是一个框架，允许使用简单的编程模型跨计算机集群分布式处理大型数据集。 它旨在从单个服务器扩展到数千台计算机，每台计算机都提供本地计算和存储。 库本身不是依靠硬件来提供高可用性，而是设计用于检测和处理应用程序层的故障，从而在计算机集群之上提供高可用性服务，每个计算机都可能容易出现故障。 此文是...
Apache Sharding Sphere 分布式数据库中间层生态圈 v4.1.1
11-04
为您提供Apache Sharding Sphere 分布式数据库中间层生态圈下载，Apache ShardingSphere是一套开源的分布式数据库中间件解决方案组成的生态圈，它由JDBC、Proxy和Sidecar（规划中）这3款相互独立，却又能够混合部署配合使用的产品组成。它们均提供标准化的数据分片、分布式事务和数据库治理功能，可适用于如Java同构、异构语言、云原生等各种多样化的应用场景。Apache ShardingSphere定位为关系型数据库中间件，旨在充分合理地在
Apache ShardingSphere分布式数据库中间层生态圈-其他
06-12
Apache ShardingSphere是一套开源的分布式数据库中间件解决方案组成的生态圈，它由JDBC、Proxy和Sidecar（规划中）这3款相互独立，却又能够混合部署配合使用的产品组成。它们均提供标准化的数据分片、分布式事务和数据库治理功能，可适用于如Java同构、异构语言、云原生等各种多样化的应用场景。 Apache ShardingSphere定位为关系型数据库中间件，旨在充分合理地在分布式的场景下利用关系型数据库的计算和存储能力，而并非实现一个全新的关系型数据库。它通过关注不变，进而抓住事物本质。关系型数据库当今依然占有巨大市场，是各个公司核心业务的基石，未来也难于撼动，我们目前阶段更加关注在原有基础上的增量，而非颠覆。 Apache ShardingSphere 5.x版本开始致力于可插拔架构，项目的功能组件能够灵活的以可插拔的方式进行扩展。目前，数据分片、读写分离、多数据副本、数据加密、影子库压测等功能，以及对MySQL、PostgreSQL、SQLServer、Oracle等SQL与协议的支持，均通过插件的方式织入项目。开发者能够像使用积木一样定制属于自己的独特系统。Apache ShardingSphere目前已提供数十个SPI作为系统的扩展点，而且仍在不断增加中。 ShardingSphere特点： ShardingSphere-JDBC 定位为轻量级Java框架，在Java的JDBC层提供的额外服务。它使用客户端直连数据库，以jar包形式提供服务，无需额外部署和依赖，可理解为增强版的JDBC驱动，完全兼容JDBC和各种ORM框架。 适用于任何基于JDBC的ORM框架，如：JPA, Hibernate, Mybatis, Spring JDBC Template或直接使用JDBC。 支持任何第三方的数据库连接池，如：DBCP, C3P0, BoneCP, Druid, HikariCP等。 支持任意实现JDBC规范的数据库，目前支持MySQL，Oracle，SQLServer，PostgreSQL以及任何遵循SQL92标准的数据库。 ShardingSphere-Proxy 定位为透明化的数据库代理端，提供封装了数据库二进制协议的服务端版本，用于完成对异构语言的支持。 目前提供MySQL和PostgreSQL版本，它可以使用任何兼容MySQL/PostgreSQL协议的访问客户端(如：MySQL Command Client, MySQL Workbench, Navicat等)操作数据，对DBA更加友好。 向应用程序完全透明，可直接当做MySQL/PostgreSQL服务端使用。 适用于任何兼容MySQL/PostgreSQL协议的的客户端。 ShardingSphere-Sidecar（TODO） 定位为Kubernetes的云原生数据库代理，以Sidecar的形式代理所有对数据库的访问。通过无中心、零侵入的方案提供与数据库交互的的啮合层，即Database Mesh，又可称数据库网格。 Database Mesh的关注重点在于如何将分布式的数据访问应用与数据库有机串联起来，它更加关注的是交互，是将杂乱无章的应用与数据库之间的交互进行有效地梳理。使用Database Mesh，访问数据库的应用和数据库终将形成一个巨大的网格体系，应用和数据库只需在网格体系中对号入座即可，它们都是被啮合层所治理的对象。 混合架构 ShardingSphere-JDBC采用无中心化架构，适用于Java开发的高性能的轻量级OLTP应用；ShardingSphere-Proxy提供静态入口以及异构语言的支持，适用于OLAP应用以及对分片数据库进行管理和运维的场景。 Apache ShardingSphere是多接入端共同组成的生态圈。 通过混合使用ShardingSphere-JDBC和ShardingSphere-Proxy，并采用同一注册中心统一配置分片策略，能够灵活的搭建适用于各种场景的应用系统，使得架构师更加自由地调整适合与当前业务的最佳系统架构。 功能列表： 1、数据分片 分库 & 分表 读写分离 分片策略定制化 无中心化分布式主键 2、分布式事务 标准化事务接口 XA 强一致事务 柔性事务 3、数据库治理 分布式治理 弹性伸缩 可观测性（分布式跟踪、指标度量） 数据加解密 影子表压测
Apache—Hadoop实践
蓝魔的博客
01-22 633
Apache—Hadoop实践
Hadoop生态圈介绍
墨染百城
02-15 2347
Hadoop是一个分布式框架，底层的rpc也是用的netty。Spark2.0以后也用netty做rpc。推荐Scala的书：《快学Scala》、《Scala编程指南》什么是Hadoop Hadoop是一套开源的平台 中间件 Hadoop是服务器集群，在集群上执行我们的代码 广义上来说，Hadoop是指一个更广泛的概念——Hadoop生态圈 Hadoop的核心组件HDFS分布式文件系统。有效利用各节
Hadoop和大数据正式走到头了：13个相关的Apache开源项目宣布报废
开源社KAIYUANSHE的博客
04-16 485
点击上方“开源社”关注我们| 作者：小云| 转载自：云头条|编辑：钱睿| 设计：杨敏|责编：沈于蓝看起来 Hadoop 和大数据的光辉岁月正式走到头了。Apache 软件基金会已在短短...
hadoop生态圈
hzs33的博客
02-27 512
概念  hadoop生态圈主要分为：资源调度器、计算框架、分布式存储、数据仓库、分布式数据库、分布式协调框架、日志收集工具、消息队列、可视化任务调度器 资源调度器 yarn是hadoop2.0之后的出现的资源调度器。 计算框架 常用的计算框架有：mapreduce、spark、storm，其中mapreduce是批量处理，spark和storm是基于内存的流式处理。 分布式存储 ...
面试三连问：你这个数据量多大？分库分表怎么做？用的哪个组件？
码猿技术专栏
12-11 2304
点击上方蓝色“码猿技术专栏”，选择“设为星标”来源：cnblogs.com/cjsblog/p/13154158.html1. 概述1.1. ShardingSphere-JDBC1....
Hadoop发展史和生态圈介绍
最新发布
qq_25409421的博客
07-15 2893
Hadoop是由Apache基金会所开发的分布式系统基础架构，旨在解决海量数据存储和计算分析问题。Hadoop HDFS(Hadoop Distributed File System):分布式文件存储系统，解决海量数据存储问题。Hadoop Yarn:集群资源管理和任务调度框架，解决资源任务调度问题。Hadoop MapReduce：分布式计算框架，解决海量数据计算问题。
Apache Hadoop生态圈新贵——Kudu
hcmdcyl的博客
04-10 298
Apache Hadoop生态圈新贵——kudu
"Ambari 2.1.2：Hadoop 生态圈集群管理工具简介与安装指南
Ambari 是 Apache Software Foundation 中的一个顶级项目，最新的发布版本是 2.1.2。它的作用是创建、管理、监视 Hadoop 的集群，除了 Hadoop，还包括整个 Hadoop 生态圈中的其他软件，例如 Hive，Hbase，Sqoop，...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值