本文探讨了从Hadoop到云原生的技术变迁，强调了云原生的微服务、容器化、自动化运维等特征，并指出大数据平台正经历云原生化改造的趋势。Hadoop中的组件正在被更高效的技术如Spark和Kubernetes取代，以应对数智化时代的挑战。
从Hadoop到云原生的演进是一个技术架构和思维方式的变迁过程。
数智化时代是一个以数据和技术为核心的时代，云原生是在这个时代背景下产生的一种技术理念和架构模式。
云原生是指应用程序能够充分利用云计算的特性，如弹性伸缩、高可用、自动化等，以实现更高效的运行和开发。云原生的关键特征包括微服务架构、容器化、持续集成和持续部署、自动化运维等。
从Hadoop到云原生的演进是一个技术架构和思维方式的变迁过程。
Hadoop是一种分布式计算和存储框架，最初是用于处理大规模的结构化和非结构化数据。但是Hadoop存在一些问题，如复杂的部署和管理、扩展性和灵活性不足等。上一篇文章《Hadoop为何受到质疑？》我们详细提到Hadoop的一些问题。
随着云计算技术的发展，云原生逐渐兴起。云原生将应用程序拆分成多个小的、独立的服务，每个服务运行在一个独立的容器中，可以独立部署和管理。而且云原生提倡使用自动化的方式进行运维，以适应快速变化的业务需求。
云原生的演进包括以下几个方面：
1. 应用重构：将传统的单体应用拆分为多个小的服务，采用微服务架构。这样可以提高应用的可扩展性和灵活性，并支持快速迭代和部署。
2. 容器化：使用容器技术，如Docker，将应用和其依赖项打包成一个可移植的镜像。容器化可以提高应用的可移植性和部署效率，简化应用的管理和维护。
3. 自动化运维：通过自动化工具和平台，如Kubernetes，实现应用的弹性伸缩、动态调度、自动扩容等功能。自动化运维可以提高应用的可靠性和可用性，减少人工操作的错误。
4. 云原生安全：云原生时代面临着新的安全挑战，如容器的漏洞、敏感数据的保护等。云原生安全需要综合考虑应用的安全设计、容器的安全配置、网络的安全隔离等方面。
当前云原生技术进入泛生产环境，数据显示：
《“十四五”数字经济发展规划》提出 2025 年工业互联网平台应用普及率达到 45%，强调推动企业上云、推进云网协同与算网融合发展。
Canalys 数据显示，43.9% 的用户已在生产环境中采纳容器技术，超过七成的用户已经或计划使用微服务架构进行业务开发部署。现阶段已有 9% 的用户云原生相关投入已占总 IT 投入的一半以上，技术研发、运维是企业主要支出部分。
据 IDC 预测，到 2024 年，新增的生产级云原生应用在新应用的占比将增加到 60%。
总的来说，云原生代表了一种面向未来的架构和思维方式，它可以帮助企业更好地适应数智化时代的挑战和机遇。
而让Hadoop面临淘汰的，正是来自云原生的力量。这就要从Hadoop的三驾马车是MapReduce、YARN、HDFS说起。
其中，MapReduce因效率太低，早已被Spark所取代；YARN并非正规的容器且效率不高，可以被类似于K8s的新一代容器调度体系取代；唯一生命力比较强的是HDFS，因为大部分大数据组件的HDFS API是兼容的，所以取代HDFS暂时有些难度。
尽管，HDFS很难被去掉，不过不用担心，因为基本上HDFS只有API是真正有用的，因为很多程序是用HDFS的API使用的。
所以，Hadoop里所有的东西都可以替换，在不安装Hadoop的情况下，都有相对应的工具来替换。
当我们看到Hadoop的去除，使得应用在容器化中运行，能够让管理更加方便，从而大大减少工作的复杂度，全面地让大数据平台，享受云原生的好处。
所以，传统大数据平台进行云原生化改造，就必然成为未来的发展趋势。从 Hadoop 到云原生，大数据平台如何选？下期我们接着聊。
扫码关注 Kubernetes Data Platform
- FIN -
更多精彩推荐
👇点击阅读原文，了解更多详情
扫一扫
183
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
