从零开始了解大数据
关注
分享
扫一扫
文章平均质量分 94
从零开始了解大数据
橘子-青衫
终将逾期
展开
-
从零开始了解大数据(七)：总结
本文对本专栏之前的几篇从零开始了解大数据的文章进行了总结。原创 2024-01-03 23:05:03 · 1375 阅读 · 0 评论 -
从零开始了解大数据(六)：数据仓库Hive篇
Apache Hive是一个强大的数据仓库工具，它利用Hadoop的能力，提供了一种高效且简单的类SQL查询语言，使得对大规模数据的分析和查询变得简单而高效。同时，Hive的架构使其具有很好的扩展性，可以轻松地添加新的功能和优化现有的功能。随着大数据技术的不断发展，Apache Hive在未来的发展中也将发挥重要的作用。原创 2023-12-15 00:00:00 · 2373 阅读 · 0 评论 -
从零开始了解大数据(五)：YARN篇
YARN是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。它并不清楚用户提交的程序的运行机制，只提供运算资源的调度（用户程序向YARN申请资源，YARN就负责分配资源）。本文将介绍YARN架构与组件、交互流程、资源调度器Scheduler等内容。原创 2023-12-14 00:00:00 · 1518 阅读 · 2 评论 -
从零开始了解大数据(四)：MapReduce篇
MapReduce作为Hadoop的核心组件之一，为大规模数据处理提供了高效可靠的解决方案。本文将对MapReduce进行介绍，希望对大家有所帮助。原创 2023-12-13 00:00:00 · 1932 阅读 · 0 评论 -
从零开始了解大数据(三)：HDFS分布式文件系统篇
Hadoop分布式文件系统（HDFS）是大数据领域的关键组件，负责大规模数据的可靠存储与管理。通过探索HDFS的基础知识、工作机制及其内在原理，将增进对这一技术的理解，并为实际应用提供有力支持。原创 2023-12-12 00:00:00 · 1915 阅读 · 0 评论 -
从零开始了解大数据(二)：Hadoop篇
Hadoop是一个开源的分布式计算框架，主要用于处理大规模数据集。本文将介绍Hadoop集群的主要组成部分，包括HDFS分布式文件系统和YARN资源管理器，并探讨它们在大数据处理中的作用和功能。原创 2023-12-11 00:00:00 · 1509 阅读 · 2 评论 -
从零开始了解大数据(一)：数据分析入门篇
在开启大数据的探索之前，我们首先需要理解数据分析的基础与核心。毕竟，大数据的真正价值，是在于对其进行深入、有效的分析后，能够提取出有意义的信息和知识。本文将介绍有关数据分析的知识，希望对大家有所帮助。原创 2023-12-10 00:00:00 · 1677 阅读 · 2 评论