- 博客(6)
- 收藏
- 关注
RSS订阅原创 Hive基础
Hive 是一个基于 Hadoop 的数据仓库软件，它通过将类 SQL 查询转换为分布式计算任务（如 MapReduce/Spark），实现对存储在 HDFS 上的超大规模数据集进行查询和分析。Hive只需部署在一台服务器上，但可提交分布式运行的 MapReduce程序，Hive存储的数据在Hadoop的数仓/user/hive/warehouse/中。
2025-09-08 19:54:37
297
原创 HDFS数据的读写流程
注：NameNode不负责数据写入，只负责元数据记录和权限审批客户端直接向1台DataNode写入数据，一般是离客户端最近（网络距离）的DataNode数据块副本的复制工作由DataNode之间自行完成，通过PipLine传输。
2025-07-31 15:57:44
562
原创 大数据相关基础介绍
以SQL为主要开发语言的分布式计算框架，其底层使用了Hadoop的MapReduce技术。Apache Hadoop框架内的HDFS组件是大数据体系中使用最广泛的分布式存储技术。各大云平台厂商也有相应的大数据存储组件，如阿里云的OSS、Ucloud的US3等。Apache Hadoop的MapReduce组件是最早一代大数据分布式计算引擎。Kafka是一个分布式消息系统，可以完成海量规模的数据传输工作。主要使用于实时计算（流计算）领域的大数据分布式计算引擎。的结果，即数据存储、数据计算、数据传输。
2025-07-24 17:47:06
312
原创 云平台提供的服务类型
即构建一个实体服务器所需的CPU、内存、磁盘、网络、公网IP、交换机等一系列物理设备的云上化。SaaS就是提供现成可用的软件或解决方案，只需有网络去连接使用即可。本文参考黑马程序员的大数据开发课程，仅供个人学习。
2025-07-23 15:10:56
330
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人