【后端高阶面经：架构篇】56、大数据技术架构的思想和原理是什么？

一、大数据架构的核心思想：分而治之的分布式哲学

（一）分布式存储与计算的本质

大数据架构的终极目标是解决单机存储与计算的性能瓶颈，其核心在于将数据与计算任务分散到多台廉价服务器，通过协同工作突破物理限制。这一思想的实现依赖两大基石：

1. 数据分片（Data Sharding）

   • 将完整数据拆分为等大小的数据块（如HDFS默认128MB/块），分散存储在不同节点（DataNode），理论上支持EB级数据存储。
   • 容错设计：每个数据块默认复制3份（可跨机架部署），通过心跳检测（Heartbeat）和块报告（Block Report）实现故障节点的数据自动重建。

2. 并行处理（Parallel Processing）

   • 将计算任务拆解为独立子任务（如MapReduce的Map阶段），分配至集群节点并行执行，吞吐量随节点数线性增长。
   • 数据本地化（Data Locality）：计算任务优先调度至存储数据的节点，减少网络传输开销（如HDFS的机架感知策略）。