HDFS 面试题（四）

1. 简述HDFS写流程中如果DataNode突然宕机了怎么办 ？

在HDFS（Hadoop Distributed File System）的写流程中，如果DataNode突然宕机，HDFS有一套机制来确保数据的安全性和完整性：

1. 心跳检测：

   • NameNode会定期接收来自DataNode的心跳信号。如果DataNode宕机，NameNode将不再收到该节点的心跳。

2. 块报告缺失：

   • DataNode还会定期发送块报告给NameNode，列出它存储的所有数据块。如果DataNode宕机，NameNode将不会收到该节点的块报告。

3. 故障检测：

   • NameNode会根据缺失的心跳和块报告来检测到DataNode的故障，并更新其内部状态。

4. 副本策略：

   • HDFS为每个数据块创建了多个副本（默认是3个副本），这些副本分布在不同的DataNode上。如果一个DataNode宕机，其他副本仍然可用。

5. 数据块复制：

   • 一旦NameNode检测到DataNode宕机，并且该DataNode上存储的数据块副本丢失，它会从其他健康的DataNode中选择一个或多个节点来复制丢失的数据块副本。

6. 写入确认：

   • 在写入数据时，客户端首先会将数据发送到一个指定的DataNode（Primary DataNode），然后由Primary DataNode将数据复制到其他DataNode。只有当所有副本都成功写入后，写入操作才会被确认为成功。

7. 故障恢复：

   • 如果在写入过程中发生故障，客户端会收到写入失败的通知，并可能需要重新尝试写入操作。

8. 快照和备份：

   • 如果启用了快照功能，可以在故障发生之前创建文件系统的一致性快照，以便在必要时恢复数据。

9. 高可用性配置：

   • 在HDFS的高可用性（HA）配置中，如果Active NameNode宕机，Standby NameNode可以接管，继续处理客户端请求和数据复制任务。

通过这些机制，HDFS能够确保即使在DataNode宕机的情况下，数据也不会丢失，并且可以快速恢复到正常状态。

2. 简述直接将数据文件上传到HDFS的表目录中，如何在表中查询到该数据 ？

直接将数据文件上传到HDFS的表目录中，并在表中查询到该数据，通常涉及以下几个步骤：

1. 上传数据到HDFS：

   • 使用Hadoop的命令行工具（如hdfs dfs -put）或者HDFS的Java API将数据文件上传到HDFS的指定目录。

2. 创建外部表：

   • 如果尚未创建，需要在Hive中创建一个外部表（External Table），并指定表的存储位置指向HDFS中的目录。这样可以避免数据被Hive再次移动或复制。

3. 配置表结构：

   • 定义表的schema，包括列名、数据类型等，确保表结构与上传的数据文件相匹配。

4. 使用适当的文件格式：

   • 根据查询需求，选择适合的文件格式，如TextFile、SequenceFile、ORC、Parquet等。不同的文件格式对查询性能有显著影响。

5. 分区表（如果适用）：

   • 如果数据具有分区特征，可以创建分区表来提高查询效率。分区可以在HDFS目录结构中体现，每个分区对应HDFS中的一个子目录。

6. 执行查询：

   • 使用Hive SQL查询语言对表进行查询。Hive会根据表的元数据信息，直接访问HDFS上的数据文件进行查询操作。

7. 优化查询性能：

   • 根据需要，可能要对查询进行优化，比如使用合适的分区、索引、桶（Bucketing）等Hive特性。

8. 处理数据倾斜：

   • 如果数据分布不均匀，可能需要处理数据倾斜问题，以避免某些查询操作负载过重。

9. 使用Hive CLI或HiveServer2：

   • 可以通过Hive命令行界面（CLI）或HiveServer2（一个支持多客户端的守护进程）来执行查询。

10. 结果展示：

    • 查询结果可以展