低延迟数据访问

最新推荐文章于 2023-02-20 13:39:43 发布

weixin_30278311

最新推荐文章于 2023-02-20 13:39:43 发布

阅读量755

点赞数 1

CC 4.0 BY-SA版权

文章标签：数据库大数据

原文链接：http://www.cnblogs.com/surongyou/archive/2013/01/05/2846555.html

本文探讨了HDFS和HBase在提供低延迟数据访问方面的差异，指出HBase更适合需要毫秒级响应的应用场景。同时，文章详细解释了名称节点（namenode）如何管理文件系统元数据，并讨论了文件数量对内存需求的影响。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

需要低延迟访问数据在毫秒范围内的应用并不适合HDFS。HDFS是为达到高数据吞吐量而优化的。这有可能会以延迟为代价。目前，对于低延迟访问，HBase是更好的选择。

名称节点（namenode)存储着文件系统的元数据，因此文件数量的限制也由名称节点的内存量决定。根据经验，每个文件，索引目录以及块占大约150个字节。因此，举例来说，如果有一百万个文件，每个文件占一个块，就至少需要300MB的内存。虽然存储上百万的文件是可执行的，十亿或更多的文件就超出目前硬件的能力了。

转载于:https://www.cnblogs.com/surongyou/archive/2013/01/05/2846555.html