十：HDFS Short-Circuit Local Reads 短路本地读取

最新推荐文章于 2022-05-25 17:18:48 发布

黄小二哥

最新推荐文章于 2022-05-25 17:18:48 发布

阅读量204

点赞数

CC 4.0 BY-SA版权

文章标签：大数据网络

原文链接：http://www.cnblogs.com/skyrim/p/7455604.html

介绍了Hadoop中short-circuit读取机制的工作原理及配置方法。此机制允许客户端直接从节点上的本地文件系统读取数据，提高了读取速度。文章详细解释了如何通过TCP协议与本地套接字实现这一过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

当client请求数据时，datanode会读取数据然后通过TCP协议发送给client.short-circuit绕过了datanode直接读取数据。short-circuit的前提是client和数据在同一个结点上。

short-circuit需要libhadoop.so，一个本地库。该功能使用unix套接字，client和node通过套接字连接，需要对这个套接字设置一个路径，并且datanode有创建这个路径的权限，一般建在/var/run或者/var/lib。client和datanode通过共享内在/dev/shm交换数据。

client和datanode都要进行配置；

Example Configuration

Here is an example configuration.

<configuration>
  <property>
    <name>dfs.client.read.shortcircuit</name>
    <value>true</value>
  </property>
  <property>
    <name>dfs.domain.socket.path</name>
    <value>/var/lib/hadoop-hdfs/dn_socket</value>
  </property>
</configuration>

来源： http://hadoop.apache.org/docs/r2.6.4/hadoop-project-dist/hadoop-hdfs/ShortCircuitLocalReads.html

旧式的short-circuit本地读依然被支持，但是配置不一样，要注意其安全性：

<configuration>
  <property>
    <name>dfs.client.read.shortcircuit</name>
    <value>true</value>
  </property>
  <property>
    <name>dfs.client.use.legacy.blockreader.local</name>
    <value>true</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir.perm</name>
    <value>750</value>
  </property>
  <property>
    <name>dfs.block.local-path-access.user</name>
    <value>foo,bar</value>
  </property>
</configuration>