在前文HDFS纠删码(Erasure Coding)一文中提到,HDFS启用ISA-L存储加速库,有有助于提升HDFS纠删码的编码和解码效率。
版本说明如下:
| 软件 | 版本 |
| Hadoop | 3.1.0 |
| isa-l | 2.28.0 |
| nasm | 2.14.02 |
| yasm | 1.2.0 |
启用ISA-L步骤如下:
安装yasm和nasm
在Hadoop集群所有节点上安装yasm和nasm。
###########以下步骤使用root用户#############
yum install -y yasm
yum install -y nasm
注意:isa-l-2.28.0对nasm和yasm有版本要求,低版本在安装时会报错。
编译安装isa-l-2.28.0
在Hadoop集群所有节点上编译安装isa-l-2.28.0。
####

本文详细介绍了如何在Hadoop 3.1.0版本中启用ISA-L存储加速库,包括必要的软件版本、安装步骤及验证方法。通过启用ISA-L,可显著提升HDFS纠删码的编码和解码效率,特别是在处理大规模数据时效果显著。
最低0.47元/天 解锁文章
1148

被折叠的 条评论
为什么被折叠?



