背景
作业可能会出现以下报错
ERROR org.apache.hadoop.hdfs.KeyProviderCache - Could not find uri with key [dfs.encryption.key.provider.uri] to create a keyProvider !!
这个报错是hdfs客户端的一个bug,但并不影响作业正常运行,且在2.8版本之后已经修复
相关代码
DistributedFileSystem.java
在这里调用getKeyProvider方法
public Token<?>[] addDelegationTokens(
final String renewer, Credentials credentials) throws IOException {
Token<?>[] tokens = super.addDelegationTokens(renewer, credentials);
// 调用dfs.getKeyProvider方法
if (dfs.getKeyProvider() != null