hadoop问题总结

最新推荐文章于 2022-05-13 10:33:11 发布

人蠢多读书

最新推荐文章于 2022-05-13 10:33:11 发布

阅读量303

点赞数

CC 4.0 BY-SA版权

分类专栏：大数据运维之hadoop日常

本文链接：https://blog.youkuaiyun.com/qq_35440040/article/details/79853959

大数据运维之hadoop日常专栏收录该内容

45 篇文章

订阅专栏

本文解决了Hadoop环境中出现的openssl加载失败问题，并针对使用SSD作为HDFS存储时遇到的问题提供了详细的解决方案。

1.hadoop checknative 出现如下报错

openssl: false Cannot load libcrypto.so (libcrypto.so: cannot open shared object file: No such file or directory)!

对于redhat7.2来说，执行如下：

sudo ln -s /usr/lib64/libcrypto.so.1.0.2k /usr/lib64/libcrypto.so

2.将dfs.data.dir->配置成[SSD]file:///mnt/ssd01/dfs/data，即配置为SSD存储策略后，无法put文件，出错如下：

put: File /input/word._COPYING_ could only be replicated to 0 nodes instead of minReplication (=1). There are 9 datanode(s) running and no node(s) are excluded in this operation.

解决办法：设置存储策略为ALL_SSD

hdfs storagepolicies -setStoragePolicy -path / -policy ALL_SSD

获取存储策略如下：

hdfs storagepolicies -getStoragePolicy -path /

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

人蠢多读书

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

Hadoop知识总结

2301_81511666的博客

04-27

933

1.1什么是Hadoop：Hadoop是一个开源的、可靠的、可伸缩的、用于处理大数据的分布式计算框架。1.2常见的知识点概括：Hadoop HDFS（Hadoop Distributed File System）：Hadoop集群中的存储系统，用于大数据的分布式存储。Hadoop MapReduce：Hadoop的原始计算模型，用于并行处理大量数据。Hadoop YARN（Yet Another Resource Negotiator）：Hadoop集群中的资源管理系统，用于管理集群中的计算资源。

hadoop checknative报错：openssl: false Cannot load libcrypto.so

学无止境,勤则可达；志存高远,恒亦能成！

03-17

1933

报错：openssl: false Cannot load libcrypto.so(libcrypto.so: 无法打开共享对象文件: 没有那个文件或目录)! 方法一：如果出现openssl为false，那么所有机器在线安装openssl即可，执行以下命令，虚拟机联网之后就可以在线进行安装了 sudo yum -y install openssl-devel 但你可能会出现这种情况，这里解决方法见：另外一个程序锁定了 yum；等待它退出…… 方法二： ctrl+z直接结束方法一未解决的问题 1、

参与评论您还未登录，请先登录后发表或查看评论

执行hadoop checknative -a报错为libcrypto.so: cannot open shared object file: No such file or directory

LW的技术小筑

11-12

2548

注：本人的Linux版本为Ubuntu-18.04 在安装hadoop-3.2.1编译完成后，执行hadoop checknative -a来检查检查本地库是否正确加载，结果报错为： openssl: false Cannot load libcrypto.so (libcrypto.so: cannot open shared object file: No such file or directory)! 具体见下图：解决方法是进入/usr/lib/x86_64-linux-gnu 目录下，可以看

解决报错libssl.so.1.1: cannot open shared object file: No such file or directory

热门推荐

java程序员的蜕变之路

12-14

6万+

解决报错libssl.so.1.1: cannot open shared object file: No such file or directory Linux运维/更新于2020年8月25日/0条评论 Centos7默认提供的openssl版本是1.0.2的，某些 php 扩展或者其他软件依赖1.1以上版本如果过低的话就会报错libssl.so.1.1: cannot open shared object file: No such file or direct...

Hadoop学习（source方式安装篇）

m0_67393413的博客

04-18

273

Hadoop学习（source方式安装篇） 1.为什么要进行源码编译网上说Hadoop官网没有提供32位的编译好的Hadoop，这其实是假的，自从2.5版本以后，官方已经提供了64位的编译好的Hadoop，你可以到lib/native目录下通过命令： $file libhadoop.so.1.0.0 #如果查看到有如下信息代表已经是64-bit libhadoop.so.1.0.0: ELF 64-bit LSB shared object, x86-64, version 1 (SYSV), 那为什

openssl: error while loading shared libraries: libcrypto.so.3: cannot open shared object file: No su

weixin_62542716的博客

03-13

1万+

openssl: error while loading shared libraries: libcrypto.so.3: cannot open shared object file: No such file or directory 在网上查了好多，都是讲建立连接，按照步骤操作后发现还是不行最后通过这种方法解决了 cd /etc/ld.so.conf.d vi libc.conf /sbin/ldconfig -v 进入 /etc/ld.so.conf.d 后，编辑 libc.co.

hadoop技术总结

10-09

【标题】：Hadoop技术总结【描述】：Hadoop是一种开源框架，专门设计用于处理和存储大量数据，尤其适合初次接触大数据领域的学习者。它以其分布式计算模型、高容错性和可扩展性而闻名，使得企业能够有效地管理和...

hadoop 50070 无法访问问题解决汇总

01-07

查看你的$HADOOP_HOME/etc/hadoop下的core-site.xml和hdfs-site.xml是否配置好解决办法3：必须在hadoop-env.sh文件中设置Java的绝对路径解决办法4：是否关闭linux系统的防火墙 [root@djt002 ~]# service ...

hadoop2.5汇总

11-19

- **权限问题**：确保有足够的权限执行编译脚本。在 Linux 系统中，可能需要使用 `sudo` 命令来改变文件的所有者和组。 #### 如何寻找 API 文档 - **官方文档**：Hadoop 官方网站提供了详细的 API 文档，这是查找 ...

hadoop本地库版本问题

那又怎样？的博客

08-23

3795

问题如下：配置完hadoop-env.sh，装好native库后，hadoop checknative仍然无法找到任何库错误如下：推荐一个实用技巧，手动设置hadoop shell debug模式： export HADOOP_ROOT_LOGGER=DEBUG,console（直接输入到命令行就行） 18/08/22 17:12:28 DEBUG util.NativeC...

【报错记录】遇到openssl和hashlib报错，报错 ImportError: No module named _ssl 或 ValueError:unsupported hash type

走在搬砖的路上！

04-09

2469

最近在离线的服务器上部署MrDoc的项目，项目是以 Django开发的知识管理系统，属于开源项目目前还在持续维护中，期望打造以python为基础语言的企业知识管理系统，类似于市场上的wiki等部署时，因为服务器是离线状态，所有的包都需要手动编译安装，于是在安装了python3.6.4和一些依赖包后，启动项目，先报了一个这个错误： ImportError: No module...

hadoop 调试mapperduce

afei2530的博客

06-27

257

问题描述运行hadoop的MapReduce示例，在running job卡住在页面中显示一直处于 ACCEPTED Applications 状态修改日志级别exportHADOOP_ROOT_LOGGER=DEBUG,console查看下详细信息 DEBUG crypto.OpensslCipher: Failed to load OpenSSL Cipher.j...

uwsgi: error while loading shared libraries: libcrypto.so.1.1: cannot open shared object file: No su

weixin_42599429的博客

11-17

765

find / -name libssl.so.1.1 uwsgi ln -s /home/hadoop/anaconda3/lib/libssl.so.1.1 /usr/lib64/libssl.so.1.1 uwsgi find / -name libcrypto.so.1.1 ln -s /home/hadoop/anaconda3/lib/libcrypto.so.1.1 /usr/lib64/libcrypto.so.1.1 uwsgi

hadoop安装部署

weixin_48143996的博客

10-06

3万+

hadoop安装部署这里写目录标题hadoop安装部署安装流程1、Hadoop安装部署1、1Hadoop安装部署安装流程 1、上传软件包到管理节点，在管理节点解压并配置 2、将修改完的解压包，远程拷贝到所有的从节点 3、启动软件 1、Hadoop安装部署 1、1Hadoop安装部署 1、软件包上传并解压 a) tar -zxvf hadoop-2.6.0-cdh5.14.0-with-centos6.9.tar.gz -C …/servers/ 2、第二步查看hadoop支持的压缩方式以及本

hadoop3.2.3 编译 native库（超详细，亲测成功）

qq_36835255的博客

05-13

5216

目录为什么要编译 native 库安装工具包安装 zlib，bzip2，lz4安装 openssl安装 JDK8，maven安装 cmake安装 protobuf安装 snappy安装 zstd安装 isa-l安装 aws-DynamoDBLocal 包安装 aws-java-sdk-bundle 包编译 native 库验证踩坑总结为什么要编译 native 库 hadoop 二进制包是提供预编译的 native 库，但是 32 位的，服务器基本是 64 位，所以需要重新编译 native 库，安装工

hadoop当中支持的压缩算法

m0_54853420的博客

04-19

339

文件压缩有两大好处，节约磁盘空间，加速数据在网络和磁盘上的传输前面hadoop的版本经过重新编译之后，可以看到hadoop已经支持所有的压缩格式了，剩下的问题就是该如何选择使用这些压缩格式来对MapReduce程序进行压缩可以使用bin/hadoop checknative 来查看编译之后的hadoop支持的各种压缩，如果出现openssl为false，那么就在线安装一下依赖包 bin/hadoop checknative yum install openssl-devel hadoop支持的压缩算法

false libhadoop was built without ISA-L support以及编译hadoop本地库失败(没有解决)

微电子学与固体电子学-俞驰

05-25

1554

步骤如下: git clone https://github.com/intel/isa-l ./autogen.sh apt install yasm ./configure --prefix=/usr --libdir=/usr/lib make sudo make install http://archive.apache.org/dist/hadoop/common/hadoop-3.1.2/hadoop-3.1.2-src.tar.gz mvn package -Pdist,native -Ds

Debian/Ubuntu编译多版本Hadoop及踩坑

weixin_42473019的博客

01-30

940

最近在搭建Jenkins+Git的CI/CD流程，公司用到了Hadoop的好几个版本，2.6.0、3.2.1、3.3.0，这三个版本对编译环境的要求都有不同，所以以下是我在一台机器搭建三个版本的Hadoop编译环境的过程。 hadoop3.3 Requirements 首先看BUILDING.txt（https://github.com/apache/hadoop/blob/trunk/BUILDING.txt），这里先以3.3版本为准 Requirements: Unix System JDK 1.8

Hadoop集群问题解析与解决方案

"这是一份关于Hadoop集群常见问题与解决方案的综合资料，包含了作者在网上搜集和自身经验总结的问题，如ShuffleError、Too many fetch failures、处理速度缓慢、datanode启动后无法访问等问题，并提供了相应的解决...