- 博客(6)
- 收藏
- 关注
RSS订阅原创 Exception in thread “main“ java.lang.NoSuchMethodError: org.apache.hadoop.io.nativeio.NativeIO$POSIX
问题出在程序的数据输入路径，不可以只到文件夹（第一张截图），必须指定数据文件的名字或者以*表示目录下所有的文件（第二张截图），否则就会报错。按照网络教程检查了hadoop和java路径都是正确的。在运行本地大hadoop应用程序时报错如下。
2025-09-16 17:18:17
155
原创 在spark on yarn运行任务java.io.IOException: Cannot run program
每台服务器都需要安装好anaconda环境并且创建好conda环境，将python路径添加进bashrc中。
2025-02-11 00:39:11
224
原创 Spark on Yarn模式运行pysaprk显示python3 no such file
低级错误 在bashrc下添加python环境变量后没有source ~./bashrc。
2025-02-10 23:38:07
115
原创 启动spark standalone 模式出现python找不到
需要先切换到安装anaconda的用户（root）打开自定义带有python版本的环境（conda activate pyspark（环境名称）），然后切换回普通用户（hadoop用户）使用spark bin目录下的./pyspark --master spark://node1:7077命令启动saprk。
2025-01-10 20:30:39
142
原创 yum install -y ntp报错
wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo来获取最新的yum支持文件。
2025-01-09 20:32:32
477
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人