在HADOOP平台上运行MATLAB程序(Centos7系统)(incorporate)

本文整理了Hadoop与Matlab集成过程中遇到的问题及解决办法。包括Matlab安装时序列号、权限、文件版本等问题,Hadoop运行job时文件报错、集群配置问题,以及重启集群后zookeeper未启动问题等,并给出对应解决教程链接。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

“遇到的任何解决不了的问题,只是因为你没有找到对的教程而已。”这边只是把我遇到的问题和找到的合适的教程整理一下。希望有帮助。感谢学习路上遇到个每一个认识或者不认识的大神

之前写过一个教程,是standalone形式的,其实官网上还有一种是把map和reduce函数分别合并到hadoop的mapreduce的job里。

这是是standalone的官方教程https://ww2.mathworks.cn/help/compiler/hadoop/example-on-running-a-standalone-matlab-mapreduce-application.html

incorporate的官方教程https://ww2.mathworks.cn/help/compiler/hadoop/example-using-the-mcc-command-workflow.html

看两个的workflow就大概知道两个的区别了https://ww2.mathworks.cn/help/compiler/hadoop-integration.html?s_tid=CRUX_lftnav

上次集群崩了,重新弄了一个,然后测试了incorporate的example,遇到了一些问题。总结一下

./install -mode silent -agreeToLicense yes -fileInstallationKey 1111-1111-1111-1111,后面1111填上自己的序列号就行了

  • 装的时候遇到了各种打不开license文件的问题,其实是因为新手,不敢给自己太大权限,所以不敢用root用户,所以当前用户在matlab安装文件下的权限不够。那就简单了 sudo chmod -R 777 MATLAB,把matlab文件夹下的所有文件权限变成所有用户都能访问就可以了
  • 装完matlab以后,报了internal error的错,打开就报错,然后就退出了。这个问题matlab官网上给出了解释https://ww2.mathworks.cn/support/bugreports/1297894,总之,要强制让matlab用系统文件,别用自己的文件,所以给他自己的文件重命名就可以了。这个错是把 sys/os/glnxa64文件夹下的libstdc++.so.6重命名就可以了 mv libstdc++.so.6 libstdc++.so.6.old
  • 装了MCR环境以后要把它添加到环境变量,添加完发现ssh不管用了。报错,ssh: /usr/local/MATLAB/R2015b/bin/glnxa64/libcrypto.so.1.0.0: no version information available (required by ssh)而且提示的是openssh版本不一致,那就和之前的问题一样,matlab的文件和系统文件版本不一致,不能用matlab带的文件,要强制他用系统文件,所以把matlab自带的那个文件libcrypto.so.1.0.0重命名 mv libcrypto.so.1.0.0 libcrypto.so.1.0.0.old就可以了。

至此,matlab的问题完全解决了?呵呵呵。

anyway,反正现在matlab是正常了。然后照着教程来了。

首先会在hadoop在运行job的时候报一些小错,不报错我都不习惯了。比如报错

/libexec/ld-elf.so.1: /usr/local/lib/libssl.so.6: Undefined symbol "EVP_idea_cbc"

反正就是某个文件不对啊之类的,这个其实很简单,基本上和上面说的问题一样,matlab版本的问题,找到把它提示错的那些文件,都重命名就OK了。

然后就是卡在job running不动了。去master:8088上看工作情况,是一直在accepted,然后提示的错误是container is not running,或者是container is running beyond memory limits之类的,就是在集群配置的时候配置文件没有配置好,这个在stackoverflow有详细解答https://stackoverflow.com/questions/21005643/container-is-running-beyond-memory-limits

具体的yarn-site.xml和mapred-site.xml的内存配置需要根据集群内机器的具体情况决定。我现在也没很清楚。目前我的配置是这样的,集群有3台机器,每台4核cpu,8g内存。然后两个文件的配置是下图。可以运行,但是不知道这样配置合不合理。如果有大神的话求解答。

 

最后,每一个坑,不管有没有帮助,反正都躲不掉,那就努力解决吧。你要相信你遇到的问题,总有别人也遇到过,也总有别人解决了。耐心找到对应的教程吧。

或者,实在不行了,如果程序简单的话,直接自己写matlab并行程序吧。哈哈哈哈哈。好的,我去学习matlab和python并行程序的编程了。

 

更新,刚刚又发现了一个问题。重启集群以后,再运行一次测试,卡在了running job,提示是Container is not yet running. Current state is LOCALIZING Hadoop 2.6.5

后来发现是我master上的zookeeper没有启动成功

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值