“遇到的任何解决不了的问题,只是因为你没有找到对的教程而已。”这边只是把我遇到的问题和找到的合适的教程整理一下。希望有帮助。感谢学习路上遇到个每一个认识或者不认识的大神
之前写过一个教程,是standalone形式的,其实官网上还有一种是把map和reduce函数分别合并到hadoop的mapreduce的job里。
这是是standalone的官方教程https://ww2.mathworks.cn/help/compiler/hadoop/example-on-running-a-standalone-matlab-mapreduce-application.html
incorporate的官方教程https://ww2.mathworks.cn/help/compiler/hadoop/example-using-the-mcc-command-workflow.html
看两个的workflow就大概知道两个的区别了https://ww2.mathworks.cn/help/compiler/hadoop-integration.html?s_tid=CRUX_lftnav
上次集群崩了,重新弄了一个,然后测试了incorporate的example,遇到了一些问题。总结一下
- 第一个在服务器上安装matlab,淘宝买了个破解版,(这种做法不对,但是没钱买正版),安装教程https://www.linuxidc.com/Linux/2015-11/125153.htm
- 安装到 sudo ./install的时候报错
- 这个是因为没有序列号,https://blog.youkuaiyun.com/sw3300255/article/details/84521094这个博文里给出了解决方案
./install -mode silent -agreeToLicense yes -fileInstallationKey 1111-1111-1111-1111,后面1111填上自己的序列号就行了
- 装的时候遇到了各种打不开license文件的问题,其实是因为新手,不敢给自己太大权限,所以不敢用root用户,所以当前用户在matlab安装文件下的权限不够。那就简单了 sudo chmod -R 777 MATLAB,把matlab文件夹下的所有文件权限变成所有用户都能访问就可以了
- 装完matlab以后,报了internal error的错,打开就报错,然后就退出了。这个问题matlab官网上给出了解释https://ww2.mathworks.cn/support/bugreports/1297894,总之,要强制让matlab用系统文件,别用自己的文件,所以给他自己的文件重命名就可以了。这个错是把 sys/os/glnxa64文件夹下的libstdc++.so.6重命名就可以了 mv libstdc++.so.6 libstdc++.so.6.old
- 装了MCR环境以后要把它添加到环境变量,添加完发现ssh不管用了。报错,ssh: /usr/local/MATLAB/R2015b/bin/glnxa64/libcrypto.so.1.0.0: no version information available (required by ssh)而且提示的是openssh版本不一致,那就和之前的问题一样,matlab的文件和系统文件版本不一致,不能用matlab带的文件,要强制他用系统文件,所以把matlab自带的那个文件libcrypto.so.1.0.0重命名 mv libcrypto.so.1.0.0 libcrypto.so.1.0.0.old就可以了。
至此,matlab的问题完全解决了?呵呵呵。
anyway,反正现在matlab是正常了。然后照着教程来了。
首先会在hadoop在运行job的时候报一些小错,不报错我都不习惯了。比如报错
/libexec/ld-elf.so.1: /usr/local/lib/libssl.so.6: Undefined symbol "EVP_idea_cbc"
反正就是某个文件不对啊之类的,这个其实很简单,基本上和上面说的问题一样,matlab版本的问题,找到把它提示错的那些文件,都重命名就OK了。
然后就是卡在job running不动了。去master:8088上看工作情况,是一直在accepted,然后提示的错误是container is not running,或者是container is running beyond memory limits之类的,就是在集群配置的时候配置文件没有配置好,这个在stackoverflow有详细解答https://stackoverflow.com/questions/21005643/container-is-running-beyond-memory-limits
具体的yarn-site.xml和mapred-site.xml的内存配置需要根据集群内机器的具体情况决定。我现在也没很清楚。目前我的配置是这样的,集群有3台机器,每台4核cpu,8g内存。然后两个文件的配置是下图。可以运行,但是不知道这样配置合不合理。如果有大神的话求解答。
最后,每一个坑,不管有没有帮助,反正都躲不掉,那就努力解决吧。你要相信你遇到的问题,总有别人也遇到过,也总有别人解决了。耐心找到对应的教程吧。
或者,实在不行了,如果程序简单的话,直接自己写matlab并行程序吧。哈哈哈哈哈。好的,我去学习matlab和python并行程序的编程了。
更新,刚刚又发现了一个问题。重启集群以后,再运行一次测试,卡在了running job,提示是Container is not yet running. Current state is LOCALIZING Hadoop 2.6.5
后来发现是我master上的zookeeper没有启动成功