集群-MySQL-jdbc-mapreduce

跑的第一个实验今天晚上十点半终于跑出个东西了：每个mapper启动一个MySQL connection，结果给reduce汇总。

过程中遇到的问题很多，自然也学习到了很多。

1.maven选择性将依赖包打包的问题， http://www.cnblogs.com/dzblog/p/6913809.html，通过<scope>标签控制，不需要的就provided，需要的runtime；

2.给myql启动远程登录，http://www.cnblogs.com/linjiqin/p/5270938.html

3.Hadoop日志问题，一直输入的URL是master:50070，师兄过来一看，DataNode怎么都死了，然后发现这不是大集群啊……我想起来当时用小集群的时候配过etc/hosts，master映射到了小集群的IP……所以Hadoop的日志应该还是有价值的吧……虽然我没用日志分析，是硬调的代码+请大佬帮忙看代码沟通找到的问题所在：也就是大集群是无法访问我的电脑的MySQL的，跟我配不配置允许远程访问无关，因为大集群是处在它自己的局域网里的，无法访问局域网外的IP，只能访问局域网内的相对IP，所以连不上我的电脑，同理我也不能用那局域网内的相对IP访问集群上的MySQL，所以本地调试的时候不能连接集群的MySQL，只有提交到集群上跑的时候把代码IP改一下。

4.最后的乌龙是，从连接我自己的MySQL改成集群上的MySQL（建库，建表，传数据，导入的是CSV数据 http://blog.youkuaiyun.com/quiet_girl/article/details/71436108），代码的表名忘改了（可以说是好多年就这么丢三落四了，看得太仔细我怕眼睛瞎掉……），改完就好啦~

5.Linux和Mac OS的换行符是'\r'，Hadoop也是在Linux系统上，输出文件格式所以要注意

另外，我终于知道为啥优快云博客打不开（不好使）了，因为开了蓝灯……关了就好了，用国外服务器看来无法访问优快云，虾米音乐APP也有同样的问题，其它音乐APP都好好的，在国外的时候虾米是不能用的……（限制了他俩的海外市场哈哈）