YaoXTao的专栏

linux下hadoop2.6.1源码64位的编译 一、 前言     Apache官网上提供的hadoop本地库是32位的，如果我们的Linux服务器是64位的话，就会现问题。     我们在64位服务器执行Hadoop命令时，则会报以下错误：     WARNutil.NativeCodeLoader: Unable to load native-hadoop libr

 优秀大数据GitHub项目一览 VMware CEO Pat Gelsinger曾说： 数据科学是未来，大数据分析则是打开未来之门的钥匙 企业正在迅速用新技术武装自己以便从大数据项目中获益。各行业对大数据分析人才的需求也迫使我们升级自己的技能以便寻找更好的职业发展。 跳槽之前最好先搞清楚一个岗位会接触到的项目类型，这样你才能掌握所有需要的技能，工作的效率也会更高。

  org.apache.hadoop.io.nativeio.NativeIO$Windows.access0 当在Eclipse中运行mapreduce程序出现“org.apache.hadoop.io.nativeio.NativeIO$Windows.access0”异常时，可以试着通过以下方法解决问题。 1.下载对应hadoop源代码，并将源代码解压。 2.将hadoop-

The auxService:mapreduce_shuffle does not exist 当提交作业出现类似下面的异常信息时：             INFO mapreduce.Job: Task Id : attem

Aggregation is not enabled. hadoop  job执行完之后，到jobhistory的webui页面查看日志时，页面上出现Aggregation is not enabled. Try the nodemanager at d2.hadoop:42812 错误 解决方法：   在 yarn-site.xml 文件增加以下属性

Hadoop客户端提交作业时java.lang.ClassNotFoundException 在windows的eclipse下开发MapReduce程序，提交集群作业时，抛出了java.lang.RuntimeException: java.lang.ClassNotFoundException异常。 解决方法：         1.将MapReduce程序打包成一个jar文件，放到项