吴超沉思录

个人负责的任务库小组仅有自己一人，所以负责项目过程中的全部工作，包括程序设计、编写代码、PPT制作和讲解等。完成的项目要求有：统计访问记录总数，统计每天的访问量，统计访问高峰时间段，统计访问量前100的url（由于数据集中日志的访问日期在同一天，无法完成统计访问量最大的3天功能）。遇到的问题及解决思路（1）将.gz格式压缩包解压为.txt文件功能的实现。解决思路：使用GZIPInputStream类的read()方法和FileOutputStream类的write()方法。从数据中提取

简介 hadoop中的NameNode好比是人的心脏，非常重要，绝对不可以停止工作。在hadoop1时代，只有一个NameNode。如果该NameNode数据丢失或者不能工作，那么整个集群就不能恢复了。这是hadoop1中的单点问题，也是hadoop1不可靠的表现，如图1所示。hadoop2就解决了这个问题。图1 hadoop2.2.0中HDFS的高

简介 hadoop2的中的MapReduce不再是hadoop1中的结构已经没有了JobTracker，而是分解成ResourceManager和ApplicationMaster。这次大变革被称为MRv2或者YARN，是一次革命性的变化。 配置 在前面的文章中，我们配置了hadoop2集群的HA高可靠，下面紧接上前面的配置，设置MapReduce的配置信息，也是最简单最容

前言     hadoop是分布式系统，运行在linux之上，配置起来相对复杂。对于hadoop1，很多同学就因为不能搭建正确的运行环境，导致学习兴趣锐减。不过，我有免费的学习视频下载，请点击这里。    hadoop2出来后，解决了hadoop1的几个固有缺陷，比如单点故障、资源利用率低、支持作业类型少等问题，结构发生了很大变化，是hadoop未来使用的一个趋势。当然，配置也更加复杂