Leslie的专栏

这是Udacity的课程 intro to hadoop and mapReduce里面Lesson4的练习 只说一点，求平均不能在combiner中进行 算法依然是计数，记录总和，最后输出 平均值 #Mapper #!/usr/bin/python import sys from datetime import datetime for line in sys.stdin: data

这是Udacity的课程 intro to hadoop and mapReduce里面Lesson4的练习 求总体的Top N。 首先在Mapper中求出局部的Top N，求Top N不能像word count那样来一句print一句，要把所有的line都读完，计数，排序，输入topN 然后再Reducer中求出全局的 Top N。 以下是Mapper 代码 #!/usr/bin/py

这是Udacity的课程 intro to hadoop and mapReduce里面Lesson4的练习 该练习完成了从大量的论坛post中，过滤出只有一句话的post。以下是题目具体描述以及python代码#!/usr/bin/python import sys import csv # To run this code on the actual data, please do

这是Udacity的课程 intro to hadoop and mapReduce里面Lesson4的练习 其实这个任务与 word count类似，只不过这里Reducer输出索引，而word count的输出是 计数 #mapper import sys import csv import string def mapper(): reader = csv.reader

源自Udacity，Intro to hadoop这门课Final Project We might want to help students form study groups. But first we want to see if there are already students on forums that communicate a lot between

源自Udacity，Intro to hadoop这门课Final Project 题目要求，从给定的论坛帖子数据中，找出被使用最多的10个tag。tag存在于question中（因为comment和answer也存在于数据表中，所有需要在mapper中过滤） 思路： mapper 从是question的记录中，提取tags，并输出 reducer 给每个tags计数，保存

源自Udacity，Intro to hadoop这门课Final Project 题目说想知道 帖子的长度跟回答的长度有没有相关性 思路： Mapper 过滤出question和answer，输出id，type(question, answer)， length Reducer 统计每一个id对应的 question的len 以及 answer的average len 

源自Udacity，Intro to hadoop这门课Final Project 题目要求，从论坛帖子的结构化数据中，找出每个用户po贴最多的时间。 比如，用户A在每天的8点，po最多的帖子，数量标记为x 那么reducer的输出就是 A     x 思路： Mapper需要输出 author_id； Reducer则对每个用户做一个｛hour : count｝的统计

最近在做公司的nginx log分析，其中一个需求是提取这个月每天被访问Top10的页面，及其访问量。 做这个需求，首先要清洗出有效的页面访问。我采用排除法，去掉 .js .css之类的访问。但最初，我并不能全面的了解要去掉带有哪些后缀的request。 经过清洗 -> 抽样 -> 清洗 -> 抽样 -> 清洗，最终需要过滤掉含有下列后缀的uri .js  .css  . gif