行动起来

者：July、youwang、yanxionglu。时间：二零一一年三月二十六日说明：本文分为俩部分，第一部分为10道海量数据处理的面试题，第二部分为10个海量数据处理的方法总结。有任何问题，欢迎交流、指正。出处：http://blog.youkuaiyun.com/v_JULY_v。------------------------------------------第一部分、十道海量数据处理面试题...

提取出某日访问百度次数最多的那K个IP 基本思路：ip最多2^32个，放入内存也要40G，基本不现实。所以只有用外排序，把ip分割成到不同的小文件里，然后统计次数后，汇总。另外，ip本质就是一32bit的数值，不要拘泥于字符串表示的ip。思路也可参考此处问题一基于以上思路，看代码： package com.kingdee.gmis.ips;import java...

前边提到了单线程的实现，这里贴出多线程版，此处主要用多线程去处理hash后的小文件： Java代码  package com.kingdee.gmis.mass.data.ips;    import static com.kingdee.gmis.mass.data.ips.MassIP.K10;  import static com.kingdee.g...

今天无意中从箱子里发现了大学时学算法的教材《算法设计与分析》，虽然工作这么几年没在什么地方用过算法，但算法的思想还是影响深刻的，可以在系统设计时提供一些思路。大致翻了翻，重温了一下几种几种经典的算法，做一下小结。分治法动态规划贪心算法回溯法分支限界法分治法1）基本思想将一个问题分解为多个规模较小的子问题，这些子问题互相独立并与原问题解决方法相同。递归解这些子...