大数据

知识点:

1.哈希函数(MD5,SHA1)

2.map_reduce和hadoop

(1)map阶段，分发

(2)reduce阶段，合并

注意点:

1.备份的考虑，分布式存储的设计细节，以及容灾策略。

2.任务分配策略与任务进度跟踪的细节设计，节点状态的呈现。

3.多用户权限的控制。

相关应用场景:

主要是利用分而治之的方法，要么分到不同的机器上，要么分配到不同的文件中。常用hashmap和bitmap，难点在于通信，时间和空间的估算上。

1.使用map_reduce方法统计单词出现频率

2.对十亿个ipv4地址进行排序，每个ip只会出现一次

3.对十亿人的年龄进行排序

4.从包含20亿个32位整数的大文件中找到出现次数最多的数，内存限制为2G

5.从包含40亿个无符号整数的大文件中找出一个32位无符号整型范围内没有出现过的数字，内存限制为10M

6.从百亿搜索数据量中找出前十搜索次数的数据

7.数据缓存,一致性哈希算法