【海量数据处理】
关注
分享
扫一扫
文章平均质量分 78
雪飞静
左手边在冒险，右手边在蜕变。
展开
-
百万计数据数据库处理
作者：哈哈 链接：http://www.zhihu.com/question/19719997/answer/81930332 优化顺序是: 第一优化sql和索引； 第二加缓存，memcached,redis； 第三以上都做了后，还是慢，就做主从复制或主主复制，读写分离，可以在应用层做，效率高，也可以用三方工具，第三方工具推荐360的atlas,其它的要么效率不高，要么没转载 2016-07-12 20:26:10 · 1158 阅读 · 0 评论 -
十道海量数据处理面试题
第一部分、十道海量数据处理面试题 1、海量日志数据，提取出某日访问百度次数最多的那个IP。 此题，在我之前的一篇文章算法里头有所提到，当时给出的方案是：IP的数目还是有限的，最多2^32个，所以可以考虑使用hash将ip直接存入内存，然后进行统计。 再详细介绍下此方案：首先是这一天，并且是访问百度的日志中的IP取出来，逐个写入到一个大文件中。注意到IP是32位的，最多转载 2016-07-12 21:03:40 · 496 阅读 · 0 评论