
大数据处理技术
Andrewings
这个作者很懒,什么都没留下…
展开
-
大规模数据处理学习笔记:1.从未入门到放弃MapReduce
1. 从未入门到放弃MapReduce\quad之前看过一些关于大数据技术的内容和文章,了解了一些关于MapReduce的东西,不得不感慨技术发展是如此之快,MapReduce这么快已经开始逐渐沦落为“明日黄花”了。到2014年,Google内部已经几乎没有人写新的MapReduce了。MapReduce被取代的原因主要有以下两个:高昂的维护成本时间性能达不到用户期待MapReduc...原创 2019-06-22 17:04:23 · 209 阅读 · 0 评论 -
大规模数据处理学习笔记:2. 如何实现大型电商热销榜
2.如何实现大型电商热销榜2.1 案例描述2.2 小规模的经典算法2.3 大规模分布式解决方案2.3.1 统计每个商品的销量2.3.2 找出销量前k2.3.3 汇总最终结果2.1 案例描述本文以大型电商热销榜为例,讲述了从1万用户到1亿用户,从GB数据到PB数据系统,技术思维需要什么样的升级。假设某电商网站销售10亿件商品,已经跟踪了网站的销售记录:商品id以及购买时间{product_id...原创 2019-06-26 17:35:25 · 433 阅读 · 0 评论