勇往直前的专栏

第二篇，Google MapReduce架构启示（上）。很多时候，定义清楚问题比解决问题更难。 什么是MapReduce？它不是一个产品，而是一种解决问题的思路，它有多个工程实现，Google在论文中也给出了它自己的工程架构实现。 MapReduce这个编程模型解决什么问题？能够用分治法解决的问题，例如： 网页抓取 日志处理 索引倒排 ...

搞架构的人，Google的架构论文是必看的，但好像大家都不愿意去啃英文论文。故把自己的读书笔记，加入自己的思考，分享给大家。《MapReduce到底解决什么问题？》做了简介，这是第二篇，Google MapReduce优化启示（中）。 什么是MapReduce？MapReduce这个编程模型解决什么问题？Google MapReduce是Google产出的一个编程模型，同时...

前情回顾Google MapReduce到底解决什么问题？Google MapReduce是Google产出的一个编程模型，同时Google也给出架构实现，它能够解决“能用分治法解决的问题”。 Google MapReduce有啥巧妙优化？ 分区函数：保证不同map输出的相同key，落到同一个reduce里 合并函数：在map结束时，对相同key的多个输出做本地...

搞架构的人，Google的论文是必看的，但好像大家都不愿意去啃英文论文。故把自己的读书笔记，加入自己的思考，分享给大家。第三部分，Google BigTable。BigTable，很多人对它耳熟能详，但它究竟解决什么问题呢？这是今天要聊的话题。什么是BigTable？Google BigTable是一个分布式，结构化数据的存储系统，它用来存储海量数据。该系统用来满足“大数据量、...

先看全图是基于Yarn的Map-Reduce运行过程，下面通俗的说一下这个过程。从前有一个老板Resource Manager，开了一家外包公司，这家公司有很多的团队Node，每个团队都有个经理Node Manager，每过一段时间，团队经理Node Manager都要到老板那里开会，向老板的人事部门Manage NMs的ResourceTackerService报告当前的人员使用情况。...

你好，我是蔡元楠， 目前在 Google Brain 担任 AI Healthcare (人工智能的健康医疗应用) 领域资深工程师，也是极客时间《大规模数据处理实战》的专栏作者，这篇文章便出自这个专栏的第一篇文章。每次和来 Google 参观的同行交流的时候，只要谈起数据处理技术，他们总是试图打探 MapReduce 方面的经验。这一点让我颇感惊讶，因为在硅谷，MapReduced 大家谈...