likaiwalkman@csdn - Code Study Area

用户的行为日志,在现今以数据说话时代的重要性已经凸显地越来越明显.笔者从事相关一线工作(主要是数据处理及模型设计,离线及实时平台)三年，分享一些工作中的一些思考，这部分的内容比较偏向业务,希望不会写的太技术。 首先，我们要先来看一下这个东东到底有啥重要的，为啥每个有点规模的公司都需要花费一定人力来搞这个东西呢？有的时候甚至只是一份日志真的能养活这么多人？ 想解释

上一篇我们分析了目前主流的用户日志采集方法：http://blog.youkuaiyun.com/tonylee0329/article/details/43705065， 本篇我们将要讨论是如何将这些日志传输到我们的存储系统以便于后续处理分析，会结合离线以及实时两条线来探讨。 目前我们采取的方案是这样的： 这样架构的考虑点： 1.先说离