百度技术沙龙：如何设计优良的日志分析系统

每次参加完技术交流的会议，都有不少的收获和感触，在这里show一下，等有空的时候再后头看看。

今天下午的技术交流是关于数据分析这块的，正好和我目前方向比较吻合，所以收获不小，使我明晰了接下来公司数据分析技术的方向，在技术方面需要优化和开发的工作。多维度的大数据实时数据计算现在对我们算是一个挑战；还有应对各业务线，产品人员，领导的即时性的数据需求能不能有个对外接口，为他们开放，让自己查询。

这两个方面，淘宝和百度都已经比较成熟。淘宝量子统计已经提供给上千万用户使用，可以实现在线流式实时处理，产品当然也是从不稳定到稳定，一步步发展过来的，即时任务大量采用hive,采用了erlang+zookeeper的流计算方式。百度的日志分析数据架构则是从awk,crontab,php到hadoop的mapreduce再到自己开发的类SQL的DISQL(底层转换为分布式或单机的php+c),再到DISQL2.0(全新C++支持)。

看来我们数据分析平台要走的路还很长，任务调度管理，实时流式计算，数据仓库的搭建.....C10k问题，非阻塞，可靠性，故障恢复机制，高效性，成本控制等等。貌似还有很多工作要做。