漠北鹰的专栏

flume的诞生背景现在大数据、数据分析在企业中的应用越来越广泛，大数据的一个主要应用场景是对一些日志进行分析，比如公司的监控的系统，采集运行在服务器上的日志进行分析，用户行为数据分析是采集用户在各个应用上面的日志行为进行分析。总结来看，很多地方都会产生日志，比如操作系统，web server（Tomcat，nginx等），应用程序等。那么这些数据要分析的话，就得将他们收集到一起来处理，发挥他们...

作者雏鹰（企业代号名），目前负责贝壳找房增长方向AB实验平台研发工作。引言​ 随着贝壳找房业务的不断增长，精细化运营显得尤为重要。为了保证每一次迭代，每一个方案能够真正得到用户的认可，为贝壳带来有效的商机转化率，我们就不得不理性对待每次功能上线，反复对比找到产品方案中的不足加以改进。基于这种需要，我们推出了贝壳找房AB实验平台（Athena）（以下简称ab平台）来为大家做产品方案的优化测试...

现在在互联网行业，稍微和大数据研发或者数据分析工作沾边的，都会有听到Hive这个工具。那么Hive是什么呢，是什么情况出现了Hive这个工具，它用来处理什么样的问题，哪些是它不能处理的，本文打算从以上角度来简单介绍一下Hive。hive是什么企业中，一般的大数据仓库都是基于关系型数据库来存储数据的。比如我们的日志数据，一般会通过消息队列导入给数据仓库同学，由其加工解析，建表，存储关键字段的信息...