cafebar123的专栏

hive1.2.2+hadoop2.7.3导入米骑测试日志以及数据优化(五）

hive安装的一些错误(不定期更新)

hive对电商用户订单行为特征分析

最近去面试，遇到面试官提到了几个关于“数据采集”方面的问题。一般大数据处理流程的共识是：大数据采集、大数据预处理、大数据存储及管理、大数据分析及挖掘、大数据展现和应用（大数据检索、大数据可视化、大数据应用、大数据安全等）。其中，数据采集是第一步。有这么几个情况：（1）日志类型的数据采集；（2）接口类型的数据采集；（3）爬虫数据采集；（4）传感器数据采集等等。。当然有别的分类，这里暂...