a807719447的专栏

前言几年前茶余饭后与一大数据工程师同事聊天吹水得时候，听同事侃侃而谈大数据，刚觉很牛B得样子。同事培训机构刚出来1年，薪资就有就有12k，而自己4年工作经验也才12.5k，感觉做大数据得真的很牛B。本着求知的心态，经常听他科普大数据。开始我们聊数据存储，也就是HDFS，同事说：“这东西叫分布式文件存储，就是把文件通过计算存储到3块磁盘上，假如其中一块磁盘坏掉了可以通过其他磁盘恢复，3块磁盘是最...

基础引导大数据解决了什么问题？大数据需要解决得几个问题是采集存储计算展示数据采集说到数据采集就需要说到数据来源。数据无非来源于各种数据库，以及文件。那么就需要有提供一种这样得工具能从各个地方获取数据输入，并输出到HDFS中。相信大家都接触过elk。也一定知道logstash。所以这里我推荐大家学习两个采集方案方案一、所以数据得采集可以使用 filebeat+kafka+l...