
数据分析
u010154380
这个作者很懒,什么都没留下…
展开
-
大数据学习(一):实时处理环境搭建
概述 为了实现搭建一套初步学习大数据实时分析的平台,用了5台linux虚拟机(Centos 7),安装 的组件包括: - FlumeNG:数据采集 - kafka集群:数据统一接入 - Storm集群:数据实时处理 - hadoop集群:这里只是用了其中HDFS组件来做数据存储 整个实时处理框架如下: 本人自己搭建环境的节点分布如下: 服务 节点转载 2017-11-17 14:47:57 · 964 阅读 · 0 评论 -
Nutch+MongoDB+ElasticSearch+Kibana 搭建搜索引擎
Nutch+MongoDB+ElasticSearch+Kibana 搭建搜索引擎前言:文章讲述如何通过Nutch、MongoDB、ElasticSearch、Kibana搭建网络爬虫,其中Nutch用于网页数据爬取,MongoDB用于存储爬虫而来的数据,ElasticSearch用来作Index索引,Kibana用来形象化查看索引结果。具体步骤如下: 配置环境:系统环境:Ubuntu 14.04J转载 2017-12-04 22:41:07 · 847 阅读 · 0 评论