大数据相关
关注
分享
扫一扫
onyas
这个作者很懒，什么都没留下…
展开
-
MapReduce初级案例
1、数据去重 "数据去重"主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重。下面就进入这个实例的MapReduce程序设计。1.1 实例描述 对数据文件中的数据进行去重。数据文件中的每行都是一个数据。 样例输入如下所示： 1）file1：转载 2015-03-30 13:59:39 · 1135 阅读 · 0 评论 -
大数据 和 docker
用docker搭建hadoop集群 用docker搭建zookeeper集群用docker搭建hbase集群用docker搭建kafka集群用docker搭建spark集群用docker搭建storm集群请参考 https://github.com/onyas/bigData-in-docker...原创 2018-06-17 20:03:57 · 1905 阅读 · 0 评论 -
一条命令启动一个hadoop集群
只需要输入一条docker-compose up就可以启动一个hadoop集群，然后另外开一个窗口进入docker中验证,可以看到相应的进程已经启动了hadoop2.x集群原创 2018-06-18 15:53:53 · 2319 阅读 · 1 评论 -
一条命令启动spark集群
只用一条命令docker-compose up 就可以在本地启动spark集群，如下所示原创 2018-06-18 16:56:01 · 1993 阅读 · 0 评论