
Docker
VioletCherry
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Docker构建学习环境(4)-Azkaban Solo模式调度Spark
背景 前段时间利用Docker部署了hadoop集群和spark,也简单的提交了任务。但是肯定有一个疑问,如果我们要执行定时任务怎么办呢?或者我们执行复杂的具有顺序的多任务怎么办?在大数据中,这种场景非常常见,一个大数据任务通常由大量的任务组成,并且可能是shell脚本、mapreduce任务、spark任务等,并且任务之间存在依赖关系。手动执行这种原始办法虽然可以,但是人总有出错的时候。今天要带来的一款具有复杂任务调度能力的框架-Azkaban,也支持定时调度。 Azkaban介绍 Azkaban是由Li原创 2020-05-11 22:06:29 · 938 阅读 · 0 评论 -
Docker构建学习环境(3)-部署Spark并提交WordCount任务
Spark概述 Apache Spark是一个开源集群运算框架,最初是由加州大学柏克莱分校AMPLab所开发。相对于Hadoop的MapReduce会在运行完工作后将中介数据存放到磁盘中,Spark使用了存储器内运算技术,能在数据尚未写入硬盘时即在存储器内分析运算。Spark在存储器内运行程序的运算速度能做到比Hadoop MapReduce的运算速度快上100倍,即便是运行程序于硬盘时,Spar...原创 2020-05-01 17:37:12 · 1018 阅读 · 0 评论 -
Docker构建学习环境(1)-部署ElasticSearch集群
ElasticSearch介绍 ElasticSearch下面简称ES,是一款分布式全文搜索和分析引擎,它可用于商城的全文搜索引擎,也可用作小型实时日志分析系统,著名的ELK中的E就是指的ElasticSearch。ElasticSearch基于Lucene基础之上,用过Lucene的人可能知道,Lucene的API复杂,而且缺乏分布式功能,而ElasticSearch天生提供分布式功能,并且提供...原创 2019-11-05 21:54:12 · 517 阅读 · 0 评论