
spark
森森之火
这个作者很懒,什么都没留下…
展开
-
spark-sql入门(一)通过spark-shell命令行操作
SparkSQL是spark用来处理结构化的一个模块,它提供一个抽象的数据集DataFrame,并且是作为分布式SQL查询引擎的应用 注:本文所有操作是基于ambari工具,搭建好了 hdfs yarn hive spark mapReduce等大数据常用的组件一、进入spark命令窗口 输入命令 spark-shell 以上是各种报错的部分...原创 2020-04-17 09:41:13 · 13341 阅读 · 1 评论 -
ubuntu环境 中 docker 安装spark集群(利用docker-compose)
前言这里解释下 题目中的 docker-compose,这其实是docker提供的一种命令行工具,用来定义和运行由多个容器组成的应用,初一看,这句有点不好理解,那先不着急,我先列一个场景,现在有一个需求是,用docker完成 一个应用A的部署,且这个应用A需要依赖多个应用A1、A2、A3....才能正常运行,而且多个应用的部分配制还要能灵活的配制,..说到这,你是不是有点头痛了,如果...原创 2020-04-03 15:24:37 · 2169 阅读 · 1 评论