m0_46615073的博客

目录一、IDEA编写wordcount1、本地环境准备【1】创建maven项目【2】添加scala开发框架支持【3】测试scala运行环境是否成功【4】添加spark依赖关系2、编写wordcount【1】准备本地测试文件【2】编写代码【3】运行结果：3、依赖导入下载太慢解决二、Spark编写wordcount一、IDEA编写wordcount1、本地环境准备【1】创建maven项目开发前请保证 IDEA 开发工具中含有 Scala 开发插件.

文章目录前言一、Spark运行环境1.1、spark运行环境概述1.2、local模式1.2.1、上传spark压缩文件并解压1.2.2、启动local环境1.2.3、命令行工具 (wordcount小测试)1.2.4、提交应用1.3、Standalone（独立部署模式）1.3.1、解压缩文件1.3.2、修改配置文件1.3.3、启动集群1.3.4、配置历史服务器1.4、yarn模式1.4.2、修改配置文件1.4.3、启动HDFS和YARN1