
spark
陈府才俊
大道至简,知易行难
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Spark2.1.1Idea配置
Spark环境配置(Spark+Sbt+IntelliIntelliJ+Mac)我的部署需求 spark-2.1.1 (2017年5月24日的最新版本)scala 2.11.7 (此时最新版本是scala 2.12,但是官网指出spark-2.1.1只能兼容scala 2.11.*)java 1.8.0_121Spark本地模式的安装和一些环境变量的设置可参考Spark mac下Spa原创 2017-05-24 17:13:58 · 2777 阅读 · 0 评论 -
SparkStreaming项目实战系列——1.实时流概述
SparkStreaming项目实战系列——实时流概述 Spark官网关于Spark2.2.0需要以下条件: maven3.3.9+ Java8+ Spark2.2.01.初识实时流处理1.1业务现状分析需求:统计主站每个(制定)课程访问的客户端、地域信息分布 地域:ip转换 SparkSQL项目实战客户端:useragent获取 Hadoo原创 2017-12-29 20:54:54 · 1394 阅读 · 3 评论 -
SparkStreaming项目实战系列——2.分布式日志收集框架Flume
2.分布式日志收集框架Flume2.1业务现状分析原创 2017-12-29 21:03:47 · 433 阅读 · 0 评论