
Spark
Spark相关技术文章。
katus
流下了没有技术的眼泪……为成为一个高技术力软件工程师不懈努力中……
展开
-
Spark数据库操作初步——Spark开发学习笔记(三)
Spark数据库操作初步 本文的操作环境和安装的版本 操作系统:Windows 10 1909版本 IDE:IntelliJ IDEA Ultimate 2019.2.4版本 JDK:1.8.0_221 Hadoop:2.7.1 Spark:3.0.0-preview Scala:2.12.10 Maven:3.6.2 数据库:MySQL 8.0.18 一、准备工作 在之前环境的基础上我们...原创 2019-11-29 11:31:03 · 1226 阅读 · 0 评论 -
Spark RDD 初探——Spark开发学习笔记(二)
Spark RDD 初探 弹性分布式数据集(Resilient Distributed Dataset,RDD)是Spark中的核心概念,基本上所有的Spark运算操作对象都是RDD,我们今天就来简单认识一下这个RDD。 说明:由于本文的开发基于Java,因此所有的观点都是基于Java的。 一、RDD 创建 RDD是一种数据集,初步我们可以将其想象成一个数组类似的数据结构,先不去管实际的存储结...原创 2019-11-27 15:08:29 · 334 阅读 · 0 评论 -
Spark开发环境搭建——Spark开发学习笔记(一)
前言:本人水平有限,目前在前辈的指导下进行Spark开发的自学,在此整理出自学笔记,主要是巩固一下学习的内容,如果本文内容能对各位读者有所启发,我将十分高兴。另外由于个人水平有限,所写内容难免有疏漏之处,欢迎各位批评指出。 Spark开发环境搭建 一、Java环境搭建 安装java环境需要安装部署JDK和JRE,本次选择的JDK版本是1.8。前往官网即可下载,官网链接:JDK下载地址。 我们...原创 2019-11-26 11:56:47 · 1115 阅读 · 1 评论