spark
关注
分享
扫一扫
小哪吒的BD
这个作者很懒，什么都没留下…
展开
-
StructuredStreaming整合kafka&Mysql
前言大家好，我是DJ丶小哪吒，我又来跟你们分享知识了。小编是一名软件工程系大数据应用开发专业大二的学生，对软件开发有着浓厚的兴趣。喜欢与人分享知识。做博客的目的就是为了能与 他 人知识共享。最近小编也在学习spark,对课堂上的内容做了一些总结。来与大家分享。由于水平有限。博客中难免会有一些错误。如有 纰 漏之处，欢迎大家在留言区指正。小编也会及时改正。DJ丶小哪吒续更了。上回简单带领大家简单了解了一下StructuredStreaming，那么这一回，我们就来使用StructuredStream.原创 2020-05-23 20:26:59 · 671 阅读 · 2 评论 -
看了这篇文章，再也不用担心面试官问我Structured Streaming了
前言大家好，我是DJ丶小哪吒，我又来跟你们分享知识了。小编是一名软件工程系大数据应用开发专业大二的学生，对软件开发有着浓厚的兴趣。喜欢与人分享知识。做博客的目的就是为了能与 他 人知识共享。最近小编也在学习spark,对课堂上的内容做了一些总结。来与大家分享。由于水平有限。博客中难免会有一些错误。如有 纰 漏之处，欢迎大家在留言区指正。小编也会及时改正。很高兴与大家又见面了。小编要分享的是Structured Streaming,我需要大家竖起耳朵认真听。发现谁开小差，那么这节课站着听。还有把哪位.原创 2020-05-23 19:51:03 · 740 阅读 · 1 评论 -
一篇文章教会你SparkStreaming整合kafka
前言大家好，我是DJ丶小哪吒，我又来跟你们分享知识了。小编是一名软件工程系大数据应用开发专业大二的学生，对软件开发有着浓厚的兴趣。喜欢与人分享知识。做博客的目的就是为了能与 他 人知识共享。最近小编也在学习spark,对课堂上的内容做了一些总结。来与大家分享。由于水平有限。博客中难免会有一些错误。如有 纰 漏之处，欢迎大家在留言区指正。小编也会及时改正。今天你们的小哪吒又来与你们分享知识了，小编也是在百忙之中抽出时间更新博客呀。最近还是在一直准备面试需要准备的材料。也是非常想念大家啊。下面我们来进.原创 2020-05-22 15:31:37 · 646 阅读 · 0 评论 -
看完了这篇文章，让你对SparkStreaming再也不迷茫了
前言大家好，我是DJ丶小哪吒，我又来跟你们分享知识了。小编是一名软件工程系大数据应用开发专业大二的学生，对软件开发有着浓厚的兴趣。喜欢与人分享知识。做博客的目的就是为了能与 他 人知识共享。最近小编也在学习spark,对课堂上的内容做了一些总结。来与大家分享。由于水平有限。博客中难免会有一些错误。如有 纰 漏之处，欢迎大家在留言区指正。小编也会及时改正。你们阔耐，阳光，积极向上的DJ丶小哪吒又回来了，好像回顾之前，小编已经两个星期没有更新博客了呢。也是最近比较忙，由于跟进老师讲的项目并吃透。每天都.原创 2020-05-20 19:39:49 · 847 阅读 · 0 评论 -
看了本篇文章，才知道Spark-On-Hive原来如此简单
前言大家好，我是DJ丶小哪吒，我又来跟你们分享知识了。小编是一名软件工程系大数据应用开发专业大二的学生，对软件开发有着浓厚的兴趣。喜欢与人分享知识。做博客的目的就是为了能与 他 人知识共享。最近小编也在学习spark,对课堂上的内容做了一些总结。来与大家分享。由于水平有限。博客中难免会有一些错误。如有 纰 漏之处，欢迎大家在留言区指正。小编也会及时改正。DJ丶小哪吒又来与各位分享知识了。...原创 2020-04-29 21:55:53 · 311 阅读 · 0 评论 -
一篇文章教会你如何自定义SparkSQL函数和开窗函数
前言大家好，我是DJ丶小哪吒，我又来跟你们分享知识了。小编是一名软件工程系大数据应用开发专业大二的学生，对软件开发有着浓厚的兴趣。喜欢与人分享知识。做博客的目的就是为了能与 他 人知识共享。最近小编也在学习spark,对课堂上的内容做了一些总结。来与大家分享。由于水平有限。博客中难免会有一些错误。如有 纰 漏之处，欢迎大家在留言区指正。小编也会及时改正。DJ丶小哪吒又来与各位分享知识了。...原创 2020-04-29 21:40:50 · 709 阅读 · 0 评论 -
震惊！！！原来Spark SQL多数据源交互如此easy
前言大家好，我是DJ丶小哪吒，我又来跟你们分享知识了。小编是一名软件工程系大数据应用开发专业大二的学生，对软件开发有着浓厚的兴趣。喜欢与人分享知识。做博客的目的就是为了能与 他 人知识共享。最近小编也在学习spark,对课堂上的内容做了一些总结。来与大家分享。由于水平有限。博客中难免会有一些错误。如有 纰 漏之处，欢迎大家在留言区指正。小编也会及时改正。DJ丶小哪吒又来与各位分享知识了。...原创 2020-04-28 21:08:22 · 563 阅读 · 2 评论 -
一篇文章教你如何使用IDEA开发Spark SQL---小编给你安排的明明白白的
前言大家好，我是DJ丶小哪吒，我又来跟你们分享知识了。小编是一名软件工程系大数据应用开发专业大二的学生，对软件开发有着浓厚的兴趣。喜欢与人分享知识。做博客的目的就是为了能与 他 人知识共享。最近小编也在学习spark,对课堂上的内容做了一些总结。来与大家分享。由于水平有限。博客中难免会有一些错误。如有 纰漏 之处，欢迎大家在留言区指正。小编也会及时改正。DJ丶小哪吒又来与各位分享知识了。...原创 2020-04-28 18:30:00 · 1173 阅读 · 1 评论 -
看了这篇文章，你还敢说你不了解sparkSQL???
前言大家好，我是DJ丶小哪吒，我又来跟你们分享知识了。小编是一名软件工程系大数据应用开发专业大二的学生，对软件开发有着浓厚的兴趣。喜欢与人分享知识。做博客的目的就是为了能与 他 人知识共享。最近小编也在学习spark,对课堂上的内容做了一些总结。来与大家分享。由于水平有限。博客中难免会有一些错误。如有 纰 漏之处，欢迎大家在留言区指正。小编也会及时改正。DJ丶小哪吒又来与各位分享知识了。...原创 2020-04-28 16:49:16 · 418 阅读 · 2 评论 -
使用Spark操作JDBC-API实现将数据存入到MySQL并读取出来
前言大家好，我是DJ丶小哪吒，我又来跟你们分享知识了。小编是一名软件工程系大数据应用开发专业大二的学生，对软件开发有着浓厚的兴趣。喜欢与人分享知识。做博客的目的就是为了能与 他 人知识共享。最近小编也在学习spark,对课堂上的内容做了一些总结。来与大家分享。由于水平有限。博客中难免会有一些错误。如有 纰 漏之处，欢迎大家在留言区指正。小编也会及时改正。使用Spark操作JDBC-API...原创 2020-04-27 21:41:39 · 269 阅读 · 0 评论 -
一篇文章让你深刻了解累加器和广播变量
前言大家好，我是DJ丶小哪吒，我又来跟你们分享知识了。小编是一名软件工程系大数据应用开发专业大二的学生，对软件开发有着浓厚的兴趣。喜欢与人分享知识。做博客的目的就是为了能与 他 人知识共享。最近小编也在学习spark,对课堂上的内容做了一些总结。来与大家分享。由于水平有限。博客中难免会有一些错误。如有 纰 漏之处，欢迎大家在留言区指正。小编也会及时改正。DJ丶小哪吒又来与你们分享知识了，...原创 2020-04-27 21:25:20 · 392 阅读 · 0 评论 -
看了这篇文章，妈妈再也不用担心我的学习了---spark原理
前言大家好，我是DJ丶小哪吒，我又来跟你们分享知识了。小编是一名软件工程系大数据应用开发专业大二的学生，对软件开发有着浓厚的兴趣。喜欢与人分享知识。做博客的目的就是为了能与 他 人知识共享。最近小编也在学习spark,对课堂上的内容做了一些总结。来与大家分享。由于水平有限。博客中难免会有一些错误。如有 纰 漏之处，欢迎大家在留言区指正。小编也会及时改正。上了我DJ丶小哪吒的车，那就坐稳了...原创 2020-04-24 21:53:07 · 379 阅读 · 0 评论 -
SparkCore篇章---带你你轻松了解DAG
前言大家好，我是DJ丶小哪吒，我又来跟你们分享知识了。小编是一名软件工程系大数据应用开发专业大二的学生，对软件开发有着浓厚的兴趣。喜欢与人分享知识。做博客的目的就是为了能与 他 人知识共享。最近小编也在学习spark,对课堂上的内容做了一些总结。来与大家分享。由于水平有限。博客中难免会有一些错误。如有 纰 漏之处，欢迎大家在留言区指正。小编也会及时改正。上了我DJ丶小哪吒的车，那就坐稳了...原创 2020-04-23 21:45:57 · 337 阅读 · 0 评论 -
SparkCore之企业级常用的算子---内涵彩蛋哦
前言小编是一名软件工程系大数据应用开发专业大二的学生，对软件开发有着浓厚的兴趣。喜欢与人分享知识。做博客的目的就是为了能与 他 人知识共享。最近小编也在学习spark,对课堂上的内容做了一些总结。来与大家分享。由于水平有限。博客中难免会有一些错误。如有 纰 漏之处，欢迎大家在留言区指正。小编也会及时改正。文章目录一、准备工作二、企业中常用算子2.1、WordCount案例2.2、 创建R...原创 2020-04-22 10:00:55 · 305 阅读 · 0 评论 -
想了解RDD，看这一篇文章就够了---SparkCore之RDD详解（史上最易懂）
前言小编是一名软件工程系大数据应用开发专业大二的学生，对软件开发有着浓厚的兴趣。喜欢与人分享知识。做博客的目的就是为了能与他人知识共享。最近小编也在学习spark,对课堂上的内容做了一些总结。来与大家分享。由于水平有限。博客中难免会有一些错误。如有纰漏之处，欢迎大家在留言区指正。小编也会及时改正。1、 什么是RDD- 为什么要有RDD?在许多迭代式算法(比如机器学习、图算法等)和交互式数据...原创 2020-04-21 10:01:32 · 839 阅读 · 0 评论 -
Spark介绍与安装（包含IDEA编写spark程序）
一、Spark概述1.1、Spark官方介绍Spark是什么Apache Spark是用于大规模数据处理的统一分析引擎Spark基于内存计算，提高了在大数据环境下数据处理的实时性，同时保证了高容错性和高可伸缩性，允许用户将Spark部署在大量硬件之上，形成集群。●官网http://spark.apache.orghttp://spark.apachecn.org...原创 2020-04-20 11:23:47 · 1576 阅读 · 0 评论 -
Structured Streaming解析异常（二）
Exception in thread “main” org.apache.spark.sql.AnalysisException: checkpointLocation must be specified either through option(“checkpointLocation”, …) or SparkSession.conf.set(“spark.sql.streaming.che...原创 2020-04-18 15:10:50 · 1022 阅读 · 2 评论 -
Structured Streamin解析异常
Exception in thread “main” org.apache.spark.sql.AnalysisException: Data source json does not support1、1、使用Structured Streaming读取Socket数据，把单词和单词的反转组成 json 格式写入到当前目录中的file文件夹中，小编写这个题的时候，遇到如下异常：原因：数据源...原创 2020-04-18 15:03:51 · 299 阅读 · 0 评论 -
使用SparkAPI向Hbase中查询和插入数据
使用SparkSql向Hbase中查询和插入数据create ‘student’, ‘message’scan ‘student’, {COLUMNS => ‘message’}给出以下数据，请使用spark将数据写入到hbase中的student表中,并进行查询出来数据如下：依次是：姓名 班级 性别 省份，对应表中的字段依次是：name,class,sex,province飞...原创 2020-04-08 11:17:07 · 487 阅读 · 0 评论 -
使用SparkAPI向Mysql写入和查询数据
使用SparkSql向Mysql数据库中写入和查询数据CREATE TABLE user (id int(11) NOT NULL AUTO_INCREMENT,username varchar(32) NOT NULL COMMENT ‘用户名称’,birthday date DEFAULT NULL COMMENT ‘生日’,sex char(1) DEFAULT NULL COM...原创 2020-04-08 11:02:59 · 760 阅读 · 0 评论 -
Spark课后练习来了
Spark课后练习来了想要筑建高楼，必先打好地基。学好基础才是走向大牛的关键。废话不多说，各位，请接题。不好意思，拿错了。下边的才是 ↓ ↓ ↓1、创建一个1-10数组的RDD，将所有元素*2形成新的RDDval rdd: RDD[Int] = sc.makeRDD(1 to 10)val resultOne: RDD[Int] = rdd.map(_ * 2)println...原创 2020-04-08 10:07:08 · 1775 阅读 · 2 评论