- 博客(9)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 Spark Streaming（头歌）
第1关：套接字流实现黑名单过滤代码：importorg.apache.spark.SparkConfimportorg.apache.spark.streaming.StreamingContextimportorg.apache.spark.streaming.SecondsobjectTransformBlackList{defmain(args:Array[String]):Unit={/**********Begin**********/...
2022-06-21 13:57:29
4182
原创 SparkSQL数据源
第1关：SparkSQL加载和保存代码：packagecom.educoder.bigData.sparksql2;importorg.apache.spark.sql.AnalysisException;importorg.apache.spark.sql.SaveMode;importorg.apache.spark.sql.SparkSession;publicclassTest1{ publicstaticvo...
2022-06-21 13:54:08
2412
原创 SparkSQL简单使用（头歌）
第1关：SparkSQL初识代码：packagecom.educoder.bigData.sparksql;importorg.apache.spark.sql.AnalysisException;importorg.apache.spark.sql.Dataset;importorg.apache.spark.sql.Row;importorg.apache.spark.sql.SparkSession;publicclassTest1{...
2022-06-21 13:40:24
3844
转载 第2关：“大胃王”比赛数据柱形图绘制——柱形图展示优化
代码：# -*- coding: utf-8 -*-import pandas as pdfrom matplotlib import pyplot as plthot_dog = pd.read_csv(r"matplotlib_bar/csv/hot-dog-contest-winners.csv")def plot(): # ********* Begin *********# fig, ax = plt.subplots() #sub...
2022-06-21 13:23:46
2560
1
原创 第1关：“大胃王”比赛数据柱形图绘制——绘制柱形图的基本步
代码：# -*- coding: utf-8 -*-import pandas as pdfrom matplotlib import pyplot as plthot_dog = pd.read_csv(r"matplotlib_bar/csv/hot-dog-contest-winners.csv")def plot(): # ********* Begin *********# fig, ax = plt.subplots() #subplots返回画布和子图 ...
2022-06-21 13:22:05
2832
原创 Spark算子--Scala版本(头歌)
第1关转换算子之map和distinct算子代码如下：importorg.apache.spark.rdd.RDDimportorg.apache.spark.{SparkConf,SparkContext}objectEduCoder1{ defmain(args:Array[String]):Unit={ valconf=newSparkConf().setAppName("educoder1").setMaster...
2022-06-14 14:32:08
3711
3
转载 RDD的创建 -Scala
第1关集合并行化创建RDD代码如下：importorg.apache.spark.rdd.RDDimportorg.apache.spark.SparkContextimportorg.apache.spark.SparkConfobjectStudent{ defmain(args:Array[String]):Unit={ valconf=newSparkConf().setAppName(this.getClass.g...
2022-06-14 13:54:52
6484
2
原创 RDD概述提(头歌)
1、下面哪个不是 RDD 的特点 (C )A、可分区B、可序列化C、可修改D、可持久化2、关于Spark RDD的弹性，哪项是错误的（D）A、容错性B、数据调度弹性C、内存和磁盘切换D、固定大小3、Spark的算子类型（A C）A、转换算子B、迭代算子C、动作算子D、核心算子...
2022-06-14 13:27:51
1478
原创 SparkContext初始化--Scala篇（头歌）
importorg.apache.spark.{SparkConf,SparkContext}objectTest{ defmain(args:Array[String]):Unit={ /**********Begin**********/ //第一步：设置SparkConf valconf=newSparkConf().setAppName("educoder").setMaster("local") //第二步：初始化S...
2022-06-14 13:15:25
3056
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人