- 博客(9)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 Spark Streaming（头歌）
第1关：套接字流实现黑名单过滤 代码： importorg.apache.spark.SparkConf importorg.apache.spark.streaming.StreamingContext importorg.apache.spark.streaming.Seconds objectTransformBlackList{ defmain(args:Array[String]):Unit={ /**********Begin**********/ ...
2022-06-21 13:57:29
4954
1
原创 SparkSQL数据源
第1关：SparkSQL加载和保存 代码： packagecom.educoder.bigData.sparksql2; importorg.apache.spark.sql.AnalysisException; importorg.apache.spark.sql.SaveMode; importorg.apache.spark.sql.SparkSession; publicclassTest1{ publicstaticvo...
2022-06-21 13:54:08
2717
原创 SparkSQL简单使用（头歌）
第1关：SparkSQL初识 代码： packagecom.educoder.bigData.sparksql; importorg.apache.spark.sql.AnalysisException; importorg.apache.spark.sql.Dataset; importorg.apache.spark.sql.Row; importorg.apache.spark.sql.SparkSession; publicclassTest1{ ...
2022-06-21 13:40:24
4177
转载 第2关：“大胃王”比赛数据柱形图绘制——柱形图展示优化
代码： # -*- coding: utf-8 -*- import pandas as pd from matplotlib import pyplot as plt hot_dog = pd.read_csv(r"matplotlib_bar/csv/hot-dog-contest-winners.csv") def plot(): # ********* Begin *********# fig, ax = plt.subplots() #sub...
2022-06-21 13:23:46
3010
1
原创 第1关：“大胃王”比赛数据柱形图绘制——绘制柱形图的基本步
代码： # -*- coding: utf-8 -*- import pandas as pd from matplotlib import pyplot as plt hot_dog = pd.read_csv(r"matplotlib_bar/csv/hot-dog-contest-winners.csv") def plot(): # ********* Begin *********# fig, ax = plt.subplots() #subplots返回画布和子图 ...
2022-06-21 13:22:05
3256
原创 Spark算子--Scala版本(头歌)
第1关转换算子之map和distinct算子 代码如下： importorg.apache.spark.rdd.RDD importorg.apache.spark.{SparkConf,SparkContext} objectEduCoder1{ defmain(args:Array[String]):Unit={ valconf=newSparkConf().setAppName("educoder1").setMaster...
2022-06-14 14:32:08
4785
3
转载 RDD的创建 -Scala
第1关集合并行化创建RDD 代码如下： importorg.apache.spark.rdd.RDD importorg.apache.spark.SparkContext importorg.apache.spark.SparkConf objectStudent{ defmain(args:Array[String]):Unit={ valconf=newSparkConf().setAppName(this.getClass.g...
2022-06-14 13:54:52
7076
2
原创 RDD概述提(头歌)
1、 下面哪个不是 RDD 的特点 (C ) A、可分区 B、可序列化 C、可修改 D、可持久化 2、 关于Spark RDD的弹性，哪项是错误的（D） A、容错性 B、数据调度弹性 C、内存和磁盘切换 D、固定大小 3、 Spark的算子类型（A C） A、转换算子 B、迭代算子 C、动作算子 D、核心算子 ...
2022-06-14 13:27:51
1689
原创 SparkContext初始化--Scala篇（头歌）
importorg.apache.spark.{SparkConf,SparkContext} objectTest{ defmain(args:Array[String]):Unit={ /**********Begin**********/ //第一步：设置SparkConf valconf=newSparkConf().setAppName("educoder").setMaster("local") //第二步：初始化S...
2022-06-14 13:15:25
3718
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人