Spark2.3.1 Quick Start

最新推荐文章于 2024-03-04 20:19:59 发布
原创 最新推荐文章于 2024-03-04 20:19:59 发布 · 206 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了Spark 2.3.1中Dataset API的使用方法及其相对于RDDs的优势。从2.0开始，Dataset接口取代了RDDs成为主要编程接口，并进行了大量优化。文章还提到了如何进行数据操作、缓存策略及自包含应用的概念。

Spark 2.3.1的编程指导内容如下：

Quick Start

Spark2.0前Spark主要编程接口是RDDs，2.0之后，RDDs接口被Dataset接口取代，Dataset和RDDs一样是强类型，但是底层做了大量优化。RDDs接口仍然可用，但是强烈推荐转换使用Dataset，性能比RDDs好

Spark Shell

基础

bin/spark-shell

Dataset操作

transformations

actions

缓存Caching

cache()是persist(StorageLevel.MEMORY_ONLY)的简写

persist(StorageLevel.MEMORY_ONLY)等

自包含应用

A self-contained application consists of a single, installable bundle that contains your application and a copy of the JRE needed to run the application. When the application is installed, it behaves the in the same way as any native application.

Spark(48) -- Structured Streaming
erainm
10-14 455
Structured Streaming、 1. Structured Streaming不足 2. Structured Streaming 概述 3. 入门案例：WordCount
从原型到上线：AI应用架构师的智能财务分析AI平台迭代开发流程
最新发布
AI天才研究院
07-29 1210
预测目标：未来12个月的“经营活动现金流量净额”（月度粒度）输入特征：历史24个月财务指标（流动比率、毛利率等）、外部经济指标（PMI、利率）输出形式：点预测值 + 95%置信区间（如“2023年12月现金流预测：500万元（450万-550万）”）评估指标：MAE（平均绝对误差）、MAPE（平均绝对百分比误差），业务要求MAPE<8%
Spark2 QuickStart上手操作 (pyspark2)
你的世界是你创造的结果
03-26 590
[root@bdpcm01 spark2]# hdfs dfs -mkdir /tmp [root@bdpcm01 spark2]# hdfs dfs -put /opt/cloudera/parcels/SPARK2/lib/spark2/README.md /tmp >>> sc ‘’’ 使用textFile 创建一个字符串的RDD ‘’’ lines = sc.te...
【Spark】Spark Quick Start（快速入门翻译）
weixin_34034261的博客
09-16 292
本文主要是翻译Spark官网Quick Start。只能保证大概意思，尽量保证细节。英文水平有限，如果有错误的地方请指正，轻喷 目录导航在右上角，感谢两个大佬（孤傲苍狼JavaScript自动生成博文目录导航和juejiang为博客园添加目录的配置总结）提供的帮助。这篇文章还有个问题 scala/python/java 使用 Spark 的介...
快速入门（Quick Start）
li123128的博客
09-16 5400
快速入门（Quick Start） 　　使用 Spark Shell 交互式编程 　　　　基本操作 　　　　更多关于 Dataset 的操作 　　　　缓存 　　独立的应用程序 　　下一步 这个指南提供了使用Spark的快速介绍。我们会首先介绍Spark 交互式编程(使用Python或者Scala)的 API， 然后展示如何用Java、Scala 和 Python来编写应用程序。 为了使用这个指南...
Carbondata编译适配Spark3
大数据，大模型，服务器，技术、架构，方案
03-04 1027
分析上下文发现这里应该是编译路径选择了spark2.x版本造成的，查看源码发现mv模块下缺少spark3.3目录及profile。解决办法：修改AggregatePushDown.scala:193，给Average加上第二个参数false；中项目源码适配的spark版本最高为3.1,我们需要进行spark3.3版本的编译适配。然后可以正常创建表，执行加载数据和查询命令，注意加载数据路径要写file开头的符号。local查询正常，待测yarn模式。太多地方要改，入不敷出。jar包是确实存在的，实际需要在。
java spark es_Spark 整合ElasticSearch
weixin_29008805的博客
02-13 1759
Spark 整合ElasticSearch因为做资料搜索用到了ElasticSearch，最近又了解一下 Spark ML，先来演示一个Spark 读取/写入 ElasticSearch 简单示例。(spark 读取ElasticSearch中数据)环境：IDEA2016，JDK8，windows10，安装的 ElasticSearch6.3.2 和 spark-2.3.1-bin-hadoop2...
Spark 和 Hadoop 本地【window】环境搭建
山鬼谣的专栏
06-20 1839
环境 Spark：2.3.1 Hadoop：2.7.6 java：1.8 前言 最近主要是在学习Spark，根据官网的文档，想本地跑个小程序看看效果； https://spark.apache.org/docs/latest/quick-start.html#self-contained-applications 具体想执行的官方代码如下： /* SimpleApp.java ...
spark学习笔记3
keny-大成的博客
07-16 668
Spark Streaming Programming GuideOverviewA Quick ExampleBasic ConceptsLinkingInitializing StreamingContextDiscretized Streams (DStreams)Input DStreams and ReceiversTransformations on DStreamsOutput Op...
Spark 整合ElasticSearch
weixin_30325971的博客
08-28 128
Spark 整合ElasticSearch 因为做资料搜索用到了ElasticSearch，最近又了解一下 Spark ML，先来演示一个Spark 读取/写入 ElasticSearch 简单示例。(spark 读取ElasticSearch中数据) 环境：IDEA2016，JDK8，windows10，安装的 ElasticSearch6.3.2 和 spark-2.3.1-bin-hadoo...
Hyperspace初体验：Delta Lake表索引
西代零零发
12-22 1186
Hyperspace初体验：Delta Lake表索引 1.简介 Hyperspace是一个由微软开发的开源的数据湖索引子系统。 1.1 特性 提供了一套定义完好的索引管理API （4.1 建索引, 5.2 增量刷新） 为用户提供更大的自由度，毕竟用户是最了解自己用例的人 不尝试去解决所有问题，有些问题没有固定答案 独立于数据和元数据，索引有自己的元数据/日志（4.2 Hyperspace日志） 能感知到底层数据的版本，同数据一起“时间旅行” （5.1 Time Travel支持） 因为
Python并发编程新策略：《The Quick Python Book》第三版启示
[Python并发编程新策略：《The Quick Python Book》第三版启示](https://blog.finxter.com/wp-content/uploads/2021/02/set-1-1024x576.jpg) # 摘要 并发编程在现代软件开发中扮演着至关重要的角色，尤其对于Python...
scala.Predef$.refArrayOps([Ljava/lang/Object;)Lscala/collection/mutable/ArrayOps
热门推荐
ThisIsNobody的博客
07-08 1万+
将scala-sdk从2.12换为2.11File -&gt; Project Structure -&gt; Global libraries -&gt; Remove SDK -&gt; Rebuild.
Spark八 读取和保存数据之文件格式与文件系统
ThisIsNobody的博客
07-04 3152
Spark支持Hadoop MapReduce使用的InputFormat和OutputFormat接口访问数据，HDFS/HBase/S3/Cassandra等大部分文件格式和存储系统都支持这种接口三种数据源文件格式和文件系统    &gt; 本地文件系统和分布式文件系统：NFS/HDFS/S3    &gt; 文件格式：文本文件/JSON/SequenceFile/protocol buffe...
Spark2.3.1 API RelationalGroupedDataset
ThisIsNobody的博客
07-12 2398
org.apache.spark.sql.RelationalGroupedDataset1 最经常是由DataFrame的groupBy创建2 也可以由DataFrame的cube，rollup创建3 还可以由自身的pivot创建功能1 主要用来做agg函数计算2 还有一些常用的统计方法，如sum, count, min等...
Spark二 安装本地模式Spark
ThisIsNobody的博客
07-02 1453
Spark是使用Scala编写的，运行在JVM上1) 安装JDK2) 下载并解压缩spark-2.3.1-bin-hadoop2.7.tgz3) 打开Scala版本的shell，输入bin/spark-shell4) 调整日志级别控制输出信息 conf/log4j.properties    log4j.rootCategory=WARN, console    #设置为只显示警告和严重的信息5)...
Spark一 Spark概念和特征
ThisIsNobody的博客
07-02 1263
Spark是基于内存处理大规模数据的通用快速计算引擎特征：1) 快速：速度远超Hadoop计算速度2) 易使用：提供Java，Python，Scala，SQL等API3) 通用性：支持交互式查询，流处理，批处理，机器学习算法和图形处理4) 到处运行：Standalone, Hadoop，Cassandra等数据工具配合使用Spark Core1) 实现基本功能，任务调度，内存管理，错误恢复，与存储...
Spark十五 Spark Streaming之架构和抽象，24/7不间断运行，性能考量
ThisIsNobody的博客
07-07 981
Spark Streaming使用离散化流(discretized stream)DStream作为抽象表示1) DStream是随时间推移而受到的RDD的序列，输入源可以是Flume，Kafka，或HDFS2) DStream支持两种操作        &gt; 转化操作：生成新的DStream        &gt; 输出操作：把数据写入外部系统3) 检查点机制实现不间断工作1 架构和抽象1)...
Spark七 Pair RDD转化操作
ThisIsNobody的博客
07-04 912
Pair RDD: 提供并行操作各个键和跨节点重新进行数据分组的操作接口创建Pair RDD1) 把普通的RDD转化为Pair RDD使用map方法将lines划分为以首个单词为键，行内容为值的Pair RDDval pairs = lines.map(x =&gt; (x.split(" ")(0), x)2) 驱动器程序中创建Pair RDD调用SparkContext.parallelize...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值