在Zeppelin上运行Spark程序

最新推荐文章于 2023-05-21 11:34:19 发布
最新推荐文章于 2023-05-21 11:34:19 发布
阅读量1.8k 收藏 5
点赞数 1
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/xiaoxiongaa0/article/details/96174465
版权

前言

不得不说，Spark在Zeppelin上的使用还是比较方便的，比你在终端启动一个spark-shell或者spark-sql强太多了。闲话少说，我们一起来看一看吧！

读取本地JSON文件

由于Zeppelin默认支持Spark，所以可以不用在开头加上%spark关键词

接着我们创建一张临时表，使用SQL来查询

妥妥的！注意SQL语句的结尾不要加分号，不然会报错！

读取HDFS文件

下面先读取HDFS文件，该文件为JSON文件，读取出来之后取出第一列然后以Parquet的格式保存到HDFS上

读取HDFS文件转化成DF

 

 

 

 

 

 

 

 

AaronLwx
关注
Zeppelin上通过Spark读写mysql数据库
zhengzaifeidelushang的博客
09-09 513
Zeppelin上通过Spark读写mysql数据库 一、从mysql数据库获取数据 %spark val df = spark.read.format("jdbc") .option("url","jdbc:mysql://192.168.216.130:3306/dw") .option("dbtable","stu_info") .option("password","xxxx") .load() .select("id","name","sex") .withColumn("id",co
zeppelin运行spark程序读写s3报错解决方法详细汇总：java.lang.NoSuchMethodError
zhengzaifeidelushang的博客
08-30 1122
zeppelin运行spark程序读写s3报错解决方法：java.lang.NoSuchMethodError 在解决spark程序读写s3问题的过程中遇到的报错汇总如下： 错误一： Could not initialize class org.apache.hadoop.fs.s3a.S3AFileSystem 错误二： java.lang.NoSuchMethodError: com.amazonaws.services.s3.transfer.TransferManager.(Lcom/amaz
让Spark如虎添翼的Zeppelin – 基础篇
weixin_34194359的博客
08-01 430
Spark 是一个非常好的计算平台，支持多种语言，同时基于内存的计算速度也非常快。整个开源社区也很活跃。 但是Spark在易用性上面还是有一些美中不足。 对于刚接触的人来说，上手以及环境搭建还是有一些困难。 另外，如果希望将结果绘制成图表分享给别人，还需要很长一段路程。 目前已经有一些解决方案： 【TBD】Jupyter Notebook 使用很广泛，...
Zeppelin0.5.6使用spark解释器
chengxuyuanyonghu的专栏
02-08 721
Zeppelin为0.5.6 Zeppelin默认自带本地spark，可以不依赖任何集群，下载bin包，解压安装就可以使用。 使用其他的spark集群在yarn模式下。 配置： vi zeppelin-env.sh 添加： export SPARK_HOME=/usr/crh/current/spark-client export SPARK_SUBMIT_O
Zeppelin调试Spark程序
赵广陆
10-05 920
目录1 什么是Zeppelin2 Zeppelin配置spark3 Zeppein运行spark程序3.1 创建spark notebook3.2 使用SparkSQL查看有多少数据库:3.3 使用SparkCore执行word count 1 什么是Zeppelin 详细安装入门概述：https://blog.youkuaiyun.com/ZGL_cyy/article/details/119342340 a. Apache Zeppelin 是一个基于网页的交互式数据分析开源框架。Zeppelin提供了数据分析、
Zeppelin 可视化操作spark sql
weixin_34242331的博客
03-08 1293
2019独角兽企业重金招聘Python工程师标准>>> ...
zeppelin spark mysql_Zeppelin0.5.6使用spark解释器
weixin_29498577的博客
02-22 470
Zeppelin为0.5.6Zeppelin默认自带本地spark，可以不依赖任何集群，下载bin包，解压安装就可以使用。使用其他的spark集群在yarn模式下。配置：vi zeppelin-env.sh添加：export SPARK_HOME=/usr/crh/current/spark-clientexport SPARK_SUBMIT_OPTIONS="--driver-memory 51...
利用vagrant-spark-zeppelin学习Apache Spark技术
在这个给定文件的信息中，我们可以...通过使用这个环境，开发者和数据分析师可以在本地机器上搭建一个与生产环境一致的大数据处理环境，学习和测试 Spark 应用程序，同时使用 Zeppelin 进行交互式数据分析和结果展示。
[Zeppelin] Kerberos环境Spark用户模拟踩坑全集
硬学AI工坊
11-07 1852
文章目录Kerberized SparkZeppelin连接Kerberized Spark用户模拟配置用户认证获取超级管理员keytab配置用户模拟TroubleshootJAR包版本冲突Zeppelin重启后无法登录没有安装Spark客户端如何验证Spark解释器正常工作总结 在上一篇文章里我们在Zeppelin中使用了local模式的Spark解释器，而在本文中，我们将学习如何在Zeppel...
基于 Zeppelin 的 Flink/Spark 云原生实践
字节跳动云原生计算官方账号
11-10 3240
本文整理自火山引擎基础架构研发工程师陶克路、王正在 ApacheCon Asia 2022 上的演讲。文章主要介绍了 Apache Zeppelin 支持 Flink 和 Spark 云原生实践。
zeppelin spark mysql_Zeppelin的安装和SparkSQL使用总结
weixin_29344197的博客
02-05 591
zeppelin是spark的web版本notebook编辑器，相当于ipython的notebook编辑器。一Zeppelin安装(前提是spark已经安装好)1 下载https://zeppelin.apache.org/download.html(下载编译好的bin版)2 解压运行：sh bin/zeppelin-daemon.sh start3 权限问题：chown –R –v mapr:...
Zeppelin整合spark
a376554764的博客
12-01 2031
1、下载，zeppelin有两种，一种是集成了全部解释器的，一种是需要自己安装解释器的(其实里面也集成了spark和python)，我下载的第二种 2、修改zeppelin-env.sh，我这边是spark on yarn的模式，然后需要用到pyspark export JAVA_HOME=/home/java export MASTER=yarn-client export SPARK_HOME...
Zeppelin执行SparkSQL长时间无响应
图特摩斯科技-博客
06-28 2096
Zeppelin执行Spark代码是没有问题的，执行%sql 和 dataFrame操作就卡住了。
大数据学习整理篇（八）Zeppelin连接Spark
astra_zhao的专栏
09-01 959
Zeppelin单独1.5g的版本自带了Spark，所以可以使用local方式直接连接自带的spark。然后可以嵌入scala语言，进行数据统计，如下图所示： 新建一个note，Interpreter选择spark 可以将下列语句直接带入到一个paragraph中，如下图所示： 下面的代码来自（https://blog.youkuaiyun.com/majianxiong_lzu/article/details/89761187） import org.apache.common...
Zeppelin集成Spark3
zhengzaifeidelushang的博客
05-18 897
Zeppelin集成Spark3 安装Zeppelin可以参考下面这篇博客： 安装zeppelin-0.9.0 zeppelin.notebook.storage设置notebook存放在hdfs上面 Spark3分布式集群安装部署（YARN模式） Hadoop3高可用(HA)分布式集群搭建 版本： Zeppelin0.9 Hadoop-3.3.0 Spark-3.0.2 一、修改zeppelin-env.sh export JAVA_HOME=/moudle/jdk1.8 export ZEPPE
zeppelin 配置 spark on yarn 和 flink on yarn的提交队列名
yy的博客
11-17 1273
代码执行单元格填入: zeppelin: %spark1.conf master yarn-cluster spark.yarn.queue fcqueue %flink.conf yarn.application.queue fcqueue
spark之zeppelin的安装与配置
最新发布
qq_52179028的博客
05-21 821
修改zeppelin.server.addr中的value为主机的IP地址和zeppelin端口号为8999（避免和其他端口冲突）将zeppelin0.10.1重命名为zeppelin,方便接下来的配置。如果要运行spark项目的话也得把saprk和hadoop集群环境打开。然后可以新建一个notebook运行一下下面这个代码测试一下能否运行。输入启动指令后显示“OK”就说明启动成功，输入。设置为hadoop解压文件的etc的路径。打开zeppelin的web UI界面。为spark解压文件的路径。
spark zeppelin 问题集锦
Allure_love的博客
03-13 646
配置并运行zeppelin以及spark 的时候出现的一些问题将记录在这里，后期将会不断的更新
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值