【Spark案例】本地访问cdh集群不将配置文件放入resource目录方式

最新推荐文章于 2022-06-21 15:52:36 发布
原创 最新推荐文章于 2022-06-21 15:52:36 发布 · 3.5k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#spark

本文介绍了如何在不将配置文件放入resource目录的情况下，使用Spark本地访问CDH集群。针对Java和Python两种环境，分别提供了解决方案。在Java中，通常需要将配置文件放入resource目录，但在Python中，可以直接读取配置文件内容，设置SparkConf参数来实现远程集群的访问。

【Spark案例】本地访问cdh集群不将配置文件放入resource目录方式

背景故事

今天我领导，他想用pyspark连接集群中的hive，作数据分析用。于是这变成了一个在本地集群中如何访问远程集群的问题。
在python环境中使用pyspark构建sparkSession的过程当中，config参数选项里面配置了一个hive.metastore.uris的时候，sparkSession能够访问hive的数据库，及表信息。但是读取数据的时候会发生报错。

问题分析

在java中

如果是maven构建的java项目当中，使用spark远程连接集群的话，需要在项目中的resource文件目录下面将hadoop的配置文件如hdfs-site.xml,core-site.xml,mapred-site.xml,yarn-site.xml文件放置进resource目录中。接下来运行的时候，maven会将这些配置文件打包到classpath中。然后源代码中，就会加载这些配置文件，相关的代码如下：
代码路径：org/apache/hadoop/conf/Configuration.java

最低0.47元/天 解锁文章
spark-resource-loading:用于同步资源文件夹中所做更改的 Spark Java 插件
06-25
资源文件夹重新加载 这个插件解决了每次对 html/css/js 或模板文件进行更改时都需要重新启动 Spark 的烦人问题。 此插件仅适用于开发目的。 用法 将以下依赖项添加到您的pom.xml ： <dependency> <groupId>com.sparkjava</groupId> <artifactId>spark-resource-reloading</artifactId> <version>1.0.0</version> </dependency> 将以下内容添加到您的主要方法中： import spark.reloading.ResourceFolderObserver; public class App{ public static void main(String[] args) { get(“/pi
精选资源
spark-2.4.6-cdh5.16.2
06-14
用户可以通过解压此文件，在CDH集群上安装和配置Spark，以实现数据处理和分析任务。 总的来说，Spark 2.4.6与CDH 5.16.2的结合为大数据处理提供了一个强大而稳定的平台，它集成了高效的数据处理、实时流处理、机器...
spark编程05——本地访问Spark集群(StandAlone模式)和sparkSession常用配置
SYITwin的博客
03-18 1594
以下代码用IDEA直接访问spark集群运行（地址是随便写的虚拟地址） 注意：一定要确保spark的版本和集群spark的版本保持一致，集群版本是3.2.0 所以如果IDEA中不是3.2.0的话，修改pom.xml文件： <dependencies> <dependency> <groupId>org.apache.spark</groupId> <artifactId>sp.
Spark Resources
weixin_34018169的博客
12-17 151
Version 1.1.1 Apache Doc List Advanced Spark Internals and Tuning – Reynold Xin –SLIDES|VIDEO Spark SQL – Michael Armburst –SLIDES|VIDEO Spark Streaming – Tathagata Das –SLIDES|VIDEO M...
Spark resource links
u014643435的专栏
06-22 282
http://blog.youkuaiyun.com/anzhsoft/article/details/30272867
Spark修炼之道（高级篇）——Spark源码阅读：第七节 resourceOffers方法与launchTasks方法解析...
weixin_34401479的博客
10-28 296
在上一节中，我们提到Task提交通过makeOffers提交到Executor上 // Make fake resource offers on just one executor private def makeOffers(executorId: String) { // Filter out ex...
Hadoop与CDH集群核心配置文件详解
首先，从标题“hadoop集群+CDH集群8个核心配置文件”可以看出，该资料聚焦于Hadoop原生架构与Cloudera公司优化后的发行版CDH之间的共通性配置体系。CDH作为企业级Hadoop发行版本，在保留Apache Hadoop所有核心功能的...
精选资源
spark-2.2.1-bin-2.6.0-cdh5.14.2.tar.gz
10-19
在本例中，我们讨论的是Spark 2.2.1版本与CDH 5.14.2的集成，具体文件为"spark-2.2.1-bin-2.6.0-cdh5.14.2.tar.gz"，这是一个压缩包文件，用于在CDH环境中部署Spark。 首先，让我们深入了解Spark的核心概念。Spark...
spark-测试cdh集群中spark是否正常运行
lisery的博客
10-29 2218
1.本地模式 [root@cdh01 ~]# spark-submit --master local --class org.apache.spark.examples.SparkPi /opt/cloudera/parcels/CDH-5.11.1-1.cdh5.11.1.p0.4/lib/spark/lib/spark-examples.jar 10 18/10/29 14:39:08...
CDH测试Spark与Hive的连接不正常
weixin_43214808的博客
05-22 541
测试Spark与hive的连通性代码 from pyspark.sql import SparkSession spark = SparkSession.builder.appName("spark sql hive query").enableHiveSupport().getOrCreate() spark.sql("show databases").show() PYSPARK_PYTHON=/home/bbders/anaconda3/bin/python3.6 /usr/bin/spark2-s
spark配置core-site.xml文件.pdf
04-25
Spark配置core-site.xml的一个简单的pdf文档，供给给打架，然后这里面配置的项目有节点数的多少和节点数的大小
hdfs-site.xml配置文件详解
10-22
hdfs-site.xml配置文件详解，有需要的可以下载哈哈哈哈哈
hbase 2.0.2安装配置
congtuo7221的博客
09-12 433
hbase2.0.2安装： 1.hadoop2.6.1已经安装 2.zookeeper3.4.12安装 3.修改配置文件 hbase-env.sh exportJAVA_HOME=/apps...
Spark 2.0系列之SparkSession详解
imgxr的博客
08-23 5673
原文链接：How to use SparkSession in Apache Spark 2.0 作者：Jules Damji 译者：刘旭坤 责编：郭芮，关注大数据领域，寻求报道或投稿请发邮件guorui@youkuaiyun.com。另有优快云 Spark用户微信群，请添加微信guorui_1118并备注公司+实名+职位申请入群。 Spark2.0中引入了SparkSession...
Spark2x基于内存的分布式计算
小宫主的博客
07-27 1706
目录 1.Spark概述 Spark应用场景： Spark的特点： Spark VS MapReduce： 2.Spark原理与架构 Spark Core Spark核心概念RDD： RDD的依赖关系 RDD的Stage划分 ​ Spark重要角色 Spark on Yarn-client的运行流程 Spark on Yarn-cluster的运行流程 Yarn-...
CDH6.3.1发行版，idea本地调试spark连接hive仓库demo
FengYeHanQiu的博客
02-25 1703
最近接手个CDH6.3.1版本的大数据集群，以前我搭建的都是apache原生Hadoop集群，通过编辑器调试sparkSQL读取hive很容易。现在遇到CDH整合后的集群还是有点不习惯，找到cdh环境中的hive-site.xml里面配置基本没用。网上找了许多感觉没有正解，我按照原生apache的hive-site.xml配置更改了下，可以实现本地idea调试启动spark程序读取hive表。 项目结构 hive-site.xml配置 <?xml version="1.0"?> &l
Cloudera Manager分析
xiao_jun_0820的专栏
09-18 8310
Cloudera Manager分析 目录 1. 相关目录 2. 配置 3. 数据库 4. CM结构 5. 升级 6. 卸载 7. 开启postgresql远程访问 1. 相关目录 /var/log/cloudera-scm-installer : 安装日志目录。/var/log/* : 相关日志文件（相关服务的及CM的）。/usr/share/cmf/ : 程序安装
Spark提交参数--files的使用
南风知我意
06-21 1672
跨集群读写数据，我们测试了写hbase是可以从计算集群向存储集群写的，而且能写进去。 但是一旦写hive 他就是写不存储集群的hive中，每次都只写到了计算集群的hive中。 这让我很费解，而且我在本地IDEA上测试的时候，就能写到存储集群的hive中，一旦上小海豚放集群上跑 他就写跑偏了，就给写到计算集群的hive里面了。 原因分析： 1.我先去Spark的运行界面上查看了Environment下的hadoop的参数，我搜了nn1去看了一下，看看我的changenamenode方法到底有没有给我生效
Hadoop配置项整理(core-site.xml)
weixin_33812433的博客
12-26 1501
记录一下Hadoop的配置和说明，用到新的配置项会补充进来，不定期更新。以配置文件名划分 以hadoop 1.x配置为例 core-site.xml    name value  Description   fs....
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值