Spark(scala)动态读取properties配置文件

最新推荐文章于 2023-03-08 11:24:03 发布

原创最新推荐文章于 2023-03-08 11:24:03 发布 · 2.4k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#spark #scala

Scala语言基础同时被 3 个专栏收录

30 篇文章 ¥9.90 ¥99.00

订阅专栏

超级会员免费看

大数据

161 篇文章

订阅专栏

Spark技术经验

72 篇文章

订阅专栏

本文介绍如何在Scala项目中通过创建properties配置文件并利用Util类动态加载属性，同时解释了Scala中Object修饰类的调用机制。

1、在项目中先新建一个properties配置文件

2、编写动态加载属性的util类

3、疑问点

1、在项目中先新建一个properties配置文件

2、编写动态加载属性的util类

import java.io.FileInputStream
import java.util.Properties
object LoadParameter {
  //动态获取properties文件可配置参数
  val props = new Properties()
  def getParameter(s:String):

了解本专栏

订阅专栏解锁全文

超级会员免费看

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

郝少

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

订阅专栏

基于spark的Scala编程—读取properties文件

心相印的专栏

11-25

3195

后缀properties是一种属性文件，这种文件以key=value格式存储内容，Java中可以使用Properties类来读取这个文件： String value=p.getProperty(key); 就能得到对应的数据，一般这个文件作为一些参数的存储，代码就可以灵活一点。今天这篇文章主要以jdbc.properties文件为例来介绍在Scala中如何使用会比较方便，只是推荐的一种方案，希望...

Scala读取*.properties配置文件

热门推荐

一路风景

06-03

2万+

临时接到任务,要求工程的配置文件由.conf改为.properties.具体原因是获取conf的api在值为xx,xx时必须加引号,否则出错,与南京项目组冲突,鉴于api已经固化在jar里,所以要修改.查了下java里的api,小小修改为scala代码import java.util.Properties import java.io.FileInputStream//test.properties

参与评论您还未登录，请先登录后发表或查看评论

spark中获取配置文件两种方式Properties和ConfigFactory

liminghui4321的博客

04-21

2451

1.方式一：利用类加载器获取到指定的配置文件 // 通过类的加载器获取到对应的配置文件 val stream = getClass.getClassLoader.getResourceAsStream("application.conf") val prop = new Properties() prop.load(stream) val sqlUrl = prop.getProperty("db.url") println(sqlUrl) 2方式二：利用Typesafe的Config库。 Co

scala学习-12-scala读取java项目下Src目录下的properties文件

九师兄

12-08

4471

scala读取java项目下Src目录下的properties文件 package scalaimport java.util.Properties import java.io.FileInputStream import scala.tools.scalap.Mainobject PropertiesScalaUtils { def loadProperties(key:String):Un

Scala读取application.properties文件内容

justlpf的专栏

09-04

1528

application.properties application.properties文件位于resources目录下 lpf=123 #kudu.master=10.101.15.229,10.101.15.230,10.101.15.231 kudu.master=szbigdata01,szbigdata02,szbigdata03 health_assess_data_table=health_assess_data group_health_assess_result_table=g

Spark 读取外部配置文件（各种提交模式、使用 typesafe.config）

空藍性忘的博客

11-26

4566

Spark 读取外部配置文件（各种提交模式、使用 typesafe.config） 1.使用 typesafe.config 读取外部配置文件 使用 com.typesafe.config 的方式 STEP1.导入 typesafe 依赖 <dependency> <groupId>com.typesafe</groupId> <artifactId>config</artifactId> <version>R

spark stream 3.0.0 scala版本读取kafka消息统计写入mysql

liaomingwu的专栏

02-18

1539

spark stream 3.0.0 scala版本读取kafka消息统计写入mysql

【Scala】Scala之Classes and Properties

weixin_34240657的博客

02-22

159

一、前言　　前面学习了控制结构，下面学习Scala的Class和Properties。二、Class&Properties 　　尽管Scala和Java很类似，但是对类的定义、类构造函数、字段可见性控制等则不相同，Java更为冗长，Scala精炼。本章将通过Scala的构造函数工作原理来理解Scala的类和字段，当申明类构造函数参数和使用var、val、private关键字来修饰...

spark2.3的配置文件log4j.properties

06-07

spark2.3的配置文件log4j.properties，修改部分是为了只显示ERROR信息，隐藏INFO信息

java读取properties六种方法

11-29

java读取properties文件六种方法

Spark之IDEA创建基于Scala语言的Spark Maven项目

weixin_45666566的博客

01-17

2051

创建MVN1、创建Maven工程1.1 新建一个工程1.2 设置Maven配置指向2、首先我们需要搭建好相关的环境，包括：IntelliJ IDEA（官网上下载最新的就行了）、JDK（1.8）、Scala（2.12.12）、Spark(3.0.1)、Hadoop（2.7.4）Maven(如果你下载的是最新版的IDEA的话就不用下载了，因为IDEA里面已经自带了）（安装完后记得添加环境变量） 1、创建Maven工程 1.1 新建一个工程创建出来就是这样的 1.2 设置Maven配置指向 Fi

使用scala开发SparkSql程序

虾哔哔的博客

05-03

4504

依赖 <properties> <maven.compiler.source>1.7</maven.compiler.source> <maven.compiler.target>1.7</maven.compiler.target> <encoding>UTF-8</...

利用Idea创建Spark工程以及简单读取文件

giantleech的博客

05-06

1139

文章目录Spark创建工程安装scala插件scala sdk配置spark代码 Spark创建工程安装scala插件 Idea默认是不能创建Scala工程的。需要安装idea的scala插件方法一：利用系统在线下载方法二：方法一失效的情况下，可以在官网下载好后选择手动上传注意：加载后需要重启Idea才能生效 scala sdk配置利用maven下载对应的jar包 <dependency> <groupId>org.scala-lang</groupI

spark加载properties配置文件方法

cihongmo6452的博客

03-12

1006

首先我先介绍一下错误的写法，这个加载配置文件方法是错误的： [java]view plaincopy valprops=newProperties(); valloader=getClass.getClassLoader; props.lo...

Spark算子引入Spring boot 项目按照环境获取配置信息(GeoMesa)

u012453032的博客

03-04

428

最近写GeoMesa 进行矢量处理的算子,因为现在区分不同的环境信息,所有的传参都是通过Redis进行触发,数据的上传也是在MiniO上,所以需要引入Spring boot 来处理环境信息和初始化过程 Spring boot 启动类代码更改 @Slf4j @SpringBootApplication public class GeoMesaToolsApplication implements CommandLineRunner { public static void main(String[]

spark集成springboot

qq_42359675的博客

09-26

1315

关于springboot与spark集成问题：就是我当时spark作业想要用spark-submint去提交，但是我spark的作业结果是要展示到前端页面上，当时不知道怎么去做，就针对这个问题让...

大数据开发-＞用Scala代码加载properties文件的三种方式

雨落

03-08

694

大数据开发->用Scala代码加载properties文件的三种方式

SpringBoot 使用 Spark

weixin_42555971的博客

02-13

5336

SpringBoot 使用 Spark

Spark与Scala开发环境安装配置指南

这些文件通常位于 `$SPARK_HOME/conf/` 目录下，包括但不限于 `spark-env.sh`（用于设置JVM参数、内存分配、Master URL等）、`spark-defaults.conf`（定义默认行为，如序列化方式、Shuffle服务配置）以及 `log4j....