spark 读取ftp_SparkStreaming 的 Kafka SSL 证书读取问题

最新推荐文章于 2023-05-07 18:11:36 发布
最新推荐文章于 2023-05-07 18:11:36 发布
阅读量700 收藏 3
点赞数 1
文章标签： spark 读取ftp
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_39617484/article/details/114470033
版权
本文介绍了在SparkStreaming与Kafka作业中遇到的SSL证书读取失败的问题，详细分析了在local和yarn模式下证书路径配置的差异，并提供了两种解决方案：1) 使用`spark-submit`的`--files`参数配合相对路径；2) 在代码中使用`addFile`方法并处理不同模式下的工作目录。同时，文章还解释了`SparkFiles.get()`在不同模式下的行为，以及如何确保executor能够访问到证书文件。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

最近在 SparkStreaming 和 kafka 作业开发时，遇到了 SSL 证书读取失败的错误，如图：

a0625ee7f089

可以看到，报错原因是 kafka 在初始化 consumer 时读取证书失败。kafka 的配置中有如下几个 SSL 相关配置：ssl.keystore.type

ssl.truststore.type

ssl.keystore.location

ssl.truststore.location

ssl.keystore.password

ssl.truststore.password

一般情况，如果在 local 模式下运行 spark 任务时，ssl.keystore.location(下文简称 SKL)和 ssl.truststore.location(下文简称 STL)填写本地路径即可。但是当以 yarn 模式下运行，填 HDFS 路径时就会报错，从错误栈中看出只能读取本地文件，因为最终调用 java.io.File...的接口。

解决办法如下：

1. 用命令行提交时，则用如下的命令：spark-submit --class xxx \

--files hdfs://xxx/,hdfs://xxx/ \

./xxx.jar

这个时候 STL 和 SKL 一定要填相对路径，因为--files 会把文件分发到每个 executor 的工作目录下，也就是每个 container 的目录下，换句话说就是当前的 distributed cache，所以此时的

最低0.47元/天 解锁文章
财务数据域——财务数仓系统设计
庄小焱
04-13 1059
本文详细探讨了财务数仓系统的建设，涵盖背景、业务流程、系统设计、外部对接及建设难点。系统建设面临数据整合与标准化、数据质量与一致性等核心难点，通过主数据管理、数据湖与数据仓库分层、数据质量规则引擎等技术手段解决。文章还阐述了财务数仓的业务流程、系统架构设计、关键技术设计、核心分层设计及子系统模块，以及外部对接的目标、场景与技术架构。
网络安全设备资产指纹收集：应用指纹的探索与实践
最新发布
不忘初心，护天下安全！
11-11 294
设备资产指纹收集是一项网络攻防对抗中至关重要的任务。其中，应用指纹的收集对于准确识别网络中的各类应用程序、评估潜在安全风险以及制定有效的安全策略具有关键意义。本文将深入探讨网络安全设备资产指纹收集的关键技术，重点介绍我们团队收集的应用指纹集，并推荐一些相关的开源工具。
spark 读取ftp_Spark开发-SparkSQL读写数据
weixin_32321921的博客
02-22 930
SparkSQL数据读写DataFrameReaderDataFrameWriterDataFrameReader 对应的组件 SCHEMA OPTION FORMATDataFrameReader 有两种访问方式,一种是使用 load 方法加载, 使用 format 指定加载格式,还有一种是使用封装方法, 类似 csv, json, jdbc 等//.第一种形式 READ + FORMAT...
spark 读取 ftp
weixin_30810583的博客
12-13 1507
class FtpShow(spark: SparkSession, map: Map[String, String]) { private val path = map(FtpOptions.PATH).stripPrefix("./") private val username = map(FtpOptions.USERNAME) private val passwd =...
spark 读取ftp_Spark-ftp：DataFrame被错误地保存到FTP
weixin_39632891的博客
12-20 439
我正在努力使用spark-ftp，我正在从oracle DB读取，然后想要将输出数据(从dataframe)写入FTP . 一切都很好，但为什么要复制一个名为 1part-XXX..csv.crc 而不是 .csv 的文件？这是代码：val jdbcSqlConnStr = "jdbc:oracle:thin://@Server:1601/WW"val jdbcDbTable = "(select...
spark 链接ftp读取数据并写入到hive表中
风逍遥-ygq
04-17 2867
spark依赖pom文件 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLoca...
spark sftp
06-20
spark 读取sftp文件 下面是用法 // Construct Spark dataframe using file in FTP server DataFrame df = spark.read(). format("com.springml.spark.sftp"). option("host", "SFTP_HOST"). option("username", "SFTP_USER"). option("password", "****"). option("fileType", "json"). load("/ftp/files/sample.json") // Write dataframe as CSV file to FTP server df.write(). format("com.springml.spark.sftp"). option("host", "SFTP_HOST"). option("username", "SFTP_USER"). option("password", "****"). option("fileType", "json"). save("/ftp/files/sample.json");
Spark项目---- 模拟互联网网站用户行为实时分析系统（第二部分）
hailunw的专栏
07-24 762
1）将IDEA中开发的Scala类打包，更新到Kafka的服务器上
大数据周会-本周学习内容总结012
upward
05-07 1458
大数据周会-本周学习内容总结012
spark 读取ftp_spark 脚本示例
weixin_39746382的博客
12-20 287
#/usr/bin/env python#encoding=utf-8importsyssys.path.append('./utils')sys.path.append('./gen-py')from spark_utils importsparkTaskimportlogger_utilsfrom conf_utils import DataConf #从py文件conf_utils.py里面...
spark sftp 2.11
06-29
spark 读取 linux sftp上的文本文件，原jar只支持josn,csv等，增加bcp,txt文件的支持 下面是例子： public static void main(String[] args) throws Exception { SparkConf conf = new SparkConf().setMaster("local").setAppName("SparkDataFrame"); JavaSparkContext javacontext = new JavaSparkContext(conf); SQLContext sqlContext = new SQLContext(javacontext); Dataset<Row> df = sqlContext.read(). format("com.springml.spark.sftp"). option("host", "192.168.1.3"). option("username", "root"). option("password", "111111"). option("fileType", "bcp"). load("/sparktest/sparkfile0.bcp"); /*List<Row> list = df.collectAsList(); for(Row row:list){ String[] words = new String(row.getString(0).getBytes(),0,row.getString(0).length(),"UTF-8").split(" ",-1); for(int i=0;i<words.length;i++){ System.out.println("words==="+words[i]); } }*/ JavaRDD<Row> rowRdd = df.javaRDD(); JavaRDD<Row> words_bcp= rowRdd.map(new Function<Row, Row>() { @Override public Row call(Row row) throws Exception { // TODO Auto-generated method stub String line = row.getString(0); String[] words = new String(line.getBytes(),0,line.getBytes().length,"utf-8").split(" ",-1); return RowFactory.create(words); } }); List<Row> list = words_bcp.collect(); for(Row row:list){ System.out.println("row1=="+row.getString(0)); } df.write().format("com.springml.spark.sftp"). option("host", "192.168.1.3"). option("username", "root"). option("password", "111111"). option("fileType", "bcp"). save("/sparktest/luozhao.bcp"); df.show(); javacontext.close(); }
spark-sftp:SFTP的Spark连接器
05-08
Spark SFTP连接器库 通过从SFTP下载文件并将数据帧写入SFTP服务器来构造数据帧的库 要求 该库需要Spark2.x。 对于Spark 1.x支持，请检查分支。 连结中 您可以通过以下方式在程序中链接到该库： Maven依赖 <dependency> <groupId>com.springml</groupId> <artifactId>spark-sftp_2.11</artifactId> <version>1.1.3</version> </dependency> SBT依赖 libraryDependencies += "com.springml" % "spark-sftp_2.11" % "1.1.3" 与Spark Shell一起使用 可以使用--packages命令行选项将此软件包添加到Spark。 例如，在启动spark shell时将其包括在内：
spark 读取ftp_Spark读取双层ZIP压缩包
weixin_39842918的博客
12-20 550
问题项目中碰到一个新问题，需要利用Spark分析海量小文件，具体大概是这样的：海量的双层压缩包：数量可能几十万或更多，文件大小从几KB到几MB不等，可能是zip+zip压缩，也可能是zip+gz压缩。分析发现，外层的ZIP包中可能含有多个文件，内层的zip或gz包中只会有一个csv文件。实际表头格式也有多种，但处理方法和具体业务结合的较多，本问不再赘述。不同压缩方式的文件混在一起，无法在获取的时候...
spark 读取ftp_如何使用SparkContext.textFile ftp文件？
weixin_39678531的博客
12-20 256
16/02/12 10:52:22 INFO SparkContext：在BasicTextFromFTP.scala中从textFile创建广播0：14线程“main”中的异常org.apache.hadoop.mapred.InvalidInputException：输入路径不存在：ftp：/ /anonymous:pandamagic@ftp.ubuntu.com/ubuntu/ls-LR....
spark 读取ftp_如何用SparkContext.textFile ftp文件？
weixin_39926193的博客
12-20 390
object BasicTextFromFTP {def main(args: Array[String]) {val conf = new org.apache.spark.SparkConf().setAppName("FTP Test")conf.setMaster("local")val sc = new SparkContext(conf)val file = sc.textFile("...
spark 读取ftp_如何在独立的spark集群（pySpark）中使用FTP上的文件？
weixin_39594439的博客
12-20 532
嘿，我对spark是全新的，最近用几台笔记本电脑建立了一个spark独立集群。在我在本地ftp服务器上共享了一个名为新建.txt根据火花指南PySpark可以从Hadoop支持的任何存储源创建分布式数据集，包括本地文件系统、HDFS、Cassandra、HBase、Amazon S3等(http://spark.apache.org/docs/latest/programming-guide.ht...
实战技术：Spark Streaming场景应用-Kafka数据读取方式
weixin_41663412的博客
03-14 302
个人博客导航页（点击右侧链接即可打开个人博客）：大牛带你入门技术栈 概述 Spark Streaming 支持多种实时输入源数据的读取，其中包括Kafka、flume、socket流等等。除了Kafka以外的实时输入源，由于我们的业务场景没有涉及，在此将不会讨论。本篇文章主要着眼于我们目前的业务场景，只关注Spark Streaming读取Kafka数据的方式。 Spark Stream...
使用spark读写ftp遇到的问题
！WAIVE的博客
12-12 1435
LINUX安装 1.环境准备 1.1 安装 VSFTPD 使用 yum 安装 vsftpd yum -y install vsftpd 1.2 启动 vsftpd 安装完成后，启动 FTP 服务(关闭防火墙或者配置运行通过防火墙)： service vsftpd restart 启动后，可以看到系统已经监听了 21 端口： netstat -nltp | grep 21 此时，访问 ftp:...
spark篇3：spark操作ftp
qq_38740498的博客
12-10 2553
spark篇3：spark操作ftp 废话不多说，直接上干货 package com.iflytek.ftp import java.text.SimpleDateFormat import java.util._ import com.alibaba.fastjson.JSON import org.apache.spark.rdd.RDD import org.apache.spark.s...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值