Spark一次性读取多个目录(嵌套)下多个文件

原创

已于 2022-08-09 14:21:27 修改 · 3.3k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#spark #big data #hadoop

于 2022-02-11 15:06:57 首次发布

Spark一次性读取指定目录下的所有子目录(嵌套)下的所有文件(pyspark语言为例子)

sc = spark.sparkContext
rdd = sc.textFile("/file/*/part-*")

举例：

当前目录：

在这里插入图片描述

每个目录下都有test.gz文件，那么一次性读取所有文件数据到rdd的代码如下：

if __name__ == '__main__':
   spark = SparkSession.builder \
      .master("local[2]") \
      .appName("cal person")<

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Gklearlove

关注关注

0
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

Spark代码重构指南：提高可维护性的10个技巧

AI智能探索者的博客

09-26

689

随着大数据应用的不断发展，Spark作为一款强大的分布式计算框架，被广泛应用于数据处理、机器学习等领域。然而，随着项目的不断推进，Spark代码往往会变得复杂和难以维护。本指南的目的是为开发者提供一系列实用的技巧，帮助他们对Spark代码进行重构，提高代码的可维护性、可读性和性能。本指南的范围涵盖了从基本的代码结构优化到高级的性能调优等多个方面。本文将首先介绍Spark代码重构的核心概念和相关联系，然后详细阐述10个提高可维护性的技巧，包括每个技巧的原理、具体操作步骤和代码示例。

hudi详解并集成spark实现快照查询和增量读取数据

weixin_43857576的博客

12-12

9179

1.什么是Hudi？ 2.Hudi对HDFS可以实现哪些操作？ 3.Hudi与其它组件对比有哪些特点？ Hudi是在HDFS的基础上，对HDFS的管理和操作。支持在Hadoop上执行upserts/insert/delete操作。这里大家可能觉得比较抽象，那么它到底解决了哪些问题？ Hudi解决了我们那些痛点 1.实时获取新增数据你是否遇到过这样的问题，使用Sqoop获取Mysql日志或则数据，然后将新增数据迁移到Hive或则HDFS。对于新增的数据，有不少公司确实是这么做的，比较高级点的，通过She.

参与评论您还未登录，请先登录后发表或查看评论

Spark源码解析之读取文件

话数Science

10-04

897

Spark读文件分为两种，一种是是通过SparkContext读取，一种是通过FileSourceScanExec读取（SparkSql属于这种）

pySpark读取S3上多个路径数据，并保存到Hive中

陈永祥的博客

03-12

510

pySpark支持Hive操作

sparksql 读取hive表子目录问题排查

weixin_38148824的博客

03-13

2472

sparksql读取hive表子目录问题

Spark读取多目录

南风知我意

07-29

982

上游任务按类型生成json文件存放到hdfs上，会生成很多目录。下游任务需要读取这些目录下得文件，生成df进行处理。

Spark读取多个文件为一个RDD

qq_33465047的博客

05-24

2445

读取多个文件为一个RDD 读取多个文件为RDD时，我们可以使用textFile()或者wholeTextFiles函数，这两个函数之间的主要的区别在于:返回内容的不同，wholeTextFiles会返回文件名和文件内容，而textFile()只返回文件内容。 textFile() 读取单个或多个文本、csv 文件并返回单个 Spark RDD [String] Read single or multiple text, csv files and returns a single Spark RDD [S

在AWS EMR上用Hive、Spark、Airflow构建一个高效的ETL程序

weixin_30777913的博客

12-09

1930

在AWS EMR（Elastic MapReduce）上构建一个高效的ETL程序，使用Hive作为数据仓库，Spark作为计算引擎，Airflow作为调度工具时，有几个关键的设计与实施方面需要注意。在AWS EMR上构建高效的ETL程序，首先需要设计合理的集群架构、数据存储结构和计算框架，并优化每个环节的性能。通过合理配置Hive与Spark的参数，充分利用Airflow的调度功能，可以大大提升ETL流程的效率和可维护性。

解析含有多个键值对的配置文件

热门推荐

大数据挖掘SparkExpert的博客

05-05

2万+

在正常调用过程中，难免需要对多个文件夹下的多个文件进行读取，然而之前只是明确了spark具备读取多个文件的能力。针对多个文件夹下的多个文件，以前的做法是先进行文件夹的遍历，然后再进行各个文件夹目录的读取。今天在做测试的时候，居然发现spark原生就支持这样的能力。原理也非常简单，就是textFile功能。编写这样的代码，读取上次输出的多个结果，由于RDD保存结果

spark同时读取多个指定文件

我的博客

07-18

7172

val result = spark.read.text("hdfs://192.168.40.51:9000/user/test/cxb/aa/aa.txt","hdfs://192.168.40.51:9000/user/test/cxb/bb/bb.txt") .toDF("str").as[A].rdd.collect().foreach(println)

spark 同时读取多个路径的方法

bigdataf的博客

10-22

2224

1.传入多个参数 val result = spark.read.text("hdfs://hdfs-name/user/aa.txt","hdfs://hdfs-name/test/bb.txt") 2.正则 val result = spark.read.text("hdfs://hdfs-name/user/*") 3.文件列表 val path = "hdfs://hdfs-name/user/*.txt" val path2 = "hdfs://hdfs-name/test/*.txt"

Spark读取一个文件夹中的所有csv文件

qq_29143837的博客

03-19

1327

val data: DataFrame = spark.read.option(“inferSchema”, “true”) //通过设置inferSchema=true，Spark 将自动遍历 csv 文件并推断每列的架构。.option(“header”, true) //选取数据第一行作为dataframe数据列的名词。.option(“dateFormat”, “yyyyMMdd”) //设置时间格式。Spark读取一个文件夹中的所有csv文件。2、对读取的内容进行设置。.csv") //使用。

spark批量读取大量小文件的办法

大数据挖掘SparkExpert的博客

03-17

1万+

在实际工程中，经常会遇到要一起读取众多小文件的办法。本来正常情况下是进行文件夹的遍历。幸运的是，spark原生是支持这种功能的。它可以批量地读取众多的文件，也可以按照一定的方式进行过滤。命令十分简单。如下： sc.textfile("/dir/*.txt") 其中DIR就是路径，而＊.txt则是对某种类型的文件进行过滤。通过这种方式，可以直接实现对众

hadoop读入多个文件_Spark中并行读取多个文件

weixin_39600447的博客

11-22

497

通常我们会使用textFile()和wholeTextFile()方法读取本地文件系统和hdfs上的文件，或者任意Hadoop支持的文件系统，他们都支持并行读取多个文件，可是你知道他们的区别吗？sc.textFile 读取特定文件路径中的所有文件，并且为每个文件建立一个分区，例如有5个文件被读入，那么rdd就包含5个分区。(如果是从hdfs读取数据，分区数和block数量相关)注：以下代码使用...

spark读取文件夹数据

an13654067079的博客

08-01

734

spark读取文件夹数据

spark读取多个目录下多个文件

weixin_42412645的博客

07-19

8894

最近项目要用准时数据，于是改用sparkSQL还对数据进行统计。kafka落到HDFS上是按照天分区，小时文件。 HDFS上的目录结构如下: A/20190101/2019010100 A/20190101/2019010101 B/20190101/2019010100 B/20190101/2019010101 方法1：使用sparkContext.read.text(paths=[p...

spark遍历hdfs目录下所有文件

星辰大数据的博客

06-30

4032

1、查看hdfs /home/data/test 目录下的所有文件 2、使用org.apache.hadoop.fs.FileSystem 类遍历hdfs文件 package com.xtd.hdfs import org.apache.hadoop.conf.Configuration import org.apache.hadoop.fs.{FileSystem, FileUtil, Path} import scala.collection.mutable.{ArrayBuf...

spark处理文件获取文件内容是每行为多个元组的处理方法

ZF98095的博客

08-15

965

object text { def main(args: Array[String]): Unit = { var list = List(("u1", "r1,r2"), ("u2, u3", "r3")); list.flatMap(x =>{ /* * 获取List里面每个元组的以 “,” 分割的内容 * */ va...