Spark scala String Array转为String

Spark读取文本文件示例

最新推荐文章于 2025-12-02 11:13:01 发布

原创最新推荐文章于 2025-12-02 11:13:01 发布 · 124 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#spark #scala #大数据 #分布式 #开发语言

本文介绍如何使用Apache Spark从不同路径加载文本文件，并演示了如何将读取到的数据转换为字符串。此外，还提供了如何操作字符串数组并将其合并成单一字符串的方法。

val rddFromFile = spark.sparkContext.textFile("test.txt").collect().mkString("\n")

注:本地文件的话,这里用相对路径和绝对路径都可以,或直接传hdfs路径

取Array[String]的第一个元素:

val rddFromFile = spark.sparkContext.textFile("test.txt").collect()(0)

参考:https://sparkbyexamples.com/spark/spark-read-text-file-rdd-dataframe/

scala> val args = Array("Hello", "world", "it's", "me")
val args: Array[String] = Array(Hello, world, it's, me)

scala> val string = args.mkString(" ")
val string: String = Hello world it's me

scala> val string = args.mkString("\n")
val string: String =
Hello
world
it's
me