Spark流编程指引（六）-----------------------DStreams上的输出操作

最新推荐文章于 2023-02-09 15:11:13 发布

self-motivation

最新推荐文章于 2023-02-09 15:11:13 发布

阅读量2.5k

点赞数

CC 4.0 BY-SA版权

分类专栏：大数据文章标签： hadoop spark 大数据 spark 分布式 scala

本文链接：https://blog.youkuaiyun.com/happyAnger6/article/details/46870035

22 篇文章 ¥9.90 ¥99.00

订阅专栏

本文介绍了Spark DStreams的输出操作，强调了如何正确将数据存入外部系统，避免了在驱动程序创建连接对象导致的序列化错误和初始化错误。正确的做法是在执行体内部创建连接对象，但同时应避免为每条记录创建单独的连接对象。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

DStreams上的输出操作

通过输出操作，我们可以将DStream的数据存放到数据库或者文件系统这样的外部系统中。尽管实际上，输出操作允许经过转换后的数据被外部系统消耗，它们也会触发执行所有DStreams上的转换操作（与RDDs上的action操作类似）。目前，定义了如下的输出操作：

Output Operation	Meaning
print()	Prints first ten elements of every batch of data in a DStream on the driver node running the streaming application. This is useful for development and debugging. Python API This is calledpprint() in the Python API.
saveAsTextFiles(prefix, [s