PulsarRPA 教程 5 - Java风格异步编程

原创已于 2023-05-28 21:49:09 修改 · 784 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#网络爬虫 #大数据 #数据挖掘 #java #kotlin

于 2022-10-31 12:02:46 首次发布

PulsarRPA 专栏收录该内容

24 篇文章

订阅专栏

本文介绍使用Java风格的异步编程解决批量网页采集问题。PulsarRPA丰富的API可让多数编程场景用一行代码解决“加载 - 解析 - 提取”，还提及使用Java风格的并行流计算、CompletableFuture异步API等，同时给出了kotlin在线代码国内镜像。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Java风格异步编程

PulsarRPA 丰富的 API 使得我们的绝大多数编程场景下，都能够使用一行代码解决“加载-解析-提取”。本文介绍如何使用 Java 风格的异步编程，来解决批量的网页采集问题。

使用 Java 风格的并行流计算：

LinkExtractors.fromResource("seeds10.txt").parallelStream()
    .map(session::load).map(session::parse).map(FeaturedDocument::guessTitle)
    .forEach { println(it) }

使用 Java 风格的 CompletableFuture 异步 API 和 loadAsync()：

val futures = LinkExtractors.fromResource("seeds10.txt")
    .asSequence()
    .map { "$it -i 1d" }
    .map { session.loadAsync(it) }
    .map { it.thenApply { session.parse(it) } }
    .map { it.thenApply { it.guessTitle() } }
    .map { it.thenAccept { println(it) } }
    .toList()
    .toTypedArray()
CompletableFuture.allOf(*futures).join()

或者使用 loadAllAsync() 方法和链式异步：

val futures = session.loadAllAsync(LinkExtractors.fromResource("seeds10.txt"))
    .map { it.thenApply { session.parse(it) } }
    .map { it.thenApply { it.guessTitle() } }
    .map { it.thenAccept { println(it) } }
    .toTypedArray()
CompletableFuture.allOf(*futures).join()

另一种形式的链式异步：

val futures = session.loadAllAsync(LinkExtractors.fromResource("seeds10.txt"))
    .map { it.thenApply { session.parse(it) }.thenApply { it.guessTitle() }.thenAccept { println(it) } }
    .toTypedArray()
CompletableFuture.allOf(*futures).join()

在线代码：kotlin，国内镜像。