20、异步编程与RESTful JSON API开发实践

异步编程与RESTful JSON API开发实践

1. 异步编程与Spark性能优化

在数据处理场景中，Spark展现出了强大的能力。它能够在大约8秒内处理3.4GB的文件，虽然对于普通的Web应用来说这个速度可能较慢，但在数据分析工作中是可以接受的。

1.1 Spark本地模式的局限性

以本地模式运行Spark非常适合展示其易用性，但当有多个用户同时访问应用程序时，这种模式就不太实用了。在本地模式下，没有并发可用，所有的Spark作业都提交到同一个SparkContext，它们会按顺序而不是同时运行。如果想要同时并发访问多个Spark作业，就需要设置一个Spark集群，让集群处理并发和资源共享。

1.2 多核系统加速技巧

在多核系统上，可以使用一个技巧来稍微加快处理速度。在定义SparkContext时，如果写成 val sc = new SparkContext("local", "Spark Demo") ，这意味着只使用一个处理器。但通常机器有多个处理器可用，可将SparkContext设置为 "local[X]" ，其中X等于机器中的处理器数量。例如：

val sc = new SparkContext("local[8]", "Spark Demo")

这样做可以显著加快处理速度，平均从8秒减少到约2.4秒。

1.3 Scala并发技术在Spark中的应用

Spark本身是用Scala编写的，它利用了