Spark: czy joby (akcje) mogą iść równolegle?

Problem: Czy joby sparkowe (definiowane przez użycie akcji) mogą iść względem siebie równolegle?

Odpowiedź #

Tak:-). Spójrzmy do dokumentacji, gdzie znajdziemy taki oto fragment:

“Second, within each Spark application, multiple “jobs” (Spark actions) may be running concurrently if they were submitted by different threads. This is common if your application is serving requests over the network. Spark includes a fair scheduler to schedule resources within each SparkContext.”

Całość dzieje się na driverze. Z pozycji drivera są submitowane joby (definiowane poprzez użycie akcji). Jeśli więc zostało to zrobione przy użyciu różnych wątków – joby będą szły równolegle. I – co ważne – jest to działanie pożądane, przewidziane przez twórców Sparka.