Apache Spark: jak sprawdzić strategię partycjonowania DataFrame?

Z grubsza ogarniesz to w: 1 min


Autor: Marek Czuma

DataFrame’y posiadają kilka strategii partycjonowania. Każda ma swoją specyfikę, wady i zalety. Pod tym linkiem znajdziesz skondensowane zestawienie strategii partycjonowania. Dziś natomiast chcę odpowiedzieć na pytanie: jak sprawdzić, jaką dokładnie strategię ma dany Data Frame?

Jak sprawdzić strategię partycjonowania konkretnego DFa?

To bardzo, bardzo proste. Wyczytujemy to z planu fizycznego, który uzyskujemy poprzez wywołanie funkcji explain() na dataframe.

W jaki sposób przekłada się to na Partitionery . . .

Ta zawartość jest przeznaczona tylko dla uczestników opłacających abonament. Wejdź w ikonę swojego użytkownika w prawym górnym rogu, a następnie "Platności i Konto".