Spark: Jak Rozwiązać problem Data Skewnes przy pomocy Saltingu?

Z grubsza ogarniesz to w: 4 min


Autor: Marek Czuma

Data Skew to jeden z tych problemów, które mogą sparaliżować działanie całego naszego joba, a nawet systemu. W tym tutorialu pokazuję krok po kroku: jak rozwiązać ten problem przy pomocy techniki zwanej saltingu.

To czym jest i jak rozpoznać Data Skew pisałem tutaj.

Przygotujmy zestaw

Na samym początku przygotujmy sobie odpowiedni zestaw danych i generalnie całą sytuację. Jeśli masz wykupiony . . .

Ta zawartość jest przeznaczona tylko dla uczestników opłacających abonament. Wejdź w ikonę swojego użytkownika w prawym górnym rogu, a następnie "Platności i Konto".