Spis treści
Executor to kluczowa jednostka Sparka. To właśnie na niej dokonują się obliczenia. Jak nietrudno się domyślać, zarządzanie pamięcią jest więc tutaj niezwykle istotne. Dziś chcę opisać Ci jak wygląda pamięć executora. Do dzieła!
Ogólna pamięć executora
Zacznijmy od podstawowej rzeczy, którą możemy ustawić. To zmienna "spark.executor.memory"/"executor-memory" którą określamy w (mega/giga) bajtach. Ustawiamy to w spark-submit, czyli poleceniu, które wysyła do cluster managera zapytanie o przydzielenie zasobów i uruchomienie aplikacji sparkowej.
Poni . . .
Ta zawartość jest przeznaczona tylko dla uczestników opłacających abonament. Wejdź w ikonę swojego użytkownika w prawym górnym rogu, a następnie "Platności i Konto".
