Spark Session vs Spark Context – czym się różnią?

Z grubsza ogarniesz to w: 1 min


Autor: Marek Czuma

Dziś chcę poruszyć problem, który jest dość prosty do wyjaśnienia, ale który może powodować ból brzucha u osób korzystających ze Sparka. Czym jest oznaczony na rysunkach architektury Spark Context a czym wykorzystywane w codziennej pracy Spark Session? Do dzieła!

Architektura Sparka

Zróbmy najpierw mały wstęp, przypominając architekturę Sparka. Dosłownie same podstawy;-)

  1. To co jest najważniejsze: Spark działa w trybie Master-Slave.
  2. Driver jest "mózgiem" klastra.
  3. Executory . . .

    Ta zawartość jest przeznaczona tylko dla uczestników opłacających abonament. Wejdź w ikonę swojego użytkownika w prawym górnym rogu, a następnie "Platności i Konto".