Akademia Big Data Growth | Wojciech Bonna | Activity

Wojciech Bonna started the discussion spark - 2 różne wyniki in the forum Globalna Grupa ABD

Fri, 13 Dec 2024 14:15:22 +0100

Siema, są tutaj spece od Sparka? 😀
Mam streaming danych z kafki (która dostaje dane z debezium, ale to chyba nie jest istotne) do formatu Iceberg. No i w zależności od tego jak napiszę zapytanie do zapisanych danych, to dostaję inny wynik. Po plikach widzę, że robi się automatycznie jakaś retencja metadanych, no ale zakładam, że nie powinno…

Czytaj więcej

Wojciech Bonna opublikował nowy komentarz

Fri, 22 Nov 2024 15:56:13 +0100

Ja też chętnie się pochwalę swoim klastrem, który aktualnie doprowadza mnie do szału. XD
4 węzły na Ubuntu Server, z czego jeden jest tym zarządzającym a pozostałe to workerzy.
Na klastrze Hadoop, Spark i Kafka. Klastrem zarządzam z innego komputera, głównie za pomocą ansible. Chciałbym nauczyć się na nim systemów rozproszonych, żeby móc później…

Czytaj więcej

In reply to - Marek Czuma opublikował posta w grupie Globalna Grupa ABD

Piątkowo przedstawiam wam mój klasterek rozwojowy/eksperymentalny 😀

Ustawiłem go już parę lat temu. Składa się z dwóch PCtów które kupiłem na rynku […]

Wojciech Bonna opublikował nowy komentarz

Fri, 22 Nov 2024 12:09:47 +0100

@janc tyle, że jak odpalam sobie consumera na ten topic to widzę wiadomości, które są wymienione w błędzie.

In reply to - Wojciech Bonna opublikował posta w grupie Globalna Grupa ABD

Siema, nie wiem czy to dobre miejsce na to pytanie – jak nie to prośba o wskazanie właściwego. 😉

Mam domowy klaster stworzony z 4 węzłów ubuntu (jeden […]

Wojciech Bonna opublikował nowy komentarz

Fri, 22 Nov 2024 10:17:19 +0100

Dzięki @mczuma i @janc za pomoc! rozwiązałem problem. Wystarczyło stworzyć folder lost+found w głównym katalogu hdfs’a. Oczywiście i tak wleciał format, bo nie da się wprowadzać modyfikacji w SAFE MODE. Chyba będę musiał przekminić, żeby sprawdzać czy taki folder istnieje i ewentualnie go tworzyć podczas uruchamiania hdfs’a (przy okazji folder…

Czytaj więcej

In reply to - Wojciech Bonna opublikował posta w grupie Globalna Grupa ABD

Siema, nie wiem czy to dobre miejsce na to pytanie – jak nie to prośba o wskazanie właściwego. 😉

Mam domowy klaster stworzony z 4 węzłów ubuntu (jeden […]

Wojciech Bonna opublikował nowy komentarz

Mon, 18 Nov 2024 11:51:23 +0100

@mczuma tak, domyślny 3

In reply to - Wojciech Bonna opublikował posta w grupie Globalna Grupa ABD

Siema, nie wiem czy to dobre miejsce na to pytanie – jak nie to prośba o wskazanie właściwego. 😉

Mam domowy klaster stworzony z 4 węzłów ubuntu (jeden […]

Wojciech Bonna opublikował nowy komentarz

Mon, 18 Nov 2024 11:24:10 +0100

@janc znalazłem w logach namenode takie błędy:

2024-11-15 14:58:32,287 ERROR org.apache.hadoop.hdfs.server.namenode.NameNode: copyBlocksToLostFound: error processing /warehouse/default/gps/data/date=2024-11-11/00079-1074748-4d1a0800-8581-44dd-8f53-bde179562e93-5375-00001.parquet
java.io.IOException: failed to initialize lost+found

w logach…Czytaj więcej

In reply to - Wojciech Bonna opublikował posta w grupie Globalna Grupa ABD

Siema, nie wiem czy to dobre miejsce na to pytanie – jak nie to prośba o wskazanie właściwego. 😉

Mam domowy klaster stworzony z 4 węzłów ubuntu (jeden […]

Wojciech Bonna opublikował nowy komentarz

Fri, 15 Nov 2024 14:35:11 +0100

@mczuma widzę, że w logach od datanode jest NoSuchMethodError. No i to jest dla mnie dziwne, bo kojarzy mi się, że tego typu błąd się pojawia jak np ma się gdzieś różne albo złe wersje np Javy. no a tutaj wersja ani javy ani hadoopa się nie zmieniła nagle

„`
2024-11-15 14:25:38,116 INFO…

Czytaj więcej

In reply to - Wojciech Bonna opublikował posta w grupie Globalna Grupa ABD

Siema, nie wiem czy to dobre miejsce na to pytanie – jak nie to prośba o wskazanie właściwego. 😉

Mam domowy klaster stworzony z 4 węzłów ubuntu (jeden […]

Wojciech Bonna opublikował nowy komentarz

Fri, 15 Nov 2024 14:04:58 +0100

Super, dzięki wielkie!

In reply to - Wojciech Bonna opublikował posta w grupie Globalna Grupa ABD

Siema, nie wiem czy to dobre miejsce na to pytanie – jak nie to prośba o wskazanie właściwego. 😉

Mam domowy klaster stworzony z 4 węzłów ubuntu (jeden […]

Wojciech Bonna opublikował nowy komentarz

Fri, 15 Nov 2024 13:40:45 +0100

@mczuma jak zrestartuję teraz to nadal mam błąd, więc najprostszą opcją jest format właśnie. No i w zasadzie nie jest to dla mnie duży problem, bo dopiero zaczynam zabawę, więc jakoś nie boli mnie za bardzo utrata danych, no ale docelowo to nie będę chciał formatować przy każdej takiej sytuacji bo to bez sensu. Także chcę spróbować…Czytaj więcej

In reply to - Wojciech Bonna opublikował posta w grupie Globalna Grupa ABD

Siema, nie wiem czy to dobre miejsce na to pytanie – jak nie to prośba o wskazanie właściwego. 😉

Mam domowy klaster stworzony z 4 węzłów ubuntu (jeden […]

Wojciech Bonna opublikował posta w grupie Globalna Grupa ABD: Siema, nie wiem czy to dobre miejsce na to pytanie - jak […]

Fri, 15 Nov 2024 13:18:02 +0100

Siema, nie wiem czy to dobre miejsce na to pytanie – jak nie to prośba o wskazanie właściwego. 😉

Mam domowy klaster stworzony z 4 węzłów ubuntu (jeden traktuję jako master, pozostałe jako slave/worker). Moim problemem jest to, że gdy po nagłym wyłączeniu klastra (np przez awarię prądu) hdfs przechodzi w SAFE MODE informując przy tym, że jest…

Czytaj więcej