Globalna Grupa ABD
Globalna Grupa jest jak rynek, na którym możemy się wszyscy spotkać. To tutaj możemy podzielić się... View more
Organizer:
- Organized by
-
-
Group Feed
-
Marek Czuma posted an update in the group
Globalna Grupa ABD 9 months agoHahaha, to podobno jestem ja:D. Piąteczkowo – chat GPT narysował mnie w dość specyficznym stylu. Najbardziej urzeka mnie napis który jest z tyłu: “SCALA HARD OR GO HOME”. Chyba sobie wydrukuje taki do gabinetu, gry przeprowadzę się do domu;-).
Z uwag: zdecydowanie za dużo pythona :D. Ciekawi nie też ten mały gościu na stole.
Wrzucajcie co chat…
Szymon Martyniak-Baranski, Daria Czerniawko and Rafał Kowalski4 Comments-
No cóż… xd ciężko się nie zgodzić 😀
1- View 1 reply
-
Wygenerowałem 3 obrazki i wybrałem ten który wg mnie najlepiej pasuje 🙂
1- View 1 reply
-
-
Marek Czuma posted an update in the group
Globalna Grupa ABD 9 months agoDzisiaj chciałem opisać wam jak działa Hive – dość specyficzna technologia typu Data Warehouse, którą ogólnie opisywałem wczoraj:-).
Nie przejmujcie się obrazkiem architektury:D. Chciałbym wam opisać samą koncepcję budowy, bo jest ona warta uwagi. Tym bardziej, że niemal do każdego aspektu można zajrzeć w bebechy!
- Dane: Sam Hive nie jest “bazą…
-
Marek Czuma posted an update in the group
Globalna Grupa ABD 9 months agoDzisiejsza środowa technologia należy do… Apache Hive! Właśnie prowadzę z Hive szkolenie, niebawem na Akademii pojawi się trochę materiałów w bazie wiedzy w tym zakresie. Zacznijmy więc od środowego posta;-).
Wyobraźcie sobie, że macie na HDFS petabajty danych. Są o dziwo dość dobrze ustrukturyzowane i chcecie je systematycznie analizować.…
-
Marek Czuma posted an update in the group
Globalna Grupa ABD 9 months agoWłaśnie wjechał nowy film na YT Akademii BD. Absolutnie dla początkujących:-).
Cel: chciałem dać takie przeglądowe spojrzenie na tworzenie systemów opartych o dane. Pokazać jakie są rodzaje technologii i jacy są główni przedstawiciele.
Tak czy siak – za każdą łapkę w górę będę dozgonnie wdzięczny :D.
Na Globalnej Grupie wrzucam PDF z prezentacją…
-
Film o technologiach BD dla początkujących: https://www.youtube.com/watch?v=vbCjpDtWpTg
1
-
-
Marek Czuma posted an update in the group
Globalna Grupa ABD 9 months agoPiątkowo przedstawiam wam mój klasterek rozwojowy/eksperymentalny 😀
Ustawiłem go już parę lat temu. Składa się z dwóch PCtów które kupiłem na rynku wtórnym, każdy bodajże za 1600 zł czy jakoś tak.
Służy mi głównie do eksperymentowania i nauki. Zarówno dla siebie, jak i na potrzeby ćwiczenia do szkoleń:-).
Każdy z obu kompów ma ~32 GB RAM.…
-
Ja też chętnie się pochwalę swoim klastrem, który aktualnie doprowadza mnie do szału. XD
4 węzły na Ubuntu Server, z czego jeden jest tym zarządzającym a pozostałe to workerzy.
Na klastrze Hadoop, Spark i Kafka. Klastrem zarządzam z innego komputera, głównie za pomocą ansible. Chciałbym nauczyć się na nim systemów rozproszonych, żeby móc później…
2- View 1 reply
-
Skoro się chwalimy, to i ja wrzucę coś od siebie ;-). Swój klaster zacząłem budować po wysłuchami jednego z odcinków podcastu “BigData po Polsku”. Moja konfiguracja to obecnie 2 desktopy poleasingowe Lenovo S20 i S30 na Xenon’ach z 32 i 64GB RAM działające pod kontrolą Ubuntu server w wersji 22.04 LTS. Mam na nich Hadoop’a, Spark’a, Docker’a…
2- View 6 replies
-
-
Marek Czuma posted an update in the group
Globalna Grupa ABD 9 months ago9 months ago (edited)
Moi drodzy! Czas na… nowy kanał na YouTube!
Ogromna prośba o subskrypcję i przesłuchanie “zwiastunu” kanału, a wlaściwie platformy.
Czemu kanał Akademii Big Data?
- Chcę, żeby Akademia BD był osobną marką niż RDF – jest najważniejszym projektem!
- Chcę, żeby było miejsce, w którym będzie dużo technicznych filmów.
- Dlatego już więcej nie będzie filmów…
-
A tu wideo – zwiastun: https://www.youtube.com/watch?v=wjhheDIYBSI
3
-
Marek Czuma posted an update in the group
Globalna Grupa ABD 9 months ago9 months ago (edited)
Dziś środa, więc poznajemy technologie! Tym razem pójdziemy dalej w kierunku Sparka, ale sparka… strumieniowego (Spark Structured Streaming).
Wyobraź sobie sytuację, w której Twoim zadaniem jest zbudować system, który monitoruje stan powietrza w mieście. Mamy na różnych ulicach rozstawione czujniki smogu, temperatury, ciśnienia,…
-
Marek Czuma posted an update in the group
Globalna Grupa ABD 9 months ago9 months ago (edited)
Dobre praktyki tworzenia workflow/data flow.
Chciałbym się z Wami podzielić swoimi przemyśleniami dotyczącymi tego o czym pamiętać kiedy projektujemy budowę naszego systemu do pracy z danymi.
Oto moje przemyślenia i notatki do siebie z przyszłości;-)
- Założenia dotyczące danych na wejściu (input) – kwestia organizacyjna. Moim zdaniem kluczową…
-
Marek Czuma posted an update in the group
Globalna Grupa ABD 9 months ago9 months ago (edited)
Wiem, że część z was czekała na nagranie live’a o tworzeniu mapy drogowej i systemu pracy.
Otóż… mam dzisiaj coś fajniejszego! Na bazie live’a zbudowałem warsztaty. Są w formie takiego mikrokursu, który jest dostępny TYLKO na Akademii BD. Co więcej – jest za darmo:-).
Nazwałem kurs “Inżynier Rozwoju” – bo do rozwoju można podchodzić…
-
Wojciech Bonna posted an update in the group
Globalna Grupa ABD 9 months agoSiema, nie wiem czy to dobre miejsce na to pytanie – jak nie to prośba o wskazanie właściwego. 😉
Mam domowy klaster stworzony z 4 węzłów ubuntu (jeden traktuję jako master, pozostałe jako slave/worker). Moim problemem jest to, że gdy po nagłym wyłączeniu klastra (np przez awarię prądu) hdfs przechodzi w SAFE MODE informując przy tym, że jest…
View more comments-
Old-school, to lubię! :D.
Pytanko – czy jak zrestartujesz klaster HDFS, to on widzi już bloki, czy wszystko czyścisz?
P.S. Jak najbardziej, dobre miejsce do pytania (chociaż chyba jeszcze wygodniejsze byłyby “Dyskusje”, czyli forum, ale tu też jest dobrze:-)).- View 2 replies
-
Super, dzięki wielkie!
1 -
@wbonna352 a powiedz mi jeszcze Wojtku, cz w logach jest coś interesującego?
1- View 1 reply
-
@wbonna352 napisz jeszcze jaki współczynnik replikacji masz ustawiony? Domyslny 3?
- View 2 replies
-
Prośba jeszcze o wrzucenie całego logu. Idealnie jakbyś załączył pliki aktualnymi logami z katalogu hdfsa bo tam jest kilka różnych logów. Widziałem, że wyżej podrzucałeś wycinek, ale tam jest Warning, który też niekoniecznie może realnie wpływać na to, że nie może się zsynchronizować i wyjść z safe mode’a. Dobrze by było zobaczyć całość.
- View 2 replies
- View more comments
-
- Load More
