Globalna Grupa ABD
Globalna Grupa jest jak rynek, na którym możemy się wszyscy spotkać. To tutaj możemy podzielić się... View more
Organizer:
- Organized by
-
-
Group Feed
-
Marek posted an update in the group
Globalna Grupa ABD 4 weeks agoPiątkowo przedstawiam wam mój klasterek rozwojowy/eksperymentalny 😀
Ustawiłem go już parę lat temu. Składa się z dwóch PCtów które kupiłem na rynku wtórnym, każdy bodajże za 1600 zł czy jakoś tak.
Służy mi głównie do eksperymentowania i nauki. Zarówno dla siebie, jak i na potrzeby ćwiczenia do szkoleń:-).
Każdy z obu kompów ma ~32 GB RAM.…
Daria Czerniawko, Piotr Sacha and 4 others9 Comments-
Ja też chętnie się pochwalę swoim klastrem, który aktualnie doprowadza mnie do szału. XD
4 węzły na Ubuntu Server, z czego jeden jest tym zarządzającym a pozostałe to workerzy.
Na klastrze Hadoop, Spark i Kafka. Klastrem zarządzam z innego komputera, głównie za pomocą ansible. Chciałbym nauczyć się na nim systemów rozproszonych, żeby móc później…
2- View 1 reply
-
Skoro się chwalimy, to i ja wrzucę coś od siebie ;-). Swój klaster zacząłem budować po wysłuchami jednego z odcinków podcastu “BigData po Polsku”. Moja konfiguracja to obecnie 2 desktopy poleasingowe Lenovo S20 i S30 na Xenon’ach z 32 i 64GB RAM działające pod kontrolą Ubuntu server w wersji 22.04 LTS. Mam na nich Hadoop’a, Spark’a, Docker’a…
2- View 6 replies
-
-
Marek posted an update in the group
Globalna Grupa ABD 5 weeks ago5 weeks ago (edited)
Moi drodzy! Czas na… nowy kanał na YouTube!
Ogromna prośba o subskrypcję i przesłuchanie “zwiastunu” kanału, a wlaściwie platformy.
Czemu kanał Akademii Big Data?
- Chcę, żeby Akademia BD był osobną marką niż RDF – jest najważniejszym projektem!
- Chcę, żeby było miejsce, w którym będzie dużo technicznych filmów.
- Dlatego już więcej nie będzie filmów…
-
A tu wideo – zwiastun: https://www.youtube.com/watch?v=wjhheDIYBSI
3
-
Marek posted an update in the group
Globalna Grupa ABD 5 weeks ago5 weeks ago (edited)
Dziś środa, więc poznajemy technologie! Tym razem pójdziemy dalej w kierunku Sparka, ale sparka… strumieniowego (Spark Structured Streaming).
Wyobraź sobie sytuację, w której Twoim zadaniem jest zbudować system, który monitoruje stan powietrza w mieście. Mamy na różnych ulicach rozstawione czujniki smogu, temperatury, ciśnienia,…
-
Marek posted an update in the group
Globalna Grupa ABD 5 weeks ago5 weeks ago (edited)
Dobre praktyki tworzenia workflow/data flow.
Chciałbym się z Wami podzielić swoimi przemyśleniami dotyczącymi tego o czym pamiętać kiedy projektujemy budowę naszego systemu do pracy z danymi.
Oto moje przemyślenia i notatki do siebie z przyszłości;-)
- Założenia dotyczące danych na wejściu (input) – kwestia organizacyjna. Moim zdaniem kluczową…
-
Marek posted an update in the group
Globalna Grupa ABD 5 weeks ago5 weeks ago (edited)
Wiem, że część z was czekała na nagranie live’a o tworzeniu mapy drogowej i systemu pracy.
Otóż… mam dzisiaj coś fajniejszego! Na bazie live’a zbudowałem warsztaty. Są w formie takiego mikrokursu, który jest dostępny TYLKO na Akademii BD. Co więcej – jest za darmo:-).
Nazwałem kurs “Inżynier Rozwoju” – bo do rozwoju można podchodzić…
-
Wojciech Bonna posted an update in the group
Globalna Grupa ABD 5 weeks agoSiema, nie wiem czy to dobre miejsce na to pytanie – jak nie to prośba o wskazanie właściwego. 😉
Mam domowy klaster stworzony z 4 węzłów ubuntu (jeden traktuję jako master, pozostałe jako slave/worker). Moim problemem jest to, że gdy po nagłym wyłączeniu klastra (np przez awarię prądu) hdfs przechodzi w SAFE MODE informując przy tym, że jest…
View more comments-
Old-school, to lubię! :D.
Pytanko – czy jak zrestartujesz klaster HDFS, to on widzi już bloki, czy wszystko czyścisz?
P.S. Jak najbardziej, dobre miejsce do pytania (chociaż chyba jeszcze wygodniejsze byłyby “Dyskusje”, czyli forum, ale tu też jest dobrze:-)).- View 2 replies
-
Super, dzięki wielkie!
1 -
@wbonna352 a powiedz mi jeszcze Wojtku, cz w logach jest coś interesującego?
1- View 1 reply
-
@wbonna352 napisz jeszcze jaki współczynnik replikacji masz ustawiony? Domyslny 3?
- View 2 replies
-
Prośba jeszcze o wrzucenie całego logu. Idealnie jakbyś załączył pliki aktualnymi logami z katalogu hdfsa bo tam jest kilka różnych logów. Widziałem, że wyżej podrzucałeś wycinek, ale tam jest Warning, który też niekoniecznie może realnie wpływać na to, że nie może się zsynchronizować i wyjść z safe mode’a. Dobrze by było zobaczyć całość.
- View 2 replies
- View more comments
-
-
Marek started the discussion [Luźne] Nasze Big Datowe marzenia 😀 in the forum Globalna Grupa ABD 5 weeks ago
[Luźne] Nasze Big Datowe marzenia 😀
Hej! Moja rozmowa z @szymon natchnęła mnie, żeby poruszyć piątkowo kwestię… marzeń :D. A mianowicie, tych marzeń Big Datowych.
Macie jakieś systemy/usługi, które szczególnie mocno was ciekawią? Może jest coś, z czego korzystacie na co dzień i co powoduje, że czasami się zatrzymujecie i myślicie: “JAK TO W OGÓLE DZIAŁA?!”.
Mnie osobiście…
Szymon MB -
Marek posted an update in the group
Globalna Grupa ABD 6 weeks agoDziś chcę napisać parę słów na temat architektury Apache Spark (o tym co to Spark ogólnie, był post wczoraj). Naucz się tego posta, a rozmowa rekrutacyjna pójdzie sprawniej;-).
Podstawowe pytanie: Jak Spark to robi, że 100 maszyn działa jak jedna?
Mamy tutaj do czynienia z architekturą typu master-slave. Jedna maszyna zarządza, a reszta…
-
Marek posted an update in the group
Globalna Grupa ABD 6 weeks agoJuż dzisiaj o 20:00! Spotkamy się na Google Meet. [link w komentarzu]
To nie będzie zwykły live. To będzie nasze wspólne spotkanie, gdzie każdy kto chce, będzie mógł się wypowiedzieć:-). Wpadajcie, a ja powiem (prawie) wszystko co wiem o organizacji swojego rozwoju!
Link do Google Meet w komentarzu;-)
-
Spotkajmy się na Google Meet o 20:00 tutaj: https://meet.google.com/zkz-vohn-yck
-
Dziękuję wam bardzo! Nie spodziewałem się że aż tyle osób przyjdzie więc tym bardziej ❤. Dajcie znać co sądzicie – tutaj lub w wiadomości prywatnej;-)
-
Naszła mnie dzisiaj refleksja, że przy całym dobru jakim jest na pewno mapa drogowa i system pracy musimy pamiętać o umiarze w nauce i odpoczynku aby się po drodze nie wysypać i nie wypalić. Refleksja programisty 40+ 🙂
1- View 1 reply
-
-
Marek posted an update in the group
Globalna Grupa ABD 6 weeks agoŚroda, więc czas na kolejną technologię! Dzisiaj przyszła kolej na “mój konik”, czyli Apache Spark.
Wyobraź sobie, że musisz przetworzyć ogromne ilości danych dot. stanów magazynowych wielkiej sieci supermarketów. Dane są w formie nieuporządkowanej, na rozproszonym systemie plików. Ty masz je zbierać codziennie i generować z nich…
-
Zastanawiam się na ile z twojego doświadczenia możesz potwierdzić/zaprzeczyć, że sparka jest bardzo łatwo źle skonfigurować, a wtedy działa wolno/niewydajnie?
1- View 1 reply
-
- Load More
