Globalna Grupa ABD
Globalna Grupa jest jak rynek, na którym możemy się wszyscy spotkać. To tutaj możemy podzielić się... View more
Organizer:
- Organized by
-
-
Group Feed
-
Marek posted an update in the group
Globalna Grupa ABD 5 months ago5 months ago (edited)
Dziś środa, więc poznajemy technologie! Tym razem pójdziemy dalej w kierunku Sparka, ale sparka… strumieniowego (Spark Structured Streaming).
Wyobraź sobie sytuację, w której Twoim zadaniem jest zbudować system, który monitoruje stan powietrza w mieście. Mamy na różnych ulicach rozstawione czujniki smogu, temperatury, ciśnienia,…
-
Marek posted an update in the group
Globalna Grupa ABD 5 months ago5 months ago (edited)
Dobre praktyki tworzenia workflow/data flow.
Chciałbym się z Wami podzielić swoimi przemyśleniami dotyczącymi tego o czym pamiętać kiedy projektujemy budowę naszego systemu do pracy z danymi.
Oto moje przemyślenia i notatki do siebie z przyszłości;-)
- Założenia dotyczące danych na wejściu (input) – kwestia organizacyjna. Moim zdaniem kluczową…
-
Marek posted an update in the group
Globalna Grupa ABD 5 months ago5 months ago (edited)
Wiem, że część z was czekała na nagranie live’a o tworzeniu mapy drogowej i systemu pracy.
Otóż… mam dzisiaj coś fajniejszego! Na bazie live’a zbudowałem warsztaty. Są w formie takiego mikrokursu, który jest dostępny TYLKO na Akademii BD. Co więcej – jest za darmo:-).
Nazwałem kurs “Inżynier Rozwoju” – bo do rozwoju można podchodzić…
-
Wojciech Bonna posted an update in the group
Globalna Grupa ABD 5 months agoSiema, nie wiem czy to dobre miejsce na to pytanie – jak nie to prośba o wskazanie właściwego. 😉
Mam domowy klaster stworzony z 4 węzłów ubuntu (jeden traktuję jako master, pozostałe jako slave/worker). Moim problemem jest to, że gdy po nagłym wyłączeniu klastra (np przez awarię prądu) hdfs przechodzi w SAFE MODE informując przy tym, że jest…
View more comments-
Old-school, to lubię! :D.
Pytanko – czy jak zrestartujesz klaster HDFS, to on widzi już bloki, czy wszystko czyścisz?
P.S. Jak najbardziej, dobre miejsce do pytania (chociaż chyba jeszcze wygodniejsze byłyby “Dyskusje”, czyli forum, ale tu też jest dobrze:-)).- View 2 replies
-
Super, dzięki wielkie!
1 -
@wbonna352 a powiedz mi jeszcze Wojtku, cz w logach jest coś interesującego?
1- View 1 reply
-
@wbonna352 napisz jeszcze jaki współczynnik replikacji masz ustawiony? Domyslny 3?
- View 2 replies
-
Prośba jeszcze o wrzucenie całego logu. Idealnie jakbyś załączył pliki aktualnymi logami z katalogu hdfsa bo tam jest kilka różnych logów. Widziałem, że wyżej podrzucałeś wycinek, ale tam jest Warning, który też niekoniecznie może realnie wpływać na to, że nie może się zsynchronizować i wyjść z safe mode’a. Dobrze by było zobaczyć całość.
- View 2 replies
- View more comments
-
-
Marek started the discussion [Luźne] Nasze Big Datowe marzenia 😀 in the forum Globalna Grupa ABD 5 months ago
[Luźne] Nasze Big Datowe marzenia 😀
Hej! Moja rozmowa z @szymon natchnęła mnie, żeby poruszyć piątkowo kwestię… marzeń :D. A mianowicie, tych marzeń Big Datowych.
Macie jakieś systemy/usługi, które szczególnie mocno was ciekawią? Może jest coś, z czego korzystacie na co dzień i co powoduje, że czasami się zatrzymujecie i myślicie: “JAK TO W OGÓLE DZIAŁA?!”.
Mnie osobiście…
Szymon Martyniak-Baranski -
Marek posted an update in the group
Globalna Grupa ABD 5 months agoDziś chcę napisać parę słów na temat architektury Apache Spark (o tym co to Spark ogólnie, był post wczoraj). Naucz się tego posta, a rozmowa rekrutacyjna pójdzie sprawniej;-).
Podstawowe pytanie: Jak Spark to robi, że 100 maszyn działa jak jedna?
Mamy tutaj do czynienia z architekturą typu master-slave. Jedna maszyna zarządza, a reszta…
-
Marek posted an update in the group
Globalna Grupa ABD 5 months agoJuż dzisiaj o 20:00! Spotkamy się na Google Meet. [link w komentarzu]
To nie będzie zwykły live. To będzie nasze wspólne spotkanie, gdzie każdy kto chce, będzie mógł się wypowiedzieć:-). Wpadajcie, a ja powiem (prawie) wszystko co wiem o organizacji swojego rozwoju!
Link do Google Meet w komentarzu;-)
-
Spotkajmy się na Google Meet o 20:00 tutaj: https://meet.google.com/zkz-vohn-yck
-
Dziękuję wam bardzo! Nie spodziewałem się że aż tyle osób przyjdzie więc tym bardziej ❤. Dajcie znać co sądzicie – tutaj lub w wiadomości prywatnej;-)
-
Naszła mnie dzisiaj refleksja, że przy całym dobru jakim jest na pewno mapa drogowa i system pracy musimy pamiętać o umiarze w nauce i odpoczynku aby się po drodze nie wysypać i nie wypalić. Refleksja programisty 40+ 🙂
1- View 1 reply
-
-
Marek posted an update in the group
Globalna Grupa ABD 5 months agoŚroda, więc czas na kolejną technologię! Dzisiaj przyszła kolej na “mój konik”, czyli Apache Spark.
Wyobraź sobie, że musisz przetworzyć ogromne ilości danych dot. stanów magazynowych wielkiej sieci supermarketów. Dane są w formie nieuporządkowanej, na rozproszonym systemie plików. Ty masz je zbierać codziennie i generować z nich…
-
Zastanawiam się na ile z twojego doświadczenia możesz potwierdzić/zaprzeczyć, że sparka jest bardzo łatwo źle skonfigurować, a wtedy działa wolno/niewydajnie?
1- View 1 reply
-
-
Marek posted an update in the group
Globalna Grupa ABD 5 months agoCzas na pierwszy, warsztatowy live! Już JUTRO, o godz. 20:00 spotykamy się online. Przekażę wam swoje obserwacje dot. budowy własnej mapy drogowej i systemu pracy.
A dlaczego AKURAT TAKI będzie temat pierwszego live? To jest mega ważna sprawa:
Wyobraź sobie, że masz niesamowitą okazję: ktoś daje Ci dostęp do wyjątkowego miejsca – biblioteki,…
-
Do zobaczenia 🙂
1 -
mnie niestety nie będzie 🙁 czy będzie dostępne nagranie?
1- View 1 reply
-
Też bym prosił o nagranie, niestety nie mogłem być na live.
-
-
Marek posted an update in the group
Globalna Grupa ABD 5 months ago5 months ago (edited)
Dzisiaj nietypowy post (typowy będzie za chwilę;-)).
Chcę Wam życzyć wszystkiego co najlepsze z okazji dzisiejszego święta. I – pomijając wszelkie, często potrzebne, pompatyczne słowa – chcę powiedzieć jedno.
Dla mnie, gdy mówię “Polska”, myślę właśnie… o nas. O tym, że mogę budować miejsce takie jak to. O tym, że można codzienną pracę…
- Load More