Globalna Grupa ABD
Globalna Grupa jest jak rynek, na którym możemy się wszyscy spotkać. To tutaj możemy podzielić się... View more
Organizer:
- Organized by
-
-
Group Feed
-
Wiem, że część z was czekała na nagranie live’a o tworzeniu mapy drogowej i systemu pracy.
Otóż… mam dzisiaj coś fajniejszego! Na bazie live’a zbudowałem warsztaty. Są w formie takiego mikrokursu, który jest dostępny TYLKO na Akademii BD. Co więcej – jest za darmo:-).
Nazwałem kurs „Inżynier Rozwoju” – bo do rozwoju można podchodzić…
-
Siema, nie wiem czy to dobre miejsce na to pytanie – jak nie to prośba o wskazanie właściwego. 😉
Mam domowy klaster stworzony z 4 węzłów ubuntu (jeden traktuję jako master, pozostałe jako slave/worker). Moim problemem jest to, że gdy po nagłym wyłączeniu klastra (np przez awarię prądu) hdfs przechodzi w SAFE MODE informując przy tym, że jest…
View more comments-
Old-school, to lubię! :D.
Pytanko – czy jak zrestartujesz klaster HDFS, to on widzi już bloki, czy wszystko czyścisz?
P.S. Jak najbardziej, dobre miejsce do pytania (chociaż chyba jeszcze wygodniejsze byłyby „Dyskusje”, czyli forum, ale tu też jest dobrze:-)).- View 2 replies
-
Super, dzięki wielkie!
1 -
@wbonna352 a powiedz mi jeszcze Wojtku, cz w logach jest coś interesującego?
1- View 1 reply
-
@wbonna352 napisz jeszcze jaki współczynnik replikacji masz ustawiony? Domyslny 3?
- View 2 replies
-
Prośba jeszcze o wrzucenie całego logu. Idealnie jakbyś załączył pliki aktualnymi logami z katalogu hdfsa bo tam jest kilka różnych logów. Widziałem, że wyżej podrzucałeś wycinek, ale tam jest Warning, który też niekoniecznie może realnie wpływać na to, że nie może się zsynchronizować i wyjść z safe mode’a. Dobrze by było zobaczyć całość.
- View 2 replies
- View more comments
-
-
Marek Czuma started the discussion [Luźne] Nasze Big Datowe marzenia 😀 in the forum Globalna Grupa ABD a year temu
[Luźne] Nasze Big Datowe marzenia 😀
Hej! Moja rozmowa z @szymon natchnęła mnie, żeby poruszyć piątkowo kwestię… marzeń :D. A mianowicie, tych marzeń Big Datowych.
Macie jakieś systemy/usługi, które szczególnie mocno was ciekawią? Może jest coś, z czego korzystacie na co dzień i co powoduje, że czasami się zatrzymujecie i myślicie: „JAK TO W OGÓLE DZIAŁA?!”.
Mnie osobiście…
Szymon Martyniak-Baranski -
Dziś chcę napisać parę słów na temat architektury Apache Spark (o tym co to Spark ogólnie, był post wczoraj). Naucz się tego posta, a rozmowa rekrutacyjna pójdzie sprawniej;-).
Podstawowe pytanie: Jak Spark to robi, że 100 maszyn działa jak jedna?
Mamy tutaj do czynienia z architekturą typu master-slave. Jedna maszyna zarządza, a reszta…
-
Już dzisiaj o 20:00! Spotkamy się na Google Meet. [link w komentarzu]
To nie będzie zwykły live. To będzie nasze wspólne spotkanie, gdzie każdy kto chce, będzie mógł się wypowiedzieć:-). Wpadajcie, a ja powiem (prawie) wszystko co wiem o organizacji swojego rozwoju!
Link do Google Meet w komentarzu;-)
-
Spotkajmy się na Google Meet o 20:00 tutaj: https://meet.google.com/zkz-vohn-yck
-
Dziękuję wam bardzo! Nie spodziewałem się że aż tyle osób przyjdzie więc tym bardziej ❤. Dajcie znać co sądzicie – tutaj lub w wiadomości prywatnej;-)
-
Naszła mnie dzisiaj refleksja, że przy całym dobru jakim jest na pewno mapa drogowa i system pracy musimy pamiętać o umiarze w nauce i odpoczynku aby się po drodze nie wysypać i nie wypalić. Refleksja programisty 40+ 🙂
1- View 1 reply
-
-
Środa, więc czas na kolejną technologię! Dzisiaj przyszła kolej na „mój konik”, czyli Apache Spark.
Wyobraź sobie, że musisz przetworzyć ogromne ilości danych dot. stanów magazynowych wielkiej sieci supermarketów. Dane są w formie nieuporządkowanej, na rozproszonym systemie plików. Ty masz je zbierać codziennie i generować z nich…
-
Zastanawiam się na ile z twojego doświadczenia możesz potwierdzić/zaprzeczyć, że sparka jest bardzo łatwo źle skonfigurować, a wtedy działa wolno/niewydajnie?
1- View 1 reply
-
-
Czas na pierwszy, warsztatowy live! Już JUTRO, o godz. 20:00 spotykamy się online. Przekażę wam swoje obserwacje dot. budowy własnej mapy drogowej i systemu pracy.
A dlaczego AKURAT TAKI będzie temat pierwszego live? To jest mega ważna sprawa:
Wyobraź sobie, że masz niesamowitą okazję: ktoś daje Ci dostęp do wyjątkowego miejsca – biblioteki,…
-
Do zobaczenia 🙂
1 -
mnie niestety nie będzie 🙁 czy będzie dostępne nagranie?
1- View 1 reply
-
Też bym prosił o nagranie, niestety nie mogłem być na live.
-
-
Dzisiaj nietypowy post (typowy będzie za chwilę;-)).
Chcę Wam życzyć wszystkiego co najlepsze z okazji dzisiejszego święta. I – pomijając wszelkie, często potrzebne, pompatyczne słowa – chcę powiedzieć jedno.
Dla mnie, gdy mówię „Polska”, myślę właśnie… o nas. O tym, że mogę budować miejsce takie jak to. O tym, że można codzienną pracę…
-
Zastanawia mnie jak wygląda pisanie testów jednostkowych, integracyjnych itd w big data.
Na jakim etapie pracy z danymi takie testy są możliwe do napisania?
Czy można testami zweryfikować czy dane zostały poprawnie przygotowane do analizy lub czy dane zostały poprawnie oczyszczone z szumu?
Może wątek będzie też interesujący dla innych 🙂
View more comments-
Hehe, @mmaselko trochę mieliśmy rozmów na ten temat, możesz się wypowiedzieć 😀
Z mojej strony – da się pisać testy zarowno integracyjne jak i jednostkowe, ale nie zawsze warto (tzn. być może zawsze warto, ale często wysiłek jest baaardzo duży). To raz. Dwa – często jest pytanie, czy testujemy już integracyjnie czy jeszcze jednostkowo,…1 -
Tak dokładnie mi o to chodziło, dzięki.
Ciekawe czy ta trudność tworzenia testów powoduje powstawanie projektów kiepsko otestowanych czy raczej trudność jest pokonywana i projekty sa dobrze otestowane. Pewnie bywa różnie:)
- View 2 replies
-
I też ciekawe jak wygląda automatyzacja odpalania testów jeżeli moze to byc ciężki skomplikowany proces.
- View 1 reply
-
Według mnie testy można pisać od początkowych etapów . Nie jest to myślę twardy wymóg, wszystko zależy od projektu i czy jest to zasadne. Ale nawet jak w projekcie infrastruktura się dopiero tworzy i nie ma jeszcze przepływu danych, możemy pisać testy jednostkowe weryfikujące metody. Dobrze utrzymane testy, mocno ułatwiają późniejszy…Czytaj więcej
1- View 1 reply
-
A na ile istotne jest odpalanie testów czy testowanie manualne na danych jak najbardziej zbliżonych do produkcyjnych?. Czy częste jest że kod działa na danych testowych a nie działa na produkcyjnych? Jak sobie z tym radzicie?
@mmaselko odnośnie “… lub ‘paczkę’/’miejsce’ na testowe dane w środowisku produkcyjnym.” To działa na zasadzie,…Czytaj więcej
1 - View more comments
-
-
EDIT: ZDECYDOWALIŚCIE! Widzimy się w środę o godzinie 20:00. Będzie na luzie, każdy będzie mógł się wypowiedzieć. Ale przede wszystkim – mam nadzieję – każdy wyjdziecie z konkretnym przesłaniem, które pomoże znacznie lepiej się rozwijać!
Spotkamy się najpewniej na Google Meet. W środę o 20:00 na platformie pojawi się miejsce, do którego będzie…
Kiedy chcesz spotkać się live na warsztatach z tworzenia swojego systemu pracy?
-
@mczuma planujesz zrobić zapis tego live i udostępnić go później na platformie? Niestety nie będę mógł by w środę 🙁
- View 1 reply
-
- Load More
