Globalna Grupa ABD
Globalna Grupa jest jak rynek, na którym możemy się wszyscy spotkać. To tutaj możemy podzielić się... View more
Organizer:
- Organized by
-
-
Group Feed
-
Marek posted an update in the group
Globalna Grupa ABD 6 weeks agoŚroda, więc czas na kolejną technologię! Dzisiaj przyszła kolej na “mój konik”, czyli Apache Spark.
Wyobraź sobie, że musisz przetworzyć ogromne ilości danych dot. stanów magazynowych wielkiej sieci supermarketów. Dane są w formie nieuporządkowanej, na rozproszonym systemie plików. Ty masz je zbierać codziennie i generować z nich…
Daria Czerniawko, Damian Pszczoła and 3 others2 Comments-
Zastanawiam się na ile z twojego doświadczenia możesz potwierdzić/zaprzeczyć, że sparka jest bardzo łatwo źle skonfigurować, a wtedy działa wolno/niewydajnie?
1- View 1 reply
-
-
Marek posted an update in the group
Globalna Grupa ABD 6 weeks agoCzas na pierwszy, warsztatowy live! Już JUTRO, o godz. 20:00 spotykamy się online. Przekażę wam swoje obserwacje dot. budowy własnej mapy drogowej i systemu pracy.
A dlaczego AKURAT TAKI będzie temat pierwszego live? To jest mega ważna sprawa:
Wyobraź sobie, że masz niesamowitą okazję: ktoś daje Ci dostęp do wyjątkowego miejsca – biblioteki,…
-
Do zobaczenia 🙂
1 -
mnie niestety nie będzie 🙁 czy będzie dostępne nagranie?
1- View 1 reply
-
Też bym prosił o nagranie, niestety nie mogłem być na live.
-
-
Marek posted an update in the group
Globalna Grupa ABD 6 weeks ago6 weeks ago (edited)
Dzisiaj nietypowy post (typowy będzie za chwilę;-)).
Chcę Wam życzyć wszystkiego co najlepsze z okazji dzisiejszego święta. I – pomijając wszelkie, często potrzebne, pompatyczne słowa – chcę powiedzieć jedno.
Dla mnie, gdy mówię “Polska”, myślę właśnie… o nas. O tym, że mogę budować miejsce takie jak to. O tym, że można codzienną pracę…
-
Jakub Sokołowski posted an update in the group
Globalna Grupa ABD 7 weeks ago7 weeks ago (edited)
Zastanawia mnie jak wygląda pisanie testów jednostkowych, integracyjnych itd w big data.
Na jakim etapie pracy z danymi takie testy są możliwe do napisania?
Czy można testami zweryfikować czy dane zostały poprawnie przygotowane do analizy lub czy dane zostały poprawnie oczyszczone z szumu?
Może wątek będzie też interesujący dla innych 🙂
View more comments-
Hehe, @mmaselko trochę mieliśmy rozmów na ten temat, możesz się wypowiedzieć 😀
Z mojej strony – da się pisać testy zarowno integracyjne jak i jednostkowe, ale nie zawsze warto (tzn. być może zawsze warto, ale często wysiłek jest baaardzo duży). To raz. Dwa – często jest pytanie, czy testujemy już integracyjnie czy jeszcze jednostkowo,…1 -
Tak dokładnie mi o to chodziło, dzięki.
Ciekawe czy ta trudność tworzenia testów powoduje powstawanie projektów kiepsko otestowanych czy raczej trudność jest pokonywana i projekty sa dobrze otestowane. Pewnie bywa różnie:)
- View 2 replies
-
I też ciekawe jak wygląda automatyzacja odpalania testów jeżeli moze to byc ciężki skomplikowany proces.
- View 1 reply
-
Według mnie testy można pisać od początkowych etapów . Nie jest to myślę twardy wymóg, wszystko zależy od projektu i czy jest to zasadne. Ale nawet jak w projekcie infrastruktura się dopiero tworzy i nie ma jeszcze przepływu danych, możemy pisać testy jednostkowe weryfikujące metody. Dobrze utrzymane testy, mocno ułatwiają późniejszy… Read more
1- View 1 reply
-
A na ile istotne jest odpalanie testów czy testowanie manualne na danych jak najbardziej zbliżonych do produkcyjnych?. Czy częste jest że kod działa na danych testowych a nie działa na produkcyjnych? Jak sobie z tym radzicie?
@mmaselko odnośnie “… lub ‘paczkę’/’miejsce’ na testowe dane w środowisku produkcyjnym.” To działa na zasadzie,… Read more
1 - View more comments
-
-
Marek posted an update in the group
Globalna Grupa ABD 7 weeks ago7 weeks ago (edited)
EDIT: ZDECYDOWALIŚCIE! Widzimy się w środę o godzinie 20:00. Będzie na luzie, każdy będzie mógł się wypowiedzieć. Ale przede wszystkim – mam nadzieję – każdy wyjdziecie z konkretnym przesłaniem, które pomoże znacznie lepiej się rozwijać!
Spotkamy się najpewniej na Google Meet. W środę o 20:00 na platformie pojawi się miejsce, do którego będzie…
Kiedy chcesz spotkać się live na warsztatach z tworzenia swojego systemu pracy?
-
@mczuma planujesz zrobić zapis tego live i udostępnić go później na platformie? Niestety nie będę mógł by w środę 🙁
- View 1 reply
-
-
Marek posted an update in the group
Globalna Grupa ABD 7 weeks agoPonieważ dzisiaj wyszedł nowy odcinek podcastu “Big Data Po Polsku” – chcę jedynie:
- Zachęcić do przesłuchania – opowiadałem tam o swojej historii i dlaczego “metoda projektowa” nie zawsze jest dobrym pomysłem oraz jak podejść w lepszy sposób.
- Zachęcić do nowego materiału w bazie wiedzy, w którym Wojtek opisał kwestię budowania bazy wiedzy, a…
-
Odcinek podcastu:
1. YouTube: https://www.youtube.com/watch?v=Wc8V-ZbPesw
2. Spotify: https://open.spotify.com/episode/2T8gwOjB2Iuib6KjvffD5i?si=c255a831ea6d4a40
3. Podbean: https://bigdatapopolsku.podbean.com/e/odcinek37-rozwoj-w-big-data-bez-frustracji-jak-skutecznie-i-z-satysfakcja-poznawac-inzynierie-danych/
4. Inne:-)1 -
Materiał Wojtka dot. “Second Brain”: https://akademia-bigdata.pl/docs/siegnij-po-swoj-second-brain-zainwestuj-kilka-minut-a-zyskasz-narzedzie-do-osiagania-wielkich-celow/
1
-
Marek started the discussion [Rozwój ABD] Czego oczekujecie od wsparcia w zakresie "pozycjonowania na rynku"? in the forum Globalna Grupa ABD 7 weeks ago
[Rozwój ABD] Czego oczekujecie od wsparcia w zakresie "pozycjonowania na rynku"?
Być może wiecie, że Akademia Big Data, w docelowej koncepcji, ma być miejscem, które daje bardzo szerokie wsparcie. Nie tylko technikalia, ale także takie rzeczy jak wiedzę o tym jak się uczyć, podkręcać pracę mózgu, jak organizować swój rozwój czy… jak się pozycjonować na rynku.
Chciałbym, żeby jeszcze w listopadzie platforma została…
Wojtek Zdziebkowski -
Marek posted an update in the group
Globalna Grupa ABD 7 weeks agoZa wielką wodą wybory prezydenckie, więc w naszej środowej serii opowiemy dzisiaj o technologii, która pochodzi… z samego wnętrza amerykańskiej biurokracji!
Myśleliście kiedyś o tym, żeby cały system ETL po prostu sobie… wyklikać?
Temu ma służyć Apache NiFi! To narzędzie, w którym dysponujemy tzw. “procesorami” – bloczkami, z których każdy…
-
Marek posted an update in the group
Globalna Grupa ABD 7 weeks agoPrzetwarzanie streamingowe w Sparku a koszty: na co uważać i jak można zapanować nad problemami? BARDZO PROSTA RZECZ.
W ostatnim poście jeden z punktów dot. moich wniosków z Databricks, dotyczył tego jak dużo problemów sprawiły mi joby streamingowe. Okazało się, że generują one monstrualne ilości requestów do S3, za co AWS bardzo chętnie…
-
Marek posted an update in the group
Globalna Grupa ABD 7 weeks agoMoje lekcje z projektu w Databricks na AWS, które oszczędzą Ci problemów.
W środę pisałem o tym co to jest DBX i dzisiaj chcę pociągnąć ten temat. Konkretnie, w punktach, chcę opowiedzieć o tym jakie są moje lekcje, które oszczędzą Ci problemów:-).
Lecimy z koksem! Prawie wszystkie wynikały z mojej głupoty lub nieszczęścia, więc bądźcie…
- Load More
