Globalna Grupa ABD
Globalna Grupa jest jak rynek, na którym możemy się wszyscy spotkać. To tutaj możemy podzielić się... View more
Organizer:
- Organized by
-
-
Group Feed
-
Jakub Sokołowski posted an update in the group
Globalna Grupa ABD 5 months ago5 months ago (edited)
Zastanawia mnie jak wygląda pisanie testów jednostkowych, integracyjnych itd w big data.
Na jakim etapie pracy z danymi takie testy są możliwe do napisania?
Czy można testami zweryfikować czy dane zostały poprawnie przygotowane do analizy lub czy dane zostały poprawnie oczyszczone z szumu?
Może wątek będzie też interesujący dla innych 🙂
Marek10 CommentsView more comments-
Hehe, @mmaselko trochę mieliśmy rozmów na ten temat, możesz się wypowiedzieć 😀
Z mojej strony – da się pisać testy zarowno integracyjne jak i jednostkowe, ale nie zawsze warto (tzn. być może zawsze warto, ale często wysiłek jest baaardzo duży). To raz. Dwa – często jest pytanie, czy testujemy już integracyjnie czy jeszcze jednostkowo,…1 -
Tak dokładnie mi o to chodziło, dzięki.
Ciekawe czy ta trudność tworzenia testów powoduje powstawanie projektów kiepsko otestowanych czy raczej trudność jest pokonywana i projekty sa dobrze otestowane. Pewnie bywa różnie:)
- View 2 replies
-
I też ciekawe jak wygląda automatyzacja odpalania testów jeżeli moze to byc ciężki skomplikowany proces.
- View 1 reply
-
Według mnie testy można pisać od początkowych etapów . Nie jest to myślę twardy wymóg, wszystko zależy od projektu i czy jest to zasadne. Ale nawet jak w projekcie infrastruktura się dopiero tworzy i nie ma jeszcze przepływu danych, możemy pisać testy jednostkowe weryfikujące metody. Dobrze utrzymane testy, mocno ułatwiają późniejszy… Read more
1- View 1 reply
-
A na ile istotne jest odpalanie testów czy testowanie manualne na danych jak najbardziej zbliżonych do produkcyjnych?. Czy częste jest że kod działa na danych testowych a nie działa na produkcyjnych? Jak sobie z tym radzicie?
@mmaselko odnośnie “… lub ‘paczkę’/’miejsce’ na testowe dane w środowisku produkcyjnym.” To działa na zasadzie,… Read more
1 - View more comments
-
-
Marek posted an update in the group
Globalna Grupa ABD 5 months ago5 months ago (edited)
EDIT: ZDECYDOWALIŚCIE! Widzimy się w środę o godzinie 20:00. Będzie na luzie, każdy będzie mógł się wypowiedzieć. Ale przede wszystkim – mam nadzieję – każdy wyjdziecie z konkretnym przesłaniem, które pomoże znacznie lepiej się rozwijać!
Spotkamy się najpewniej na Google Meet. W środę o 20:00 na platformie pojawi się miejsce, do którego będzie…
Kiedy chcesz spotkać się live na warsztatach z tworzenia swojego systemu pracy?
-
@mczuma planujesz zrobić zapis tego live i udostępnić go później na platformie? Niestety nie będę mógł by w środę 🙁
- View 1 reply
-
-
Marek posted an update in the group
Globalna Grupa ABD 5 months agoPonieważ dzisiaj wyszedł nowy odcinek podcastu “Big Data Po Polsku” – chcę jedynie:
- Zachęcić do przesłuchania – opowiadałem tam o swojej historii i dlaczego “metoda projektowa” nie zawsze jest dobrym pomysłem oraz jak podejść w lepszy sposób.
- Zachęcić do nowego materiału w bazie wiedzy, w którym Wojtek opisał kwestię budowania bazy wiedzy, a…
-
Odcinek podcastu:
1. YouTube: https://www.youtube.com/watch?v=Wc8V-ZbPesw
2. Spotify: https://open.spotify.com/episode/2T8gwOjB2Iuib6KjvffD5i?si=c255a831ea6d4a40
3. Podbean: https://bigdatapopolsku.podbean.com/e/odcinek37-rozwoj-w-big-data-bez-frustracji-jak-skutecznie-i-z-satysfakcja-poznawac-inzynierie-danych/
4. Inne:-)1 -
Materiał Wojtka dot. “Second Brain”: https://akademia-bigdata.pl/docs/siegnij-po-swoj-second-brain-zainwestuj-kilka-minut-a-zyskasz-narzedzie-do-osiagania-wielkich-celow/
1
-
Marek started the discussion [Rozwój ABD] Czego oczekujecie od wsparcia w zakresie "pozycjonowania na rynku"? in the forum Globalna Grupa ABD 5 months ago
[Rozwój ABD] Czego oczekujecie od wsparcia w zakresie "pozycjonowania na rynku"?
Być może wiecie, że Akademia Big Data, w docelowej koncepcji, ma być miejscem, które daje bardzo szerokie wsparcie. Nie tylko technikalia, ale także takie rzeczy jak wiedzę o tym jak się uczyć, podkręcać pracę mózgu, jak organizować swój rozwój czy… jak się pozycjonować na rynku.
Chciałbym, żeby jeszcze w listopadzie platforma została…
Wojtek Zdziebkowski -
Marek posted an update in the group
Globalna Grupa ABD 5 months agoZa wielką wodą wybory prezydenckie, więc w naszej środowej serii opowiemy dzisiaj o technologii, która pochodzi… z samego wnętrza amerykańskiej biurokracji!
Myśleliście kiedyś o tym, żeby cały system ETL po prostu sobie… wyklikać?
Temu ma służyć Apache NiFi! To narzędzie, w którym dysponujemy tzw. “procesorami” – bloczkami, z których każdy…
-
Marek posted an update in the group
Globalna Grupa ABD 5 months agoPrzetwarzanie streamingowe w Sparku a koszty: na co uważać i jak można zapanować nad problemami? BARDZO PROSTA RZECZ.
W ostatnim poście jeden z punktów dot. moich wniosków z Databricks, dotyczył tego jak dużo problemów sprawiły mi joby streamingowe. Okazało się, że generują one monstrualne ilości requestów do S3, za co AWS bardzo chętnie…
-
Marek posted an update in the group
Globalna Grupa ABD 5 months agoMoje lekcje z projektu w Databricks na AWS, które oszczędzą Ci problemów.
W środę pisałem o tym co to jest DBX i dzisiaj chcę pociągnąć ten temat. Konkretnie, w punktach, chcę opowiedzieć o tym jakie są moje lekcje, które oszczędzą Ci problemów:-).
Lecimy z koksem! Prawie wszystkie wynikały z mojej głupoty lub nieszczęścia, więc bądźcie…
-
Magdalena Cebula started the discussion Spotkania/Wydarzenia/Inne okazje 🙂 in the forum Globalna Grupa ABD 5 months ago
Spotkania/Wydarzenia/Inne okazje 🙂
Tak sobie pomyślałam, że fajnie by było mieć wątek z wydarzeniami czy okazjami do spotkań. Czy to konferencje, czy meetupy, myślę że możemy się tu dzielić tym, gdzie planujemy być czy znaleźliśmy jakieś fajne wydarzenie 🙂
P.s. @mczuma mam nadzieję że mogę – sama organizuje meetupy i konferencje, więc to trochę taka prywata, ale data science,…
Wojtek Zdziebkowski and Jan Czuma -
Marek posted an update in the group
Globalna Grupa ABD 5 months ago5 months ago (edited)
Pytanie do was: Warsztaty z budowy Mapy Drogowej oraz Samoorganizacji. Ktoś chętny?
Bardzo mi zależy, żeby na Akademii pojawiły się warsztaty (darmowe), dzięki którym każdy zbuduje swój własny, prosty acz skuteczny, system rozwoju i pracy nad swoimi inżynierskimi skillami.
Wpadłem na pomysł, żeby w listopadzie (w pierwszej połowie) zrobić takie…
-
Brzmi super 😀
1 -
Bardzo ciekawy pomysł, fajnie się rozrosło roadmap.sh ale tam to już jest zrobione, a zobaczyć jak to się tworzy, to będzie ciekawe doświadczenie 🙂
1 -
Ekstra!
1 -
Bardzo dobry pomysł!
1
-
-
Mateusz Wąsalski started the discussion Grupa LLM / Agenci – czy jest ktoś chętny? in the forum Globalna Grupa ABD 5 months ago
Grupa LLM / Agenci - czy jest ktoś chętny?
Hejo,
Jesteście chętni założyć grupę odnośnie LLM/Agentów? Myślę, że skoro mamy na pokładzie Akademii nie tylko DE ale też data scientist czy python developerów, moglibyśmy coś fajnego stworzyć (na pewno szybciej i lepiej, niż klepać to samemu 😀 ) Chciałbym się też z Wami dzielić materiałami z AI_devs aktualnego jak i poprzedniego, ale z…
Wojtek Zdziebkowski, Patryk Koniarczyk and Marek - Load More