Globalna Grupa ABD
Globalna Grupa jest jak rynek, na którym możemy się wszyscy spotkać. To tutaj możemy podzielić się... View more
Organizer:
- Organized by
-
-
Group Feed
-
DQX jak standaryzować kontrolę jakości
Właśnie dodałem artykuł do bazy wiedzy w jaki sposób podejść do standaryzacji kontroli jakości przy użyciu Databricks DQX. Jeśli nie korzystałeś/łaś z DQX to warto bo niedługo będzie dostępny w Databricks i będzie można sprawdzić każdy wiersz czy spełnia twoje wymagania czy nie.
akademia-bigdata.pl
Zaloguj się ‹ Akademia Big Data Growth — WordPress
Zaloguj się ‹ Akademia Big Data Growth — WordPress
-
"Cykl śmierci" i jak nie wpaść w jego pułapkę?
AI prowadzi do ciekawego, choć nieco przerażającego zjawiska:
- Kod możemy tworzyć, nie pisząc go – bo AI zrobi to często lepiej i szybciej (a godzina programisty jest droga)
- Jednak odpowiedzialność ponosi programista. Więc on zleca jej robotę i… on decyduje, czy wynik można wypuścić na produkcję.
- Programista staje się coraz mocniej „technicznym…
-
Bardzo ładne i chwytające za serce określenie „cykl śmierci”, moje obserwacje są podobne. Coraz cześciej widzę młodych inzynierów… znam kogoś kto jest w technikum i już kod piszą za niego asystenci. Zapytałem czy sprawdza i zatwierdza decyzję, a on na to, że nie asystenci lecą na auto i zatwierdzanie jest na auto. Więc nie ma nikogo kto by…
-
Marek Czuma started the discussion Wyzwanie z prawdziwymi danymi z Akademii BD? in the forum Globalna Grupa ABD a week temu
Wyzwanie z prawdziwymi danymi z Akademii BD?
Hej, mamy dla was prawdziwą gratkę. I zwracam się z pytaniem – co z nią mamy zrobić. Najbliższy tydzień przemyślimy i zdecydujemy, a potem ruszamy – jesli będzie wola w narodzie:-)
OSTATNIE TYGODNIE
W ostatnich tygodniach mnóstwo czasu poświęcam na prace nad wydajnością Akademii. Jak się okazuje, ogromnym wyzwaniem z jakim się mierzymy…
-
Ile zarabia Data Engineer w Anthropic?
Zajrzałem dziś z ciekawości na ogłoszenia pracy w Anthropic. I chyba zrobię o tym jakiś większy materiał, ale chciałem się z wami podzielić jak wygląda praca przy żyle złota.
W skrócie:
- Zarobki są kosmiczne. 320-405 tysięcy $$$ (a nawet więcej). Oznacza to, że ugrywając „podłogę”, będziecie zarabiać tam ~100 000 zł miesięcznie. Da się…
-
A jaka miejscowość?
W bonusie nielimitowane miliardy tokenów 😉
- View 3 replies
-
Czy liczba plików ma w Sparku znaczenie?
Pierwszy materiał typu „lab” opublikowany w naszej bazie wiedzy!
Przećwiczysz dzięki niemu case, w którym porównujemy jak Spark radzi sobie z tym samym zestawem danych przy ładowaniu z 1, 10, 50, 100 i 1000 plików.
Od razu powiem: wnioski nie są oczywiste. Ale od prostych wniosków DUŻO ważniejszy jest proces. Liczymy czasy, sprawdzamy Spark…
akademia-bigdata.pl
Zaloguj się ‹ Akademia Big Data Growth — WordPress
Zaloguj się ‹ Akademia Big Data Growth — WordPress
-
Jaką akcję wybrać w Sparku, gdy chcemy testować i eksperymentować?
Jestem w trakcie pisania nowego materiału do bazy wiedzy – sprawdzam w nim czy liczba plików ma znaczenie dla Sparka. Oczywiście traktujemy to jako punkt wyjścia do pogrzebania i eksperymentowania;-). Będzie o partycjach, będzie Spark UI i pomiary czasowe.
I napotkałem ciekawy problem: wybór akcji, która rozpoczyna obliczanie…
-
Aktualizacja Akademii - okno utrzymaniowe
[EDIT] Aktualizacje zakończone – przynajmniej te główne;-).
Wiem, że są wśród nas Ci, którzy lubią pogrzebać trochę po nocy. Liczę, że dziś wyjątkowo odpoczniecie, bowiem zaczynamy aktualizację najważniejszego modułu Akademii, który jest jej „szkieletem”. Od teraz przez najbliższe kilka godzin mogą wystąpić problemy z korzystaniem z…
-
Aktualizacja Fundamentu Sparka
Zaktualizowałem „Fundament Sparka”!
Zmiana jest niewielka, ale wierzę że wielu z kursantów ułatwi życie.
Otóż: cały kurs jest w Scali – natywnym języku Sparka. Jednak wiele osób przechodzi to z pythonem. Nie jest to problemem, ponieważ składania jest bardzo podobna. Wierzę jednak, że pomoc krok po kroku w ustawieniu pierwszego działającego…
-
Maskowanie danych
Gdybyś stanął/ła przed problemem ukrawania poufnych danych w Databricks. To zebrałem kilka przemyśleń jak można podejść do tematu. Jest teraz dużo przepisów i klienci kładą szczególną uwagę na ochronę danych PII. Jeśli masz jakieś pytania czy komentarze to wal jak dym – odpowiem jak tajniak z CIA 🕵️♀️
Może się tak zdarzyć, że będziesz…
akademia-bigdata.pl
Zaloguj się ‹ Akademia Big Data Growth — WordPress
Zaloguj się ‹ Akademia Big Data Growth — WordPress
-
Moje przygody z AI
Kiedy AI zaczynało być popularne testowałem wiele modeli. Najczęściej wklejałem ten sam prompt do kilku modeli i porównywałem wyniki. I muszę przyznać że była to fajna zabawa chodź czasochłonna. Odpowiedzi były bardzo różnie, niektóre podobały mie się bardziej inne mniej. Dużo zależało o co pytam i jakie zadania daje, wydaje mi się, że jakość…
- Load More
