Akademia Big Data Growth | Mateusz Wąsalski | Activity https://akademia-bigdata.pl/members/mwasalski/activity/ Activity feed for Mateusz Wąsalski. Thu, 23 Apr 2026 08:26:50 +0200 https://buddypress.org/?v=2.20.0 pl-PL 30 hourly 2 dc8d2a845fc640800ce4fdb95c7c6d22 Mateusz Wąsalski started the discussion Umiejętności w CV a rozmowa kwalifikacyjna in the forum Globalna Grupa ABD https://akademia-bigdata.pl/groups/globalna-grupa-abd/forum/discussions/umiejetnosci-w-cv-a-rozmowa-kwalifikacyjna/ Sun, 19 Apr 2026 18:31:04 +0200 Umiejętności w CV a rozmowa kwalifikacyjna

Hejo,

18 rozmów na stanowisko Azure Data Engineer za mną, więc pozwolę sobie na małe podsumowanie/obserwacje, które są tylko po to, żeby Wam (mam nadzieję) pomóc:

– jeśli ktoś ma doświadczenie w DE, to od razu wyłapie słowa wypełniacze w doświadczeniu, piszcie zwięźle i tylko konkrety, nawet jak was ATS Was puści to człowiek już nie, więc…

Czytaj więcej

]]> 02222242cc6bc38b80b69974237104f1 Mateusz Wąsalski opublikował nowy komentarz https://akademia-bigdata.pl/news-feed/p/1204/#acomment-1216 Thu, 02 Apr 2026 12:16:14 +0200

@mczuma pewnie 🙂

In reply to - Mateusz Wąsalski opublikował posta w grupie Daj się zobaczyć na rynku!

Hejo,

Potrzebujemy dobrych data engineerów (więcej niż jeden wakat, Mid level też jest opcja), ogłoszenie […]

]]> 977ff61f884d46ed7e8422986d245a27 Mateusz Wąsalski opublikował nowy komentarz https://akademia-bigdata.pl/news-feed/p/1204/#acomment-1208 Thu, 26 Mar 2026 14:19:12 +0100

@mczuma a głupoty piszę, późno było 😀 chodziło mi o to, że musze poinformować górę, że coś takiego się pojawi, żeby nie byli zdziwieni

In reply to - Mateusz Wąsalski opublikował posta w grupie Daj się zobaczyć na rynku!

Hejo,

Potrzebujemy dobrych data engineerów (więcej niż jeden wakat, Mid level też jest opcja), ogłoszenie […]

]]> e26d612c0afab0c81283cbb5e18f6afb Mateusz Wąsalski opublikował nowy komentarz https://akademia-bigdata.pl/news-feed/p/1204/#acomment-1206 Wed, 25 Mar 2026 20:52:36 +0100

@mczuma No pewnie! Muszę dostać oczywiście accept z góry, a tutaj akurat trzyma ręką na pulsie general manager, ale myślę, że do ogarnięcia 😉

In reply to - Mateusz Wąsalski opublikował posta w grupie Daj się zobaczyć na rynku!

Hejo,

Potrzebujemy dobrych data engineerów (więcej niż jeden wakat, Mid level też jest opcja), ogłoszenie […]

]]> c41aba4034d629eb048ef47b15536d82 Mateusz Wąsalski opublikował posta w grupie Daj się zobaczyć na rynku!: Hejo,Potrzebujemy dobrych data engineerów (więcej niż […] https://akademia-bigdata.pl/news-feed/p/1204/ Wed, 25 Mar 2026 19:15:25 +0100

Hejo,

Potrzebujemy dobrych data engineerów (więcej niż jeden wakat, Mid level też jest opcja), ogłoszenie poniżej:
https://careers.softwaremind.com/jobs/azure-senior-data-engineer/

Jeśli Was to interesuje albo macie kogoś, to dawajcie znać, puszczę zgłoszenie jako referral, więc będize szybciej.

Jedna uwaga: nie ma opcji, że „jakoś to będzie”,…

Czytaj więcej

careers.softwaremind.com

Azure Senior Data Engineer job in Kraków / remotely

Looking for Azure Senior Data Engineer position in Kraków / remotely? Apply here and join Software Mind team. Check our benefits and Work 'n Enjoy program for those who like to work & travel.

]]> 6 08594134d3f3ce08c3f3e9539d1c730e Mateusz Wąsalski opublikował posta w grupie Globalna Grupa ABD: AirbyteW środę wpada Airbyte, czyli open-source’owe […] https://akademia-bigdata.pl/news-feed/p/749/ Wed, 19 Mar 2025 16:53:31 +0100

Airbyte

W środę wpada Airbyte, czyli open-source’owe narzędzie ETL, które umożliwia łatwe przenoszenie danych między systemami i pozwala uniknąć pisania niestandardowych skryptów do łączenia się np. z API.

Connectorów jest ok. 500, więc jest duża szansa, że do waszej platformy gotowe rozwiązanie już tam czeka. Podajemy tylko dane…

Czytaj więcej

]]> 1 16122603d94c56b64edcef8456f4b9ba Mateusz Wąsalski opublikował nowy komentarz https://akademia-bigdata.pl/news-feed/p/727/#acomment-733 Wed, 12 Mar 2025 17:03:20 +0100

Bardziej w stronę databricksow 😉 storage musisz mieć zewnętrzny, chociaż może to też działać tak, jakby Snowflake miał “swój”, ale pod kołdrą to i tak będzie postawione np. na Azure.

In reply to - Mateusz Wąsalski opublikował posta w grupie Globalna Grupa ABD

Środowo: Snowflake

Co to właściwie jest?

Chmurowa platforma do szeroko pojętego ETL. Prosta, głównie oparta na SQLowych querkach, więc niski próg […]

]]> f355d1e9f370e036d790b13664a307e4 Mateusz Wąsalski opublikował posta w grupie Globalna Grupa ABD: Środowo: SnowflakeCo to właściwie jest? Chmurowa […] https://akademia-bigdata.pl/news-feed/p/727/ Wed, 12 Mar 2025 13:11:09 +0100

Środowo: Snowflake

Co to właściwie jest?

Chmurowa platforma do szeroko pojętego ETL. Prosta, głównie oparta na SQLowych querkach, więc niski próg wejścia i skalowalna. Jako storage można użyć AWS, Azure czy GCP i bardzo ładnie ze sobą to współgra.

Dlaczego?

  • Chmura w pełni zarządzana – nie musicie ani konfigurować serwerów ani martwić się o…

Czytaj więcej

]]> 4 28c227edecb59d1f55bcd5e6283ace37 Mateusz Wąsalski started the discussion Kilka obserwacji z poszukiwań pracy in the forum Globalna Grupa ABD https://akademia-bigdata.pl/groups/globalna-grupa-abd/forum/discussions/kilka-obserwacji-z-poszukiwan-pracy/ Mon, 10 Mar 2025 16:56:08 +0100 Kilka obserwacji z poszukiwań pracy

Success story

Hej wszystkim

Za namową Marka pozwolę sobie na przytoczenie swojego success story(?).

Dużo ostatnio się u mnie działo (co zakończyło się na szczęście podpisaniem nowego kontraktu) i doszliśmy z Markiem do wniosku, że dobrze by było opowiedzieć trochę o szczegółach, o których na YouTube bądź na LinkedIn mało kto mówi, bo nie są za…

Czytaj więcej

]]> 2836662017e88733b0b67d996b49e991 Mateusz Wąsalski opublikował posta w grupie Globalna Grupa ABD: W środowej sesji wiedzowej, na tapet bierzemy Azure […] https://akademia-bigdata.pl/news-feed/p/676/ Wed, 26 Feb 2025 08:05:23 +0100

W środowej sesji wiedzowej, na tapet bierzemy Azure Synapse Analytics.

Synapse to kombajn. Co zrobić, żeby nie utonąć w tutorialach z Youtube i Udemy? Poniżej szybka lista jak podejść do Synapse i nie zwariować.

Co to właściwie jest?

Synapse to platforma do przetwarzania i analizy danych na dużą skalę. Łączy w sobie hurtownię danych, przetwarzanie…

Czytaj więcej

portal.azure.com

Microsoft Azure

Microsoft Azure

]]> 1 a42c42a6238d205b0596ed7bf4f71ef5 Mateusz Wąsalski started the discussion Tworzenie aplikacji z Cursor AI in the forum AI, Machine Learning i Data Science https://akademia-bigdata.pl/groups/ai-machine-learning-i-data-science/forum/discussions/tworzenie-aplikacji-z-cursor-ai/ Tue, 25 Feb 2025 10:05:47 +0100 Tworzenie aplikacji z Cursor AI

Hejo,

Stworzyłem appke całkowicie z wykorzystaniem AI, zero kodzenia. Przedpremierowy draft artykułu (artykuł trafi oczywiście tutaj i najprawdopodobniej trafi na blog firmy Recbold), ale Akademia ma prawo “pierwoczytu” 😆 na razie w Notion, bo siedzę na telefonie a chciałem znać Waszą opinię ASAP 😉

Czytaj więcej

abiding-monday-ae9.notion.site

Notion – The all-in-one workspace for your notes, tasks, wikis, and databases.

A new tool that blends your everyday work apps into one. It's the all-in-one workspace for you and your team

]]> efabb0a7b4170b2236726c6966922b57 Mateusz Wąsalski started the discussion [Dyskusja] - kształt CV in the forum Daj się zobaczyć na rynku! https://akademia-bigdata.pl/groups/daj-sie-zobaczyc-na-rynku/forum/discussions/dyskusja-ksztalt-cv/ Mon, 20 Jan 2025 12:11:30 +0100 [Dyskusja] - kształt CV

Dzień dobry w Blue Monday!

Przychodzę z inspiracją (mam nadzieję) i zapraszam do dyskusji!

Dla mnie metodą na rozwiązywanie problemów to poranny spacer z psem (odnosząc się do najnowszego wpisu Marka), a że mam trzy duże pola zaraz, jak tylko wyjdę z domu, to mogę stanąć na środku i kontemplować 😅 dodaję niestety do tego telefon i appkę ChatGPT,…

Czytaj więcej

]]> e96d3715b8f7f0859847a4bc65cd8d38 Mateusz Wąsalski started the discussion LinkedIn - clickbaitowy nagłówek in the forum Daj się zobaczyć na rynku! https://akademia-bigdata.pl/groups/daj-sie-zobaczyc-na-rynku/forum/discussions/linkedin-clickbaitowy-naglowek/ Fri, 17 Jan 2025 10:50:24 +0100 LinkedIn - clickbaitowy nagłówek

@asmyk @mczuma co myślicie o takim trochę clickbaitowym nagłówku ? 😀

]]> ef36dbe54ed1c1473c706de3e4ed8725 Mateusz Wąsalski opublikował nowy komentarz https://akademia-bigdata.pl/news-feed/p/550/#acomment-554 Thu, 16 Jan 2025 20:57:11 +0100

@mczuma bardzo fajna platforma, możnaby kiedyś się po prostu spotkać i przeklikać różne opcje np. shareowami ekranu itp. bo wygląda naprawdę zacnie, jesli chodzi o webinary/live’y

In reply to - Marek Czuma opublikował posta w grupie Globalna Grupa ABD

Zapraszam o 20:30 na live z Anią! Porozmawiamy o tym jak w solidny, profesjonalny sposób zaatakować rynek.

Tym razem przetestujemy bardziej […]

]]> 86b13b6738df093cc060474d5ba894cd Mateusz Wąsalski opublikował nowy komentarz https://akademia-bigdata.pl/news-feed/p/550/#acomment-552 Thu, 16 Jan 2025 20:51:06 +0100

Wyszło elegancko 👍

In reply to - Marek Czuma opublikował posta w grupie Globalna Grupa ABD

Zapraszam o 20:30 na live z Anią! Porozmawiamy o tym jak w solidny, profesjonalny sposób zaatakować rynek.

Tym razem przetestujemy bardziej […]

]]> dc92d34420e6d743be866d6489d96ff2 Mateusz Wąsalski opublikował nowy komentarz https://akademia-bigdata.pl/news-feed/p/529/#acomment-542 Wed, 15 Jan 2025 09:31:26 +0100

@asmyk @mczuma no to lecimy z tematem 😅

In reply to - Ania Smyk-Gałkowska opublikował posta w grupie Globalna Grupa ABD

Cześć Wszystkim!

Miło mi ogłosić, że jako Reruterka IT będę wspierać was na platformie z zakresu wiedzy o IT, rekrutacji, czy też jak tworzyć […]

]]> 3ef06ebfb336db2cc0a2f3edb5fb1b11 Mateusz Wąsalski opublikował nowy komentarz https://akademia-bigdata.pl/news-feed/p/529/#acomment-535 Tue, 14 Jan 2025 11:10:07 +0100

@asmyk może stworzylibyśmy razem szablon CV, który by był czymś w rodzaju znaku rozpoznawczego Akademii @mczuma ? dodać członkostwo w Akademii i Akademia rozreklamuje się sama 😎

In reply to - Ania Smyk-Gałkowska opublikował posta w grupie Globalna Grupa ABD

Cześć Wszystkim!

Miło mi ogłosić, że jako Reruterka IT będę wspierać was na platformie z zakresu wiedzy o IT, rekrutacji, czy też jak tworzyć […]

]]> 8f741f63df20a9fc8d6c0e23c5400639 Mateusz Wąsalski opublikował nowy komentarz https://akademia-bigdata.pl/news-feed/p/529/#acomment-533 Tue, 14 Jan 2025 10:41:46 +0100

Live będzie 'zapoznawczy’ czy możemy np, przejść kilka naszych CV i posłuchać konsktruktywnej krytyki ? 😁

In reply to - Ania Smyk-Gałkowska opublikował posta w grupie Globalna Grupa ABD

Cześć Wszystkim!

Miło mi ogłosić, że jako Reruterka IT będę wspierać was na platformie z zakresu wiedzy o IT, rekrutacji, czy też jak tworzyć […]

]]> caded6c6922821b272a3393415191445 Mateusz Wąsalski opublikował nowy komentarz https://akademia-bigdata.pl/news-feed/p/524/#acomment-525 Mon, 13 Jan 2025 09:04:17 +0100

Witamy na pokładzie 🤩

In reply to - Ania Smyk-Gałkowska opublikował posta w grupie Daj się zobaczyć na rynku!

Na jedną stronę, a może dwie? Ze zdjęciem czy bez? O to jest pytanie, jak powinno wyglądać dobre CV.


Ciekawią Cię tematy związane […]

]]> ce9e5c7c04949927cfafd80fb61f6d69 Mateusz Wąsalski opublikował nowy komentarz https://akademia-bigdata.pl/news-feed/p/516/#acomment-518 Fri, 10 Jan 2025 12:24:56 +0100

łooo, mega!

In reply to - Marek Czuma opublikował posta w grupie Globalna Grupa ABD

Ważna informacja organizacyjna: gorąco zachęcam, żeby wpisać swój adres oraz NIP (jeśli ktoś potrzebuje fakturę na firmę) do prywatnych ustawień […]

]]> adf263451353c1e5380dcb59f38c0e74 Mateusz Wąsalski started the discussion [Dyskusja] - cała appka + docker w 20-30 minut in the forum AI, Machine Learning i Data Science https://akademia-bigdata.pl/groups/ai-machine-learning-i-data-science/forum/discussions/dyskusja-cala-appka-docker-w-20-30-minut/ Wed, 08 Jan 2025 12:05:47 +0100 [Dyskusja] - cała appka + docker w 20-30 minut

Hejo,

na yt jest wyzwanie „Hard 75” – przez 75 dni robicie dwa treningi (jeden na zewnątrz) x 45 minut, trzymacie dobrą michę, 10 minut czytania non-fiction, galon wody (tu bym jednak zszedł trochę z ilości 😆) i każdego dnia zdjęcie z progressem.

Zainstalowałem Cursora (cursor.com) i powiedziałem mu, że chcę appke do odfajkowywania…

Czytaj więcej

github.com

GitHub - mwasalski/Hard_75

Contribute to mwasalski/Hard_75 development by creating an account on GitHub.

]]> 1d8eccd107e5a43d48519a748bc3746f Mateusz Wąsalski started the discussion [Pro Tip] Customowe klasy w pythonie pod Azure'a in the forum Microsoft Azure https://akademia-bigdata.pl/groups/microsoft-azure/forum/discussions/pro-tip-customowe-klasy-w-pythonie-pod-azurea/ Sun, 05 Jan 2025 22:29:06 +0100 [Pro Tip] Customowe klasy w pythonie pod Azure'a

Hejo,

Parę razy musiałem podłączyć się Pythonem do bloba na Azure Storage, bo wygodnie mi tak było niż klikać ręcznie i tak mnie naszło, żeby stworzyć coś replikowalnego, żebym mógł tylko zmieniać connection_string i nazwę kontenera i dostać output, który jest mi potrzebny.

Tak o to powstało to repo 😃

https://github.com/mwasalski/Azure

Na razie nic…

Czytaj więcej

github.com

GitHub - mwasalski/Azure

Contribute to mwasalski/Azure development by creating an account on GitHub.

]]> e877c92f140cc88c4ab0309ea40a624e Mateusz Wąsalski started the discussion NAS - czy ktoś używa ? in the forum Globalna Grupa ABD https://akademia-bigdata.pl/groups/globalna-grupa-abd/forum/discussions/nas-czy-ktos-uzywa/ Fri, 03 Jan 2025 13:21:19 +0100 NAS - czy ktoś używa ?

Hejo,

używa ktoś NASa? dobre NASy + dyski wychodzą ok. 2300 zł i teraz się zastanawiam, czy się czymś takim nie pobawić ? Poza trzymaniem tam plików (mam za dużo zachodu z przerzucaniem plików między Windowsem a Macbookiem + pogubiłem parę ważnych dla mnie plików przez takie przenoszenie) chciałbym coś jeszcze z tego zrobić np. postawić swoją…

Czytaj więcej

]]> 92c1fa9aae74edfbba7f5cffcbf6e6f5 Mateusz Wąsalski started the discussion [POMOC] - monitoring Azure Synapse Analytics in the forum Microsoft Azure https://akademia-bigdata.pl/groups/microsoft-azure/forum/discussions/pomoc-monitoring-azure-synapse-analytics/ Fri, 03 Jan 2025 11:02:16 +0100 [POMOC] - monitoring Azure Synapse Analytics

Hejo,

nie potrafię przejść tego tematu. Chciałbym po prostu monitorować w tabelcę historie uruchomień pipeline’ów. Ile szło, czy się wysypało, co się wysypało, jeśli już itp. Nic wielkiego, aczkolwiek nie potrafię tego przejść … Miał ktoś z tym styczność? Nie bardzo nawet wiem, od czego zacząć a w internecie to nie bardzo jest to, o co mi…

Czytaj więcej

]]> e6ec2cfc540a729411b914d26b6eaa39 Mateusz Wąsalski opublikował nowy komentarz https://akademia-bigdata.pl/news-feed/p/462/#acomment-468 Tue, 24 Dec 2024 12:47:49 +0100

@mczuma z początkiem stycznia będzie jeszcze otwarta ? 🙂

In reply to - Marek Czuma opublikował posta w grupie Globalna Grupa ABD

[prośba o ankietę] Za nami niedługo 2 miesiące działalności Akademii Big Data. Sporo się przez ten czas wydarzyło, ale… to tak naprawdę dopiero wstępna […]

]]> 2572faa5946c8131f6b8fef04d7cf1f9 Mateusz Wąsalski opublikował nowy komentarz https://akademia-bigdata.pl/news-feed/p/444/#acomment-445 Mon, 16 Dec 2024 14:41:16 +0100

Zdrowia dla Maluszka!

In reply to - Marek Czuma opublikował posta w grupie Organizacja pracy & boost intelektualny

Dzisiaj będzie o… trudnych dniach i okresach. I o tym jak pchać sprawy, gdy wszystko wokół płonie. Nie będąc przy tym super-hero. […]

]]> 9e57d3b82580b50dbb45830399fdeb39 Mateusz Wąsalski opublikował nowy komentarz https://akademia-bigdata.pl/news-feed/p/406/#acomment-407 Mon, 09 Dec 2024 11:08:21 +0100

Z czystej ciekawości: czy wymagania, jakie są wpisywane w ogłoszeniach są konsultowane z developerami/tech leadami, czy HR to sam robi? Jeszcze nigdy nie zeszły mi się wymagania z ogłoszenia a faktyczne umiejętności, które były potrzebne w pracy 😃

In reply to - Marek Czuma opublikował posta w grupie Globalna Grupa ABD

Mam dla was wspaniałą wiadomość! A właściwie dla wszystkich, którzy… chcą dostać posadę inżyniera danych. Lub zmienić pracę na ciekawszą i lepiej […]

]]> 75574c4a8a615e765828af8db68cfa63 Mateusz Wąsalski opublikował nowy komentarz https://akademia-bigdata.pl/news-feed/p/399/#acomment-405 Sat, 07 Dec 2024 22:58:08 +0100

@mczuma a i owszem 😄 na repo wrzuciłem plik api-pogodowe.py – na razie ten challange parkuje, ale dodam jeszcze komentarze 👍
– jest input miasta i kraju
– mapuje kraj z countrycode – powinno to być w innym pliku, ale to później
– wyciąga z innego api koordynaty dla wskazanej lokalizacji
– używa tych koordynatów do API, które dałeś
– zapisuje mi na…Czytaj więcej

In reply to - Marek Czuma opublikował posta w grupie Wyzwania!

Czas na zadanie nr 1! Zaczynamy od samego początku czyli… pozyskania surowych danych pogodowych!

Podstawowe polecenie: Napisz aplikację, która pobiera dane z API […]

]]> df528e41dd31fc3d126485a47c82e219 Mateusz Wąsalski opublikował nowy komentarz https://akademia-bigdata.pl/news-feed/p/399/#acomment-403 Fri, 06 Dec 2024 23:00:11 +0100

wersja Alpha ode mnie 🙂

https://github.com/mwasalski/data-engineering/tree/main/Akademia%20Big%20Data%20December%20Challange

In reply to - Marek Czuma opublikował posta w grupie Wyzwania!

Czas na zadanie nr 1! Zaczynamy od samego początku czyli… pozyskania surowych danych pogodowych!

Podstawowe polecenie: Napisz aplikację, która pobiera dane z API […]

]]> 037ff307dc92bdfce73b347bd4433f80 Mateusz Wąsalski opublikował nowy komentarz https://akademia-bigdata.pl/news-feed/p/399/#acomment-401 Fri, 06 Dec 2024 11:06:40 +0100

O, eleganckie! jak się dzielimy rozwiązaniem ? Gtihub repo ? 🙂

In reply to - Marek Czuma opublikował posta w grupie Wyzwania!

Czas na zadanie nr 1! Zaczynamy od samego początku czyli… pozyskania surowych danych pogodowych!

Podstawowe polecenie: Napisz aplikację, która pobiera dane z API […]

]]> 0dc9c4b7ec7d29c82b13e3b2cd02a582 Mateusz Wąsalski opublikował nowy komentarz https://akademia-bigdata.pl/news-feed/p/346/#acomment-349 Wed, 27 Nov 2024 08:36:58 +0100

Leonardo.ai za to nie lubi Niemiec xD

In reply to - Marek Czuma opublikował posta w grupie AI, Machine Learning i Data Science

Potrzebuję na jutrzejsze szkolenie z Apache Hive, Polski z podziałem na województwa, z liczbą ludności. Po usilnych próbach […]

]]> ab25ad46c64a65767886700ade2b98fa Mateusz Wąsalski opublikował nowy komentarz https://akademia-bigdata.pl/news-feed/p/314/#acomment-325 Mon, 25 Nov 2024 10:36:36 +0100

@mczuma A nawet bardzo, mam gamingowe lapka, który już do gamingu nie służy i chętnie bym go wykorzystał do czegoś pożytecznego 😀 Stawiałem na nim Ollame ale modele bodajże 13b już chodziły wolno, może to kwestia Windowsa ?

In reply to - Marek Czuma opublikował posta w grupie Globalna Grupa ABD

Piątkowo przedstawiam wam mój klasterek rozwojowy/eksperymentalny 😀

Ustawiłem go już parę lat temu. Składa się z dwóch PCtów które kupiłem na rynku […]

]]> ad84c9371be5fc1f66fadb85f9a6d39d Mateusz Wąsalski started the discussion [Dyskusja] [Pro Tip] Prompt engineering in the forum AI, Machine Learning i Data Science https://akademia-bigdata.pl/groups/ai-machine-learning-i-data-science/forum/discussions/dyskusja-pro-tip-prompt-engineering/ Fri, 15 Nov 2024 11:20:44 +0100 [Dyskusja] [Pro Tip] Prompt engineering

Hejo,

Tytuł nieco ogólny, bo myślę, że fajnie by było zrobić z tego dłuższą dyskusję i zobaczyć, co Wy robicie 🙂

Zastanawiałem się ostatnio nad ulepszeniem mojej interakcji z modelami, żeby mi dawały to, co faktycznie potrzebuję i wymyśliłem (aktualnie do nauki pythona) coś takiego. Ogólnie koncepcję nazwałem, na swoje potrzeby, Core4+1,…

Czytaj więcej

]]> 32ad1bcab50952a7f7e97512f5c1cf9e Mateusz Wąsalski started the discussion [POMOC] [Synapse Analytics] jak uruchomić skrypty SQLowe? in the forum Microsoft Azure https://akademia-bigdata.pl/groups/microsoft-azure/forum/discussions/pomoc-synapse-analytics-jak-uruchomic-skrypty-sqlowe/ Wed, 13 Nov 2024 13:01:19 +0100 [POMOC] [Synapse Analytics] jak uruchomić skrypty SQLowe?

Dobry dzień,

Mam skrypty SQL, które między innymi tworzą Stored Procedure.

Do tego Stored Procedure mogę się elegancko w Pipeline odnieść, ale dopiero wtedy, kiedy ręcznie dam Run w skrypcie xD

Jest jakiś sposób, żeby odpalić te skryptowe pliki? mam tego tyle, że wolę jeden dzień poświecić na research niż to przepisywać jako Script, bo jakbym…

Czytaj więcej

]]> f1eeb0a9c94f85489b941f514cc8150f Mateusz Wąsalski opublikował nowy komentarz https://akademia-bigdata.pl/news-feed/p/235/#acomment-237 Wed, 13 Nov 2024 07:55:04 +0100

Do zobaczenia 🙂

In reply to - Marek Czuma opublikował posta w grupie Globalna Grupa ABD

Czas na pierwszy, warsztatowy live! Już JUTRO, o godz. 20:00 spotykamy się online. Przekażę wam swoje obserwacje dot. budowy własnej mapy drogowej i […]

]]> 04ec11303aab80194e69ff10029392b4 Mateusz Wąsalski started the discussion [Dyskusja] Agenty AI - czy ktoś widzi potrzebę ? in the forum AI, Machine Learning i Data Science https://akademia-bigdata.pl/groups/ai-machine-learning-i-data-science/forum/discussions/dyskusja-agenty-ai-czy-ktos-widzi-potrzebe/ Sat, 09 Nov 2024 10:41:10 +0100 [Dyskusja] Agenty AI - czy ktoś widzi potrzebę ?

Hejo,

Z uwagi na małe możliwości czasowe (dziękuję córko 😀 ) mój własny agent szedł mi dosyć słabo, ale odblokowałem trochę czasu i siadam do tego już konkretniej. U mnie plan działania byłby taki (a Agent jest mi potrzebny do ogarnięcia notatek głosowych, nieustrkturyzowanych i tabelarycznych):

– Zbieranie notatek głosowych w środowisku Apple…

Czytaj więcej

]]> 4d6a06d39af343c16371de03f20dbc04 Mateusz Wąsalski started the discussion [Pro Tip] [Dyskusja] 'Szybkie' skrypty w Pythonie in the forum AI, Machine Learning i Data Science https://akademia-bigdata.pl/groups/ai-machine-learning-i-data-science/forum/discussions/pro-tip-dyskusja-szybkie-skrypty-w-pythonie/ Fri, 08 Nov 2024 14:32:14 +0100 [Pro Tip] [Dyskusja] 'Szybkie' skrypty w Pythonie

Hejo,

Ostatnio musiałem kilka plików/folderów utworzyć na szybko i zamiast klikać, to wolałem oddać stworzenie tych plików w ręce Pythonia i Copilota (polecam +/- 40 zł, mnie się to 40 zł zwróciło praktycznie natychmiastowo).

Proponuje jedno rozwiązanie – jedna odpowiedź w dyskusji, a jeśli macie jakieś uwagi, to oddpowiedzcie na dany komentarz,…

Czytaj więcej

]]> 7b35ca0e453d859547cd6344d78979c0 Mateusz Wąsalski started the discussion [Dyskusja] [Baza wiedzy] Parquet vs Delta - co i kiedy wybierać ? in the forum Microsoft Azure https://akademia-bigdata.pl/groups/microsoft-azure/forum/discussions/dyskusja-baza-wiedzy-parquet-vs-delta-co-i-kiedy-wybierac/ Sun, 03 Nov 2024 12:31:22 +0100 [Dyskusja] [Baza wiedzy] Parquet vs Delta - co i kiedy wybierać ?

Hello.

jakie macie doświadczenia ?

Pracuję na razie z danymi, które na pewno nie są BIG i używam Parqueta.

Co stoim za moim wyborem (korzystam Azure Synapse Analytics i Pythona do walidowania danych):

– na początku używałem Delty jako sinka w data flow, ale raz, że nie mogłem nadać temu nazwy takiej, jakiej chciałem, dwa: rozbijało mi to output na…

Czytaj więcej

]]> 52ca4921f5f6bf8a75c029c37e00d217 Mateusz Wąsalski opublikował nowy komentarz https://akademia-bigdata.pl/news-feed/p/113/#acomment-185 Thu, 31 Oct 2024 20:35:35 +0100

@mczuma działa, także rowNumber() i następnie dedup_column == 1 można uznać za dobre rozwiązanie 🙂

In reply to - Mateusz Wąsalski opublikował posta w grupie Microsoft Azure

No to lecimy z pierwszym postem 😀

Jak sobie radzicie z deduplikacją?

Wg Microsoftu robi się to […]

]]> 59a19a6c89a83e5099d87723c1e28fdf Mateusz Wąsalski opublikował nowy komentarz https://akademia-bigdata.pl/news-feed/p/178/#acomment-181 Thu, 31 Oct 2024 17:18:13 +0100

Bardzo ciekawy pomysł, fajnie się rozrosło roadmap.sh ale tam to już jest zrobione, a zobaczyć jak to się tworzy, to będzie ciekawe doświadczenie 🙂

In reply to - Marek Czuma opublikował posta w grupie Globalna Grupa ABD

Pytanie do was: Warsztaty z budowy Mapy Drogowej oraz Samoorganizacji. Ktoś chętny?

Bardzo mi zależy, żeby na Akademii pojawiły się warsztaty […]

]]> 11c72bdcd533736fb7ffb0e96fe92f9f Mateusz Wąsalski started the discussion Grupa LLM / Agenci - czy jest ktoś chętny? in the forum Globalna Grupa ABD https://akademia-bigdata.pl/groups/globalna-grupa-abd/forum/discussions/grupa-llm-agenci-czy-jest-ktos-chetny/ Thu, 31 Oct 2024 08:45:49 +0100 Grupa LLM / Agenci - czy jest ktoś chętny?

Hejo,

Jesteście chętni założyć grupę odnośnie LLM/Agentów? Myślę, że skoro mamy na pokładzie Akademii nie tylko DE ale też data scientist czy python developerów, moglibyśmy coś fajnego stworzyć (na pewno szybciej i lepiej, niż klepać to samemu 😀 ) Chciałbym się też z Wami dzielić materiałami z AI_devs aktualnego jak i poprzedniego, ale z…

Czytaj więcej

]]> ae461da6abb23609851b1ce2894a70c3 Mateusz Wąsalski opublikował nowy komentarz https://akademia-bigdata.pl/news-feed/p/155/#acomment-160 Wed, 30 Oct 2024 12:05:45 +0100

Chwilę pracowałem, ale miałem dostęp tylko / aż do notebooków, reszta była już po stronie devopsów. Mnie się szybkość działania rzuciła w oczy i łatwe podłącznia do plików, ale byłem wtedy jeszcze strasznie nieopierzony w tematach inżynierki danych, więc pewnie mogłem coś wtedy więcej robić z tym 😅

In reply to - Marek Czuma opublikował posta w grupie Globalna Grupa ABD

Databricks nowym Hadoopem?

Otwieram nową serię na Globalnej: co środę będę tu opisywał jedną technologię. Tak ogólnie, głównie z myślą o tym, żebyśmy […]

]]> ca9d92068cd8fe3c6172361ffc08eda1 Mateusz Wąsalski opublikował nowy komentarz https://akademia-bigdata.pl/news-feed/p/144/#acomment-147 Tue, 29 Oct 2024 11:25:51 +0100

Podziękował! 🤩

In reply to - Marek Czuma opublikował posta w grupie Globalna Grupa ABD

Darmowe kursy dla każdego!

Zgodnie z zapowiedzią, zarówno „Scala dla inżynierów big data” jak i „Fundament Sparka” zostały odblokowane i można je […]

]]> a1f744d5e369c992b1889cc21d6082a0 Mateusz Wąsalski started the discussion Savoir-vivre grupy in the forum Microsoft Azure https://akademia-bigdata.pl/groups/microsoft-azure/forum/discussions/savoir-vivre-grupy/ Mon, 28 Oct 2024 14:55:49 +0100 Savoir-vivre grupy

Grupa jak i cała Akademia jest świeża, to może spróbujmy ustalić jakieś podstawy wspólnego życia/pisania postów?

Myślę, że takich rzeczy jak szacunek do innych i kultura wypowiedzi nie muszą być spisywane, bo każdy dorosłī człowiek takie rzeczy ogarnia 😅

Co powiecie na templatkę do dyskusji? (sam źle wrzuciłem swoje dwa pytania, sorasy..)…

Czytaj więcej

]]> 06acdc019d599d89853623bc0bf0b99c Mateusz Wąsalski opublikował posta w grupie Microsoft Azure: Temat: wiele dataflow i tyle samo pipeline'ów […] https://akademia-bigdata.pl/news-feed/p/120/ Mon, 28 Oct 2024 13:36:45 +0100

Temat: wiele dataflow i tyle samo pipeline’ów vs pogrupowanie dataflow i paczkami je uruchamiać w pipeline’ach.

Jakie znacie dobre praktyki?

Ja mam wiedzę taką, że jeśli mam dużo dataflow (obecnie mam ok. 40 różnych dataflow) to najlepiej je pogrupować i w jeden pipeline wrzucać ile się da, bo każdy pipeline to odpalenie i zamknięcie klastra, co…

Czytaj więcej

]]> 0 5dcf69c196893d3dbe7ab2d5f6d65ef9 Mateusz Wąsalski opublikował nowy komentarz https://akademia-bigdata.pl/news-feed/p/113/#acomment-118 Mon, 28 Oct 2024 11:36:23 +0100

dam znać jutro, na razie sprzątam po sobie, bo się już sam w tych pipeline’ach pogubiłem

In reply to - Mateusz Wąsalski opublikował posta w grupie Microsoft Azure

No to lecimy z pierwszym postem 😀

Jak sobie radzicie z deduplikacją?

Wg Microsoftu robi się to […]

]]> d74ad6f599a01a61e85d01b2c2c6751a Mateusz Wąsalski opublikował posta w grupie Microsoft Azure: No to lecimy z pierwszym postem :D Jak sobie radzicie […] https://akademia-bigdata.pl/news-feed/p/113/ Mon, 28 Oct 2024 11:15:36 +0100

No to lecimy z pierwszym postem 😀

Jak sobie radzicie z deduplikacją?

Wg Microsoftu robi się to tak:
https://learn.microsoft.com/en-us/azure/data-factory/data-flow-aggregate

U mnie akurat problem jest taki, że mam 33 kolumny i mam wrażenie, że żeby to dobrze działało, to musiałbym wszystko 33 wrzucić do group by a w aggregate wziąć tylko te,…

Czytaj więcej

learn.microsoft.com

Aggregate transformation in mapping data flow - Azure Data Factory & Azure Synapse

Learn how to aggregate data at scale in Azure Data Factory and Synapse Analyatics with the mapping data flow Aggregate transformation.

]]> 5