Akademia Big Data Growth | Microsoft Azure | Activity https://akademia-bigdata.pl/groups/microsoft-azure/ Activity feed for the group, Microsoft Azure. Thu, 30 Apr 2026 04:33:17 +0200 https://buddypress.org/?v=2.20.0 pl-PL 30 hourly 2 1d8eccd107e5a43d48519a748bc3746f Mateusz Wąsalski started the discussion [Pro Tip] Customowe klasy w pythonie pod Azure'a in the forum Microsoft Azure https://akademia-bigdata.pl/groups/microsoft-azure/forum/discussions/pro-tip-customowe-klasy-w-pythonie-pod-azurea/ Sun, 05 Jan 2025 22:29:06 +0100 [Pro Tip] Customowe klasy w pythonie pod Azure'a

Hejo,

Parę razy musiałem podłączyć się Pythonem do bloba na Azure Storage, bo wygodnie mi tak było niż klikać ręcznie i tak mnie naszło, żeby stworzyć coś replikowalnego, żebym mógł tylko zmieniać connection_string i nazwę kontenera i dostać output, który jest mi potrzebny.

Tak o to powstało to repo 😃

https://github.com/mwasalski/Azure

Na razie nic…

Czytaj więcej

github.com

GitHub - mwasalski/Azure

Contribute to mwasalski/Azure development by creating an account on GitHub.

]]> 92c1fa9aae74edfbba7f5cffcbf6e6f5 Mateusz Wąsalski started the discussion [POMOC] - monitoring Azure Synapse Analytics in the forum Microsoft Azure https://akademia-bigdata.pl/groups/microsoft-azure/forum/discussions/pomoc-monitoring-azure-synapse-analytics/ Fri, 03 Jan 2025 11:02:16 +0100 [POMOC] - monitoring Azure Synapse Analytics

Hejo,

nie potrafię przejść tego tematu. Chciałbym po prostu monitorować w tabelcę historie uruchomień pipeline’ów. Ile szło, czy się wysypało, co się wysypało, jeśli już itp. Nic wielkiego, aczkolwiek nie potrafię tego przejść … Miał ktoś z tym styczność? Nie bardzo nawet wiem, od czego zacząć a w internecie to nie bardzo jest to, o co mi…

Czytaj więcej

]]> 32ad1bcab50952a7f7e97512f5c1cf9e Mateusz Wąsalski started the discussion [POMOC] [Synapse Analytics] jak uruchomić skrypty SQLowe? in the forum Microsoft Azure https://akademia-bigdata.pl/groups/microsoft-azure/forum/discussions/pomoc-synapse-analytics-jak-uruchomic-skrypty-sqlowe/ Wed, 13 Nov 2024 13:01:19 +0100 [POMOC] [Synapse Analytics] jak uruchomić skrypty SQLowe?

Dobry dzień,

Mam skrypty SQL, które między innymi tworzą Stored Procedure.

Do tego Stored Procedure mogę się elegancko w Pipeline odnieść, ale dopiero wtedy, kiedy ręcznie dam Run w skrypcie xD

Jest jakiś sposób, żeby odpalić te skryptowe pliki? mam tego tyle, że wolę jeden dzień poświecić na research niż to przepisywać jako Script, bo jakbym…

Czytaj więcej

]]> 7b35ca0e453d859547cd6344d78979c0 Mateusz Wąsalski started the discussion [Dyskusja] [Baza wiedzy] Parquet vs Delta - co i kiedy wybierać ? in the forum Microsoft Azure https://akademia-bigdata.pl/groups/microsoft-azure/forum/discussions/dyskusja-baza-wiedzy-parquet-vs-delta-co-i-kiedy-wybierac/ Sun, 03 Nov 2024 12:31:22 +0100 [Dyskusja] [Baza wiedzy] Parquet vs Delta - co i kiedy wybierać ?

Hello.

jakie macie doświadczenia ?

Pracuję na razie z danymi, które na pewno nie są BIG i używam Parqueta.

Co stoim za moim wyborem (korzystam Azure Synapse Analytics i Pythona do walidowania danych):

– na początku używałem Delty jako sinka w data flow, ale raz, że nie mogłem nadać temu nazwy takiej, jakiej chciałem, dwa: rozbijało mi to output na…

Czytaj więcej

]]> 5aad8e60e974ec3007746f6ce1a57810 Filip Kin started the discussion AZ-900 in the forum Microsoft Azure https://akademia-bigdata.pl/groups/microsoft-azure/forum/discussions/az-900/ Mon, 28 Oct 2024 19:57:57 +0100 AZ-900

Azure certyfikat AZ-900

Cześć, przygotowuję się do certyfikatu Azure AZ-900 od Microsoftu, jakie polecacie źródła nauki?
Zrobiłem całą ścieżkę na platformie DataCamp: https://tinyurl.com/bdzkkyy8 oraz mam zamiar obejrzeć materiał na YouTube: https://tinyurl.com/3dhkr8ps. Dajcie znać, czy powonieniem zasięgnąć jeszcze czegoś (oprócz…

Czytaj więcej

tinyurl.com

Just a moment...

Just a moment...

]]> a1f744d5e369c992b1889cc21d6082a0 Mateusz Wąsalski started the discussion Savoir-vivre grupy in the forum Microsoft Azure https://akademia-bigdata.pl/groups/microsoft-azure/forum/discussions/savoir-vivre-grupy/ Mon, 28 Oct 2024 14:55:49 +0100 Savoir-vivre grupy

Grupa jak i cała Akademia jest świeża, to może spróbujmy ustalić jakieś podstawy wspólnego życia/pisania postów?

Myślę, że takich rzeczy jak szacunek do innych i kultura wypowiedzi nie muszą być spisywane, bo każdy dorosłī człowiek takie rzeczy ogarnia 😅

Co powiecie na templatkę do dyskusji? (sam źle wrzuciłem swoje dwa pytania, sorasy..)…

Czytaj więcej

]]> 06acdc019d599d89853623bc0bf0b99c Mateusz Wąsalski opublikował posta w grupie Microsoft Azure: Temat: wiele dataflow i tyle samo pipeline'ów […] https://akademia-bigdata.pl/news-feed/p/120/ Mon, 28 Oct 2024 13:36:45 +0100

Temat: wiele dataflow i tyle samo pipeline’ów vs pogrupowanie dataflow i paczkami je uruchamiać w pipeline’ach.

Jakie znacie dobre praktyki?

Ja mam wiedzę taką, że jeśli mam dużo dataflow (obecnie mam ok. 40 różnych dataflow) to najlepiej je pogrupować i w jeden pipeline wrzucać ile się da, bo każdy pipeline to odpalenie i zamknięcie klastra, co…

Czytaj więcej

]]> 0 d74ad6f599a01a61e85d01b2c2c6751a Mateusz Wąsalski opublikował posta w grupie Microsoft Azure: No to lecimy z pierwszym postem :D Jak sobie radzicie […] https://akademia-bigdata.pl/news-feed/p/113/ Mon, 28 Oct 2024 11:15:36 +0100

No to lecimy z pierwszym postem 😀

Jak sobie radzicie z deduplikacją?

Wg Microsoftu robi się to tak:
https://learn.microsoft.com/en-us/azure/data-factory/data-flow-aggregate

U mnie akurat problem jest taki, że mam 33 kolumny i mam wrażenie, że żeby to dobrze działało, to musiałbym wszystko 33 wrzucić do group by a w aggregate wziąć tylko te,…

Czytaj więcej

learn.microsoft.com

Aggregate transformation in mapping data flow - Azure Data Factory & Azure Synapse

Learn how to aggregate data at scale in Azure Data Factory and Synapse Analyatics with the mapping data flow Aggregate transformation.

]]> 5 e87a3c99df163b177c4f40140faab798 Marek Czuma created the group Microsoft Azure https://akademia-bigdata.pl/news-feed/p/111/ Mon, 28 Oct 2024 10:24:05 +0100 0