Wyzwania!
Głodny/a wyzwań? Na tej grupie je podejmujemy! Obecne wyzwanie: Grudniowe Wyzwanie Big Data (December... View more
Organizer:
- Organized by
-
-
Group Feed
-
Marek posted an update in the group
Wyzwania! 21 hours ago21 hours ago (edited)
Hej! Nieco obsówki z powodów rodzinnych, ale wracamy do naszego wyzwania grudniowego… z ostatnim zadaniem! Gotowi? W komentarzach prezentujcie wyniki:-). Co więcej – te możecie też zaprezentować na swoim LinkedIn!
Podstawowe polecenie: Czas na ostatnie zadanie! Przechodzimy do części bardziej analitycznej niż inżynierskiej. Wybierz i…
Szymon MB and Wojtek Zdziebkowski2 Comments-
Spoko Maro, my i tak dwa kroki do tyłu 😅
2- View 1 reply
-
-
Marek posted an update in the group
Wyzwania! a week agoCzas na przedostatnie zadanie w naszym grudniowym wyzwaniu! Tym razem o nazwie: Load.
Podstawowe polecenie: Za nami ogrom pracy! Dane z surowych, nieorkzesanych, są już nam podporządkowane i niewiel brakuje, aby zaczęły być użyteczne;-). Czas na załadowanie danych do relacyjnej bazy danych!
- Zainstaluj PostgreSQL (lub jakąkolwiek inną bazę…
-
Marek posted an update in the group
Wyzwania! 2 weeks ago2 weeks ago (edited)
Czas na zadanie nr 3 w naszej grudniowej zabawie!
Podstawowe polecenie: Przed nami być może najtrudniejsze zadanie. Mamy już dane surowe, które są uporządkowane i dostarczone w formie, jaką chcemy uzyskać. Teraz Twoim zadaniem jest poddać te dane modyfikacji, transformacji i uzyskać finalny kształt. Chodzi o to, żebyśmy mogli na końcu uzyskać z…
-
Input (parquety będące uporządkowanymi danymi): https://mega.nz/file/eTQXkCSK#s6EDr0PKL7Jqrm_UyRWQTojqPkOtAtsMky5S3w8cL4M
-
Hej, są moje spóźnione transformacje https://github.com/zdziebkowski/ABD_bd_challenge_december/blob/main/weather_fetcher/transform_data.py 😅
1
-
-
Marek started the discussion [Zad 2] Rozkmina JSONowo Dataframe'owa. Dlaczego praca z JSONem jest trudna? in the forum Wyzwania! 3 weeks ago
[Zad 2] Rozkmina JSONowo Dataframe'owa. Dlaczego praca z JSONem jest trudna?
Hej, chciałem się z wami podzielić przemyśleniami na żywym organizmie. Pracujemy obecnie w 2 zadaniu, więc chciałem podrzucić “czemu to nie jest łatwe”. Nie pokażę całego rozwiązania, ale chcę załączyć kilka screenów, żebyśmy mogli warsztatowo popracować na naszym “wyzwaniowym case study”.
JSON vs Dataframe. To nigdy nie było proste.
A…
-
Marek started the discussion Zapisywanie do JSONa w scali in the forum Wyzwania! 3 weeks ago
Hej! Pytanko do scalowców. Macie jakiś fajny sposób na to jak zapisywać JSON w scali na dysk?
Piszę to w odniesieniu do zadania nr 1. Szukałem trochę (przyznaję, że musiałem dość “na szybko”), ale najlepszą opcją wydaje się… użycie sparka i konwersja do Data Setu, a potem zapis do jsona.
I przyznam, że jak lubię Sparka, tak coś mnie trafia gdy…
Wojtek Zdziebkowski -
Marek posted an update in the group
Wyzwania! 3 weeks ago3 weeks ago (edited)
Czas na zadanie nr 2 Grudniowego Wyzwania Big Data! Poprzednie poszło nam bardzo fajnie, dlatego liczę że to pójdzie jeszcze lepiej! Oczywiście, jeśli ktoś nie wykonał poprzedniego to nic nie szkodzi. Można się jeszcze cofnąć i zostawić swój kod. Można też od razu wskoczyć do zadania 2!
Podstawowe polecenie: Znakomicie! Mamy już surowe dane,…
-
Link do Inputu (przykładowe pliki JSON): https://mega.nz/file/KeQnhabR#uJO91atcyXXC7EFLN4YrXAyEYglxRIlTYUjfis2YHqw
-
Dla ośmielenia podrzucam swój kod – zmiany dodane;-)
https://github.com/marekczuma/bigdata-december-challenge/
Ostrzegam, niestety pisany tylko w ramach moich zasobów czasowych. Ale działa! 😀 -
Jaki tu spokój 😁
Wrzucam swój kod: https://github.com/zdziebkowski/ABD_bd_challenge_december/blob/main/weather_fetcher/json_to_parquet.pyNa usprawiedliwienie, czemu tak późno mogę dać tylko dobrą radę. Nie zapomnijcie o zmiennych w PATH 😅
1 -
Ja też miałem spore opóźnienia (spowodowane sprawami zawodowymi), ale obiecuję, że nadgonię materiał 😉
Moje repo jest jedno dla tego projektu, ale poszczególne zmiany można zobaczyć na branch’ach lub w PR’ach 😉
https://github.com/rafal-kowalski-dev/ABD-december-big-data-challenge
1
-
-
Marek posted an update in the group
Wyzwania! 4 weeks ago4 weeks ago (edited)
Czas na zadanie nr 1! Zaczynamy od samego początku czyli… pozyskania surowych danych pogodowych!
Podstawowe polecenie: Napisz aplikację, która pobiera dane z API pogodowego i zapisuje na dysk. Aplikacja powinna być parametryzowana, aby można było łatwo uruchomić, pobierając z różnych miast czy dat. W podstawie można zrobić pobieranie z…
View more comments-
INPUT: Link do proponowanego API pogodowego: https://open-meteo.com/. Link do aktualnej pogody: https://api.open-meteo.com/v1/forecast, link do historycznej: https://api.open-meteo.com/v1/archive
-
O, eleganckie! jak się dzielimy rozwiązaniem ? Gtihub repo ? 🙂
- View 1 reply
-
- View 2 replies
-
Trochę mi zeszło, ale udało się wyrobić przed 2 zadaniem.
Repo: https://github.com/rafal-kowalski-dev/ABD-december-big-data-challengeZ założenia nie wyrzucam danych na chmurę, bo myślę, że lepiej będzie je od razu ładować do RDBS np. na AWSie (może nawet jutro to sobie ogranę)
3 -
Ja też coś porobiłem coś lokalnie.
Repo: https://github.com/miklaszewskigrzegorz/weather-api-abd
3 - View more comments
-
-
Marek posted an update in the group
Wyzwania! 4 weeks ago4 weeks ago (edited)
Witam na naszym pierwszym wyzwaniu! Witam na Grudniowym Wyzwaniu Big Data! 🤩 ❄ ⛄
Zasady są proste:
- Co kilka dni wjeżdża nowe zadanie, wraz z “terminem ważności”. Aktualne zadanie zawsze będzie w przypiętym poście do grupy
- Każde zadanie jest częścią mini-projektu pogodowego.
- Niemniej, każde zadanie można zrobić “w izolacji”! Nie będzie konieczne…
-
Marek created the group
Wyzwania! 4 weeks ago
