Globalna Grupa ABD
Globalna Grupa jest jak rynek, na którym możemy się wszyscy spotkać. To tutaj możemy podzielić się... View more
Organizer:
- Organized by
-
-
Umiejętności „webowe” w data engineeringu
-
Umiejętności „webowe” w data engineeringu
Hej, chciałem was podpytać – jak często zdarza wam się wykorzystywać umiejętności „webowe” w DE? Myślę tu przede wszystkim o łączeniu się z jakimś API – czy to żebyu pobrać, czy żeby wysłać dane.
Ja mam już kolejny projekt gdzie muszę to wykorzystywać. Tym razem w projekcie pracujemy na tabelach deltowych (databricks) i wynik komunikujemy z zewnętrznym API – ale nie tylko wysyłamy. Musimy też odebrać i obsłużyć odpowiedzi – a wiem ze na kolejnych etapach ta logika ma być jeszcze rozbudowana.
Ciekawi mnie na ile to akurat moja bańka, a na ile realnie to jest potrzebne. Bo szczerze, mało o tym mówiłem, a może też warto. Wręcz może jakiś mikrokursik dla osób, które nie znają zupełnie api restowego, statusów odpowiedzi itd – dajcie znać jaka jest wasa perspektywa:-)
-
8 Replies
-
229
Exp
Hej,
Jak najbardziej korzysta się z API.
Nawet takie mniej zaawansowane rozwiązania czasem wzbogacają swoje dane przez API (np. w PBI’u samym możesz też sobie wyciągać dane z API, wiem, że ludzie np. często kursy walut sobie tak integrują).
Także mini- kursik odnośnie odpytywania API jak najbardziej, myślę, że to super pomysł.
A przy okazji jego tworzenia, możesz wrzucić jakieś urywki/ 1 moduł/ 1 problem na YT, żeby ruch zgarnąć stamtąd 🙂
Często też przez API można pobierać sobie metadane (vide PBI Service).
Samo korzystanie z API często jest też w popelinach CI/CD, np. triggerujesz refresh./ jakaś akcje.
Także uważam, że to dobry pomysł. 🙂
-
4999
Exp
Dzięki za odpowiedź. A czego tam w power bi się używa? Ja z nim nie pracowałem – w pythonie jest bardzo fajna biblioteka requests. Polecam każdemu – łatwo się ogarnia dość:-). I chat gpt też ją ogarnia 😀
-
229
Exp
Tam jest connector po prostu webowy 🙂 a jak ktoś bardziej kumaty, to sobie w Power Query buduje strukturę payloada np. 🙂 do prostych API spoko, ale jak są jakieś paginacje itp., to Python. 🙂
Power BI raczej jako ciekawostka, ale też spotykana 🙂
-
-
-
642
Exp
Ja na codzień pracuję w web scrapingu, więc dla mnie korzystanie z API i obsługa odpowiedzi to chleb powszedni 🙂 Myślę, że w kontekście szerszego DE też jest to wiedza przydatna: dzięki temu możemy zrobić zasilanie naszego pipeline danymi z jakiegoś API, albo stworzyć jakąś integracje (kurs NBP, pogoda w jakimś miejscu, status zamówienia etc) na dalszym etapie, tak jak Dominik wspominał.
Uważam, że warto poruszyć w minikursie:
Rodzaje zapytań GET/POST/HEAD i wspomnieć o innych
Statusy odpowiedzi 200/301/405 (najpopularniejsze)
Nagłówki (headers) – co to jest i jakie mają znaczenie
Rodzaje autentykacji i autoryzacji
Potencjalne problemy podczas pracy z API, przykładowe błędne odpowiedzi
Pozdrawiam 🙂
-
4999
Exp
Super Andrzej, dzięki! A czego Ty używasz do profesjonalnego web scrappingu?
-
642
Exp
W obecnej firmie stworzyliśmy własną platformę do webscrapingu opartą na NodeJS, więc funkcji JSowych + puppetter (browser). A poza tym moim głównym językiem jest Python, więc biblioteki requests, beatifulsoup, scrapy (framework do webscrapingu), selenium (browser).
Do agendy kursu dorzuciłbym jeszcze obsługa DevTools w Chrome, przydatne do analizy ruchu sieciowego na stronie, jakie requesty i do jakich API są wysyłane itp.
-
4999
Exp
Ekstra, dzięki za info!
-
-
-
-
641
Exp
Mój obecny projekt w pełni polega na odczytaniu danych z jakiegoś API (Jira, Azure Cost Manager, Azure DevOps) bo firma nie chciała pboierać tego przez Airbyte tylko mieć to od razu w Snowflake’u i Databricksach.
Zaloguj się aby odpowiedzieć