[Marek Czuma]

Przede wszystkim – gratulacje obronionej inżynierki! I dobry pomysł z migracją projektu na DBX;-).

Jeśli chodzi o klucz – to jaki jest cel nadawania czegoś jeszcze poza walutą? Jeśli masz kolumnę unikatową, to po prostu to może być jej kluczem:-). Dodam jeszcze, że bardzo dużo zależy tutaj od decyzji biznesowej oraz logiki systemu, bo musisz sobie odpowiedzieć na pytanie: „czy w dalszej części systemu zależy mi na tym, żeby wiedzieć, które wiersze są nowe?”. Jeśli tak, to można robić to przyrostowo poprzez merge. W Databricks możesz też wykorzystać mechanizm CDF. Jeśli nie – to tabelę która ma kilkadziesiąt wierszy WARTO (moim zdaniem) nadpisywać, bo kod jest znacznie prostszy.

Na drugi problem nie jestem w stanie odpowiedzieć niestety, bo nie znam fabric :(. W Databricks do danych z ADLSa masz dostęp poprzez Volume i to Volume podpinasz do ADLS, więc sam kod pozostaje niezmienny – i pobierasz parquety normalnie, a jak kiedyś zmienisz środowisko to Volume po prostu zmienia źródło, kod się nie zmienia.

Trzeci problem zależy od decyzji i logiki biznesowej. Tak jak napisałaś – zależy co jest błędem. Jeśli coś może być błędem, to CHCESZ O TYM WIEDZIEĆ – i warto zrobić tak jak napisałaś, wywalać do tabeli błędów, a sam job dalej leci z tematem.