Data Engineer with Microsoft Fabric

Dla naszego klienta poszukujemy osoby na stanowisko 🔹 Data Engineer with Microsoft Fabric 🔹 Lokalizacja: świadczenie usług w modelu hybrydowym (1 dzień w tygodniu w biurze w Warszawie, 4 dni zdalnie) Branża: ubezpieczenia Zakres obowiązków: • Projektowanie i implementacja pipeline'ów w Data Factory oraz notebooków PySpark w Fabric. • Onboarding źródeł plikowych i bazodanowych wraz z walidacją techniczną i standaryzacją formatu. • Transformacje, przygotowanie danych wsadowych. • Implementacja reguł walidacji jakości danych i mechanizmów raportowania błędów. • Wersjonowanie zestawów danych i zapis metadanych przebiegu (parametry, źródła, wersje). • Realizacja obowiązków w oparciu o zasady GIT - kod pipeline'ów w repozytorium, wdrożenia przez CI/CD, code review. • Współpraca z Zespołem Ryzyka przy ustalaniu reguł przekształceń. • Zapewnienie zgodności z regulacjami prywatności i bezpieczeństwa danych i integracja standardów bezpieczeństwa firmy ze środowiskiem Azure. • Optymalizacja procesów pod względem wydajnościowym oraz kosztowym. Wymagania : • Min. 3 lata doświadczenia jako Data Engineer w projektach produkcyjnych, • Python (PySpark) i SQL na poziomie sprawnej pracy z dużymi zbiorami, • Praktyczne doświadczenie z platformą chmurową do przetwarzania danych — Microsoft Fabric, Azure Synapse lub Databricks, • Znajomość architektury warstwowej danych (medalionowa lub podobna) i formatu Delta/Parquet, • Praca z Git w zespole, • Doświadczenie w integracji różnorodnych źródeł, w tym plików Excel od użytkowników biznesowych, • Gotowość do podpisania NDA i przejścia weryfikacji bezpieczeństwa. Atutem będzie: • Certyfikat DP-600 lub DP-700, • Doświadczenie w sektorze finansowym lub innym środowisku o wysokich wymaganiach audytowych, • Znajomość R (model wykorzystuje Python i R), • Praktyka z CI/CD dla platform danowych, • Doświadczenie z frameworkami data quality, • Doświadczenie w metodykach Agile i Scrum. 💻 Ework Group – założona w 2000 roku, notowana na Nasdaq Stockholm, z około 13 000 niezależnych specjalistów realizujących projekty – jesteśmy kompleksowym dostawcą rozwiązań w zakresie zarządzania talentami, współpracującym zarówno z klientami z sektora prywatnego i publicznego, jak i z profesjonalistami, aby tworzyć zrównoważone łańcuchy dostaw talentów. Koncentrując się na obszarach IT/OT, B+R, inżynierii oraz rozwoju biznesu, dostarczamy trwałą wartość poprzez holistyczne i niezależne podejście do całościowego zarządzania talentami. Dzięki kompleksowym rozwiązaniom w zakresie talentów, połączonym z bogatym doświadczeniem branżowym i doskonałością w realizacji projektów, budujemy udane współprace. Łączymy klientów, partnerów i profesjonalistów w całym łańcuchu dostaw talentów, z korzyścią dla jednostek, organizacji i społeczeństwa. Osoba kontaktowa: dominika.kisiel@eworkgroup.com Client code: MM03 Znasz kogoś, kto pasowałby na to stanowisko? Poleć kandydata, przesyłając jego/jej CV na adres: polecenia@eworkgroup.com Whistleblowing Policy, which provides guidelines for reporting misconduct can be found on Ework website: https://www.eworkgroup.com/about-us/our-responsibility