Regular Data Engineer

Projekt koncentruje się na wdrożeniu i standaryzacji Data Contracts w organizacji w środowisku GCP, w celu poprawy jakości, spójności i przewidywalności danych w ekosystemie Hurtowni Danych i Big Data. Kluczowym celem jest budowa podejścia Data Governance by Design, które zwiększy transparentność danych, stabilność integracji oraz przyspieszy reagowanie na zmiany w systemach źródłowych i konsumpcyjnych.

• Minimum 2–3 lata doświadczenia jako Data Engineer
• Doświadczenie w analizie, przetwarzaniu i modelowaniu danych
• Zaawansowana znajomość SQL poparta praktyką
• Doświadczenie w zapewnianiu jakości danych (testowanie, monitoring, alerting)
• Doświadczenie w dokumentacji technicznej i code review
• Umiejętność pracy zespołowej i komunikacji z zespołami biznesowymi, technicznymi i analitycznymi
• Proaktywność, odpowiedzialność i wysokie nastawienie na jakość danych
• Znajomość DWH oraz Hadoop

Nice to have:

• Doświadczenie z narzędziami takimi jak dbt, Dataform
• Znajomość Dataplex i Data Catalog
• Doświadczenie w migracjach danych z systemów on-premise
• Znajomość Data Governance i Data Quality
• Znajomość ekosystemu GCP

• Projektowanie i implementacja kontraktów danych pomiędzy producentami i konsumentami danych
• Definiowanie schematów i reguł jakościowych
• Automatyzacja walidacji w CI/CD
• Rozwój mechanizmów testowania i monitoringu jakości danych
• Modelowanie danych, tworzenie i optymalizacja zapytań SQL
• Współpraca z zespołami Data Governance, Data Engineering i Data Analytics
• Dokumentowanie rozwiązań technicznych
• Code review
• Zapewnienie wysokiej jakości danych poprzez testy, monitoring i alertowanie w środowisku Big Data