Data Engineer (Data Integration & Quality)

W Scalo zajmujemy się dostarczaniem projektów software'owych i wspieraniem naszych partnerów w rozwijaniu ich biznesu. Tworzymy oprogramowanie, które umożliwia ludziom dokonywanie zmian, działanie w szybszym tempie oraz osiąganie lepszych rezultatów. Jesteśmy firmą, która wykorzystuje szerokie spektrum usług IT, żeby pomagać klientom. Obszary naszego działania to m.in.: doradztwo technologiczne, tworzenie oprogramowania, systemy wbudowane, rozwiązania chmurowe, zarządzanie danymi, dedykowane zespoły developerskie.

• Minimum 6 lat doświadczenia komercyjnego w pracy z danymi, w tym budowa warstw danych, integracja danych lub rozwiązania analityczne
• Bardzo dobra praktyczna znajomość SQL na poziomie zaawansowanym
• Praktyczna znajomość Python
• Doświadczenie z narzędziami do automatyzacji lub orkiestracji procesów danych, np. Apache Airflow
• Doświadczenie w integracji i mapowaniu danych z wielu źródeł, ujednolicanie oraz definiowanie reguł transformacji
• Doświadczenie w definiowaniu, weryfikacji i utrzymywaniu reguł jakości danych
• Dobre rozumienie architektury przepływu danych — od systemów źródłowych po warstwy dostępne dla odbiorców
• Doświadczenie w realizacji projektów angażujących wiele zespołów i interesariuszy
• Umiejętność planowania działań, ustalania priorytetów oraz zarządzania zależnościami projektowymi
• Umiejętność strukturyzowania niejednoznacznych wymagań i przekładania ich na konkretne rozwiązania
• Doświadczenie w prowadzeniu uzgodnień technicznych i biznesowych oraz komunikacji decyzji, ryzyk i konsekwencji
• Samodzielność i ownership w prowadzeniu powierzonych obszarów od analizy do wdrożenia
• Znajomość języka angielskiego na poziomie co najmniej B2

• Udział w projekcie przygotowania danych pod modelowanie i budowa kompletnej historii danych wykorzystywanych w procesach modelowych
• Projektowanie i rozwój warstw danych oraz procesów ich zasilania
• Integracja danych z wielu źródeł, ich czyszczenie, ujednolicanie, transformacja i walidacja
• Analiza potrzeb i planowanie etapów realizacji rozwiązań data engineeringowych
• Prowadzenie uzgodnień z właścicielami danych, odbiorcami biznesowymi oraz zespołami technicznymi
• Organizacja i prowadzenie spotkań oraz warsztatów, przygotowywanie rekomendacji, podsumowań i kolejnych kroków
• Definiowanie mapowań, reguł transformacji oraz reguł jakości danych
• Rozwój procesów przetwarzania danych z wykorzystaniem SQL, Python i Airflow
• Wsparcie testów, code review, wdrożeń i odbiorów rozwiązań
• Dokumentowanie źródeł danych, mapowań, reguł biznesowych, transformacji i decyzji projektowych
• Identyfikacja zależności, ryzyk i problemów oraz inicjowanie działań naprawczych
• Koordynacja przepływu informacji między uczestnikami projektu i dbanie o jasny podział odpowiedzialności
• Współpraca z wieloma zespołami w środowisku Agile
• Realizacja usług zdalnie z wizytą we Wrocławiu raz na 6 miesięcy