F/M: Data Engineer (English language REQUIRED)

Szukamy doświadczonych Data Engineerów, którzy dołączą do dużego projektu w sektorze finansowym i będą odpowiedzialni za projektowanie, rozwój oraz utrzymanie kluczowych komponentów danych. Praca obejmuje pracę z dużymi zbiorami danych, nowoczesnymi narzędziami ETL/ELT oraz budowę skalowalnych i wydajnych przepływów danych.

Doświadczenie:

• 3–5 lat doświadczenia jako Data Engineer w złożonych projektach (preferowane środowisko finansowe).
• Udokumentowane doświadczenie w pracy z Snowflake i/lub Databricks.
• Praktyczna znajomość zasad projektowych i standardów developmentu.
• Doświadczenie w pracy z dużymi zbiorami danych (big data).
• Praktyka w pracy z narzędziami ETL/ELT (ODI, Snowflake, Databricks, dbt Cloud).
• Znajomość narzędzi version control (GitHub).
• Zaawansowane doświadczenie w projektowaniu, developmentcie oraz troubleshooting.
• Znajomość technik optymalizacji i performance tuning.
• Doświadczenie z narzędziami orkiestracji (ODI, Airflow).
• Doświadczenie z podejściem metadata-driven development.
• Doświadczenie z Agile.
• Szybkie uczenie się i chęć rozwoju technologicznego.
• Licencjat lub magister w kierunkach technicznych (Informatyka, Inżynieria, pokrewne).

Nice to have:

• Doświadczenie w sektorze finansowym.
• Znajomość chmury (np. AWS).
• Doświadczenie z CI/CD i DevOps.
• Doświadczenie z near-real-time processing.
• Znajomość narzędzi raportowych i ich wpływu na warstwy danych.
• Podstawy Data Governance (glossary, DQ, RDM).
• Doświadczenie w budowaniu proaktywnych systemów monitoringu danych.

• Projektowanie, rozwój i testowanie komponentów ETL/ELT (ingest, transformacje, ładowanie danych, workflow, dependencies, check-gates).
• Zapewnienie skalowalności, wydajności i niezawodności przepływów danych.
• Przygotowywanie i wdrażanie releasów oraz prowadzenie dokumentacji technicznej.
• Analiza i rozwiązywanie problemów wydajnościowych oraz błędów komponentów danych.
• Projektowanie modeli danych i struktur.
• Wykonywanie unit testów i testów wydajnościowych.
• Współpraca z architektami w zakresie estymacji i wpływu nowych komponentów.
• Implementacja technicznych i biznesowych reguł jakości danych (DQ).
• Udział w 2nd i 3rd line support oraz wsparcie po wdrożeniu.
• Potencjalne przygotowanie środowisk i danych do UAT.
• Współpraca z QA, zespołami raportowymi i self-service – wszędzie tam, gdzie artefakty Data Engineering są wejściem.
• Analiza wpływu zmian w istniejących artefaktach danych.
• Proaktywne monitorowanie działania produkcyjnych procesów danych i reagowanie na anomalie.
• Dbanie o zgodność z ustalonymi standardami oraz ich rozwój.
• Współudział w wyborze narzędzi i tworzeniu standardów projektowych oraz dobrych praktyk.
• Zapewnienie projektowania komponentów umożliwiającego utrzymanie data lineage.
• Zapewnianie skalowalności architektury rozwijanych rozwiązań.
• Współpraca z dostawcami systemów źródłowych w zakresie przepływu i jakości danych.
• Współpraca z analitykami i data modelerami w ramach definiowania wymagań.
• Wsparcie zespołów produkcyjnych — szkolenia, wyjaśnienia, troubleshooting.
• Dostarczanie feedbacku architektom i data modelerom wynikającego z praktycznego doświadczenia.