Data Engineer (Scala/Java/Python)

Clurgo to firma stworzona przez developerów dla developerów. Realizuje różnorodne projekty IT dla klientów z wielu branż, dbając o dobre praktyki programistyczne. Projekt dotyczy dużej organizacji z sektora bankowego, gdzie rozwijane są skalowalne rozwiązania do przetwarzania i integracji danych.

• Minimum 3 lata doświadczenia w Data Engineering lub zbliżonej roli
• Bardzo dobra znajomość programowania w Scala, Java oraz Python
• Dobra znajomość SQL oraz umiejętność budowania i utrzymywania skalowalnych pipeline’ów i rozwiązań do przetwarzania danych
• Doświadczenie z Apache Airflow przy tworzeniu, orkiestracji i utrzymaniu workflowów danych
• Znajomość REST API, Git oraz CI/CD
• Stosowanie dobrych praktyk Software Engineering w projektach data
• Umiejętność samodzielnego diagnozowania problemów i optymalizacji rozwiązań
• Umiejętność współpracy z różnymi zespołami, w tym Data Architectami, Software Engineerami i analitykami

Nice to have:

• Doświadczenie z Google Cloud Platform (GCP) i usługami takimi jak BigQuery, Cloud Storage, Pub/Sub, Dataflow, Dataproc
• Znajomość Apache Spark oraz rozwiązań do rozproszonego przetwarzania danych
• Doświadczenie z architekturą Data Fabric, integracją danych, governance, data discovery i kontrolą dostępu

• Projektowanie, rozwój i utrzymanie niezawodnych pipeline’ów danych oraz frameworków Data Engineering
• Tworzenie skalowalnych rozwiązań do przetwarzania danych z wykorzystaniem Scala, Java i Python
• Rozwój i utrzymanie workflowów w Apache Airflow
• Integracja platform danych, aplikacji i innych komponentów poprzez REST API
• Udział w rozwoju architektury Data Fabric, w tym integracji danych, governance, discovery oraz access management
• Monitorowanie, diagnozowanie i optymalizacja wydajności, odporności i jakości rozwiązań danych
• Stosowanie dobrych praktyk inżynierskich, m.in. version control, testing, code review, dokumentacji i CI/CD
• Współpraca z architektami danych, inżynierami oprogramowania, zespołami platformowymi, analitykami oraz interesariuszami biznesowymi