Senior Data Engineer - Spark / Data Lakehouse

Clurgo to firma stworzona przez developerów dla developerów. Realizuje różnorodne projekty IT dla klientów z wielu branż oraz dba o dobre praktyki programistyczne i work-life balance. Zespół Data Platform Klienta z sektora bankowego projektuje i wdraża rozwiązania do rekoncyliacji danych w ODS opartym o MongoDB oraz buduje warstwy danych w architekturze Data Lakehouse.

• Min. 4 lata praktycznego doświadczenia z Apache Spark w środowiskach produkcyjnych
• Doświadczenie z PySpark, Spark-SQL, DataFrames oraz Structured Streaming
• Praktyczne doświadczenie z odczytem i zapisem danych do MongoDB przy użyciu MongoDB Spark Connector
• Doświadczenie z architekturą Data Lakehouse (zarządzanie tabelami wersjonowanymi przy użyciu Iceberg, Delta Lake lub Hudi)
• Znajomość Jenkins do automatyzacji testów (unit/integration) i procesów deploymentu aplikacji Spark
• Znajomość narzędzi do monitoringu i obserwowalności (Prometheus, Grafana)

Mile widziane:

• Praktyczna znajomość Dynatrace i OpenTelemetry
• Doświadczenie z Docker oraz Spark Operator w środowisku Kubernetes

• Projektowanie i implementacja zadań Spark-SQL/PySpark do weryfikacji spójności danych między ODS (MongoDB) a systemami źródłowymi
• Łączenie Spark z MongoDB przy użyciu MongoDB Spark Connector
• Optymalizacja odczytów z MongoDB
• Budowa architektury medalionowej z wykorzystaniem technologii Iceberg/Delta Lake/Hudi
• Implementacja CI/CD dla schematów tabel, migracji i wersjonowania
• Kosztowa optymalizacja zapytań w środowisku Data Lakehouse
• Konfiguracja metryk (Prometheus + Grafana), logów oraz śledzenia (OpenTelemetry, Dynatrace) dla Spark i procesów batch/stream
• Definiowanie SLA/SLO oraz alertów
• Diagnoza problemów z rekordami, opóźnieniami i niezgodnościami danych
• Praca w Scrum/Kanban z Data Engineerami, Business Analystami, testerami i zespołem DevOps