Data Engineer Mid

Projekt greenfield w sektorze medycznym — budowa pipeline'ów ETL/ELT zasilających hurtownię danych od zera. Realizacja projektu kompleksowej Platformy Business Intelligence dla organizacji z sektora medycznego z wykorzystaniem architektury Medallion i podejścia Data Mesh.

• Minimum 3 lata doświadczenia na stanowisku Data Engineer lub pokrewnym
• Praktyczna znajomość:
  • SQL
  • Python
  • Apache Airflow
  • dbt
  • PostgreSQL
  • Modelowania danych
  • Projektowania i budowy procesów ETL/ELT
  • Integracji z wykorzystaniem REST API
  • Git
  • CI/CD
  • Docker

Nice to have:

• Znajomość Apache Hop lub innego narzędzia wizualnego do projektowania pipeline'ów ETL (np. Pentaho DI, Talend, NiFi)
• Znajomość Great Expectations lub innego frameworka kontroli jakości danych
• Znajomość Kong API Gateway
• Znajomość mechanizmów uwierzytelniania OAuth 2.0 / JWT w integracjach API
• Znajomość architektury Medallion i koncepcji Data Mesh
• Znajomość Prometheus / Grafana

Mile widziane:

• Doświadczenie z Microsoft Power BI
• Doświadczenie z danymi wrażliwymi lub w sektorze ochrony zdrowia (RODO)

• Budowa procesów ETL/ELT zasilających hurtownię danych (full load i incremental load, watermarki, CDC)
• Implementacja konektorów do systemów źródłowych: REST API (OAuth 2.0 / JWT), SOAP, pliki (CSV/XLSX/XML/JSON, SFTP), połączenia bazodanowe
• Tworzenie i utrzymanie DAG-ów w Apache Airflow (harmonogramy, sensory, retry, alarmowanie)
• Budowa modeli transformacji w dbt (warstwy Raw → Silver → Gold) wraz z testami
• Implementacja reguł jakości danych w Great Expectations (kompletność, integralność, reguły biznesowe, detekcja zmian schematów)
• Praca w środowisku on-premises: Docker, Git, CI/CD, monitoring Prometheus + Grafana

Informujemy, że administratorem danych jest Devapo sp. z o.o. z siedzibą w Warszawie, ul. Aleje Jerozolimskie 100. Masz prawo do żądania dostępu do swoich danych osobowych, ich sprostowania, usunięcia lub ograniczenia przetwarzania, prawo do wniesienia sprzeciwu wobec przetwarzania, a także prawo do przenoszenia danych oraz wniesienia skargi do organu nadzorczego. Dane osobowe przetwarzane będą w celu realizacji procesu rekrutacji. Podanie danych obowiązkowych jest obowiązkowe. Administrator przetwarza dane obowiązkowe na podstawie obowiązku prawnego, zaś dane dodatkowe na podstawie zgody. Dane będą przetwarzane do zakończenia rekrutacji i okresu dochodzenia roszczeń, a w przypadku zgody na udział w przyszłych rekrutacjach - do wycofania zgody.