Platform Data Engineer

Razem z naszym Klientem, jednym z liderów w branży ubezpieczeniowej, poszukujemy osoby na stanowisko Platform Data Engineer. Projekt dotyczy budowy i skalowania platformy danych IoT w sektorze ubezpieczeniowym, która umożliwia przekształcanie danych z urządzeń i sensorów w insighty biznesowe.

• Minimum 4 letnie doświadczenie komercyjne w roli Data Engineera lub podobnej.
• Doświadczenie komercyjne w pracy w środowisku AWS oraz technologiami Spark, PySpark, Python i SQL.
• Praktyczna znajomość architektury Data Lakehouse oraz rozwiązań do przetwarzania dużych wolumenów danych.
• Doświadczenie w budowie skalowalnych i wysokowydajnych rozwiązań data engineeringowych w środowisku cloud-native.
• Praktyczna znajomość Amazon SageMaker oraz zdolność przygotowywania środowisk i danych pod rozwiązania AI/ML.
• Znajomość dobrych praktyk związanych z jakością danych, monitoringiem i optymalizacją kosztów infrastruktury.
• Doświadczenie z narzędziami orkiestracji i automatyzacji procesów, w szczególności AWS Step Functions.
• Znajomość Terraform, Azure DevOps oraz praktyk CI/CD w projektach chmurowych.

Mile widziane:

• Doświadczenie z Azure Databricks, Apache Airflow lub rozwiązaniami opartymi o Apache Kafka.
• Praktyczna znajomość koncepcji Data Mesh, Data Catalog oraz Event-Driven Architecture.
• Podstawowa znajomość Node.js, TypeScript oraz narzędzi observability.

• Projektowanie, rozwój oraz utrzymanie wydajnych pipeline’ów danych (ETL/ELT) z wykorzystaniem Spark, Python oraz usług AWS.
• Budowa i rozwój nowoczesnej platformy danych typu Data Lakehouse wspierającej wiele produktów i obszarów biznesowych.
• Implementacja i rozwój orkiestracji workflow oraz automatyzacji procesów CI/CD z wykorzystaniem AWS Step Functions.
• Współpraca z zespołami ML w zakresie przygotowania i dostarczania danych pod rozwiązania oparte o SageMaker.
• Integracja oraz przetwarzanie danych z różnych źródeł zewnętrznych, m.in. IoT, OEM oraz systemów partnerskich.
• Optymalizacja wydajności przetwarzania danych oraz kosztów infrastruktury w środowisku chmurowym.
• Zapewnienie jakości danych poprzez walidację, monitoring i observability.