Senior Data Engineer - K/M

ASTEK Polska operates in the Banking, Financial Services & Insurance (BFSI) sector, focusing on data engineering solutions and modernization of data platforms.

• Minimum 7 lat doświadczenia w obszarze Data Engineering oraz programowaniu w Python.
• Praktyczne doświadczenie w tworzeniu i rozwijaniu API z wykorzystaniem FastAPI.
• Bardzo dobra znajomość Databricks, PySpark, SQL oraz Delta Lake.
• Doświadczenie w migracjach do Unity Catalog.
• Praca z Databricks Structured Streaming oraz rozwiązaniami do przetwarzania danych w czasie rzeczywistym.
• Doświadczenie z bazami Oracle i SQL Server oraz narzędziem Informatica.
• Samodzielne projektowanie i wdrażanie skalowalnych rozwiązań data engineeringowych.
• Znajomość specyfiki sektora Banking, Financial Services & Insurance (BFSI).

Mile widziane:

• Doświadczenie w pracy z chmurą Azure oraz administracją Databricks.
• Znajomość narzędzi i procesów CI/CD.
• Doświadczenie z Git, Azure DevOps lub GitLab.
• Umiejętność tuningu wydajności i optymalizacji rozwiązań Spark.
• Doświadczenie w prowadzeniu działań technicznych oraz współpracy z interesariuszami.
• Certyfikaty Databricks.

• Tworzenie i rozwijanie usług oraz integracji opartych o FastAPI.
• Budowanie skalowalnych procesów ETL/ELT z wykorzystaniem Databricks i PySpark.
• Prowadzenie migracji do Unity Catalog oraz inicjatyw związanych z modernizacją platform danych.
• Wdrażanie i optymalizacja rozwiązań do przetwarzania strumieniowego danych w czasie rzeczywistym.
• Współpraca z zespołami biznesowymi i technologicznymi przy dostarczaniu rozwiązań klasy enterprise.
• Projektowanie i implementacja nowoczesnych rozwiązań data engineeringowych odpowiadających na potrzeby organizacji.