Senior Data Engineer (Databricks+PySpark)

Projekt obejmuje utrzymanie, rozwój oraz rozbudowę o nowe funkcjonalności globalnie wykorzystywanego oprogramowania służącego do oceny i prognozowania inwestycji na rynku nieruchomości.

• Minimum 4 lata doświadczenia w obszarze Data Engineering
• Co najmniej 2 lata praktycznego doświadczenia z platformą Databricks
• Minimum 2 lata doświadczenia w środowisku chmurowym AWS
• Udział w co najmniej jednym dużym projekcie migracji danych lub platformy danych
• Bardzo dobra znajomość Apache Spark oraz PySpark
• Praktyczne doświadczenie z Delta Lake (ACID transactions, partitioning, Z-Ordering, optimize, vacuum)
• Doświadczenie w budowie pipeline’ów danych (batch oraz near real-time)
• Znajomość narzędzi Databricks: Workflows, Jobs, Unity Catalog
• Bardzo dobra znajomość Amazon S3 jako warstwy storage
• Praktyczne doświadczenie w obszarze bezpieczeństwa i infrastruktury AWS (IAM, KMS, VPC, PrivateLink, Secrets Manager)
• Doświadczenie w integracji z AWS Lambda, SNS/SQS, AWS Glue (mile widziane)
• Znajomość optymalizacji kosztów i wydajności w chmurze (tagging, monitoring, optymalizacja)
• Bardzo dobry SQL, doświadczenie z SQL Server i PostgreSQL
• Wysoko rozwinięte umiejętności komunikacyjne i gotowość do współpracy z klientem
• Język angielski na poziomie min. B2/C1
• Dostępność do godziny 17:00 (współpraca z klientem z USA/Kanady)
• Dostępność od zaraz

• Utrzymanie, rozwój oraz rozbudowa oprogramowania do oceny i prognozowania inwestycji na rynku nieruchomości
• Praca bezpośrednio z zespołem klienta w środowisku projektowym z częstymi spotkaniami
• Projektowanie środowisk (dev/test/prod) oraz zarządzanie separacją kont i uprawnień
• Tworzenie wydajnych transformacji danych oraz diagnozowanie i rozwiązywanie problemów wydajnościowych

• Pierwszy dzień pracy odbywa się stacjonarnie w siedzibie firmy w Gliwicach przy ul. Przewozowa 32
• W trakcie procesu rekrutacji wymagana będzie weryfikacja tożsamości kandydata