Azure DataBricks Engineer

Dla klienta z USA poszukujemy Azure DataBricks Engineerów. Klient realizuje projekty głównie dla branży medycznej i finansowej, ale nie zamyka się na inne branże. Projekty są przeważnie krótkoterminowe z dużym prawdopodobieństwem przedłużeń.

• 8+ lat doświadczenia jako Data Engineer lub w rolach pokrewnych, w tym w projektach transformacyjnych i migracyjnych
• Minimum 3–4 lata doświadczenia z Databricks i Apache Spark: klastry, workspaces, bezpieczeństwo, migracje, ETL, integracje, PySpark i optymalizacja zapytań
• Bardzo dobra znajomość Pythona
• Znajomość Delta Lake oraz Unity Catalog lub podobnych rozwiązań governance
• Doświadczenie z Delta Live Tables lub podobnymi narzędziami
• Doświadczenie w Azure, np. Data Factory, Synapse, Logic Apps, Data Lake, i/lub AWS, np. Redshift, Athena, Glue
• Znajomość SQL: projektowanie schematów, optymalizacja zapytań i implementacja logiki biznesowej
• Samodzielność i inicjatywa
• Angielski na poziomie umożliwiającym swobodną komunikację w zespole

Nice to have:

• Znajomość YellowBrick, SSIS, Boomi lub innych systemów legacy
• Znajomość Terraform albo Pulumi
• Doświadczenie z DBT, SSIS, TimeXtender lub podobnymi narzędziami ETL/ELT

• Projektowanie, wdrażanie i utrzymanie skalowalnych Data Lakehouse w Databricks i Delta Lake według Bronze/Silver/Gold
• Tworzenie i optymalizacja pipeline’ów ETL/ELT w PySpark i DLT, dla przetwarzania batchowego oraz strumieniowego
• Udział w migracjach, np. YellowBrick → Databricks
• Refaktoryzacja logiki SSIS i Boomi do rozwiązań Spark/Python
• Wdrażanie governance i bezpieczeństwa: Unity Catalog, RBAC oraz Terraform
• Monitoring, tuning wydajności i automatyzacja pod SLA, w tym czterogodzinne okno odświeżania danych
• Współpraca z Data Scientistami, Data Engineerami i Architektami
• Udział w doborze narzędzi oraz integracjach ze Smartsheet i SailPoint

Informacja o przetwarzaniu danych osobowych dla kandydata. |||| Spółki z Grupy CRODU tj. CRODU Sp. z o.o., z siedzibą w Krakowie (31-153) przy ul. Szlak 77/LOK 222 CRODU NEXT Sp. z o.o. z siedzibą w Krakowie (31-153) przy ul. Szlak 77/LOK 222, oraz CRODU AMER Sp. z o.o. z siedzibą w Krakowie (31-153) przy ul. Szlak 77/LOK 222 (dalej „CRODU” lub „administrator”) informują, że są administratorami dotyczących Pani/a danych osobowych przetwarzanych w związku z procesem rekrutacji, w którym bierze Pan/i udział.