Senior Data Platform Engineer
150 - 170 PLN/ godz.B2B (netto)
SeniorFull-time·B2B
#345491·Dodano wczoraj·0
Źródło: Integral SolutionsTech Stack / Keywords
Azure DatabricksPythonANSI-SQLREST APIJDBCSaaSStructured StreamingAuto LoaderETLELT Azure Data Factory Spark Unity Catalog RBAC LLM AI
Wymagania
- Minimum 5-letnie doświadczenie w pracy w środowisku chmurowym na stanowiskach inżyniera danych, programisty lub pokrewne
- Bardzo dobra znajomość języków Python oraz ANSI‑SQL
- Praktyczna znajomość Azure Databricks Lakehouse poparta doświadczeniem w pracy z tą technologią
- Doświadczenie w korzystaniu z dostępnych konektorów Databricks do integracji systemów źródłowych (np. REST API, JDBC, SaaS, pliki)
- Doświadczenie w pracy z przetwarzaniem strumieniowym (Structured Streaming, Auto Loader)
- Umiejętność projektowania i orkiestracji złożonych pipelinów danych (ETL/ELT) w architekturze medalionu w ramach platform danych z wykorzystaniem Databricks i/lub Azure Data Factory
- Znajomość zasad data governance i security w platformach danych (np. Unity Catalog, RBAC, zarządzanie dostępami)
- Znajomość przetwarzania rozproszonego i optymalizacji Spark (tuning zapytań, zarządzanie plikami, liquid clustering, Z-ORDER, OPTIMIZE/VACUUM)
- Doświadczenie w pracy ze Spark Declarative Pipelines (definiowanie zależności, zarządzanie DAG, integracja z pipeline’ami danych)
- Znajomość Declarative Automation Bundles lub podobnych podejść do zarządzania deploymentem
- Wykorzystanie modeli LLM/AI do generowania kodu dla transformacji i pobierania danych w Databricks
- Znajomość jęz. angielskiego umożliwiająca prowadzenie spotkań biznesowych oraz tworzenia dokumentacji min. B2
- Doświadczenie w pracy z dokumentacją projektową
- Dokładność i proaktywna postawa w realizacji powierzonych zadań (proponowanie rozwiązań i scenariuszy)
Obowiązki
- Projektowanie i wdrażanie nowych rozwiązań w ramach dużej platformy danych opartej na technologii Azure Databricks
- Tworzenie i optymalizacja kodu SQL i Python w celu zapewnienia efektywnego przetwarzania w środowisku chmurowym platformy danych
- Budowanie przepływów danych zgodnie z aktualnym frameworkiem oraz wymaganiami funkcjonalnymi i niefunkcjonalnymi
- Opracowywanie i wdrażanie procesów oraz najlepszych praktyk w zakresie zarządzania i nadzoru nad danymi
- Optymalizacja i usprawnianie konfiguracji systemu oraz poprawa struktur danych zgodnie z najlepszymi praktykami branżowymi
- Współpraca z administratorami systemu w celu identyfikacji i projektowania optymalnych interfejsów do komunikacji z platformą danych w środowisku chmurowym
- Efektywna współpraca z zespołem inżynierów danych oraz ścisła współpraca z analitykami i architektem platformy danych
Oferta
- Pracę na kontrakcie B2B
- Dostęp do systemu myBenefit, w tym prywatne ubezpieczenie medyczne, Multisport i wiele innych
- Prezenty na różne okazje
- Wydarzenia firmowe
Opieka zdrowotna
Karta sportowa
Spotkania integracyjne
Integral Solutions
76 aktywnych ofert