Data Engineer – Azure / Databricks / AWS

Data Engineer będzie odpowiedzialny za projektowanie, budowę oraz rozwój nowoczesnych platform danych opartych o technologie chmurowe Microsoft Azure, AWS oraz Databricks. Rola koncentruje się na tworzeniu wydajnych procesów przetwarzania danych, wdrażaniu architektury Lakehouse oraz zapewnieniu wysokiej jakości i dostępności danych dla zespołów analitycznych, biznesowych i AI.

• Minimum 3–5 lat doświadczenia na stanowisku Data Engineer lub pokrewnym.
• Bardzo dobra znajomość SQL oraz modelowania danych.
• Doświadczenie w tworzeniu i utrzymaniu procesów ETL/ELT.
• Praktyczna znajomość Azure Data Platform.
• Doświadczenie komercyjne z Azure Databricks oraz Apache Spark (PySpark).
• Bardzo dobra znajomość języka Python.
• Doświadczenie w pracy z usługami danych AWS: S3, Glue, Athena, Redshift, EMR, Lambda.
• Znajomość architektury Data Lake, Data Warehouse oraz Lakehouse.
• Doświadczenie z narzędziami kontroli wersji (Git).
• Znajomość zagadnień związanych z wydajnością, skalowalnością oraz bezpieczeństwem danych.
• Umiejętność pracy w środowisku Agile/Scrum.

• Projektowanie, rozwój i utrzymanie procesów ETL/ELT dla danych pochodzących z różnych systemów źródłowych.
• Budowa i rozwój rozwiązań Data Lake, Data Warehouse oraz Lakehouse w środowiskach Azure i AWS.
• Tworzenie oraz optymalizacja pipeline’ów danych z wykorzystaniem Databricks i Apache Spark (PySpark).
• Modelowanie danych oraz implementacja warstw Bronze, Silver i Gold zgodnie z architekturą Medallion.
• Integracja danych z systemów ERP, CRM, aplikacji biznesowych, API oraz źródeł zewnętrznych.
• Wykorzystanie usług chmurowych do przetwarzania i przechowywania danych:
  • Azure: Data Factory, Data Lake Storage Gen2, Synapse Analytics, Databricks
  • AWS: S3, Glue, Athena, Redshift, EMR, Lambda
• Zapewnienie jakości danych poprzez wdrażanie mechanizmów walidacji, monitoringu i kontroli procesów.
• Optymalizacja wydajności procesów Spark oraz kosztów przetwarzania danych w chmurze.
• Automatyzacja wdrożeń i zarządzanie środowiskami z wykorzystaniem narzędzi CI/CD.
• Współpraca z zespołami Data Science, BI, Analityki oraz Architektury IT.
• Tworzenie dokumentacji technicznej oraz standardów przetwarzania danych.
• Wsparcie inicjatyw związanych z Data Governance, Data Security oraz Data Lineage.

Informujemy, że administratorem danych jest Integral Solutions Sp. z o.o. z siedzibą w Warszawie, ul. Wspólna 35 (dalej jako "administrator"). Masz prawo do żądania dostępu do swoich danych osobowych, ich sprostowania, usunięcia lub ograniczenia przetwarzania, prawo do wniesienia sprzeciwu wobec przetwarzania, a także prawo do przenoszenia danych oraz wniesienia skargi do organu nadzorczego. Dane osobowe przetwarzane będą w celu realizacji procesu rekrutacji. Podanie danych w zakresie wynikającym z ustawy z dnia 26 czerwca 1974 r. Kodeks pracy jest obowiązkowe. W pozostałym zakresie podanie danych jest dobrowolne. Odmowa podania danych obowiązkowych może skutkować brakiem możliwości przeprowadzenia procesu rekrutacji. Administrator przetwarza dane obowiązkowe na podstawie ciążącego na nim obowiązku prawnego, zaś w zakresie danych dodatkowych podstawą przetwarzania jest zgoda. Dane osobowe będą przetwarzane do czasu zakończenia postępowania rekrutacyjnego i przez okres możliwości dochodzenia ewentualnych roszczeń, a w przypadku wyrażenia zgody na udział w przyszłych postępowaniach rekrutacyjnych - do czasu wycofania tej zgody. Zgoda na przetwarzanie danych osobowych może zostać wycofana w dowolnym momencie. Odbiorcą danych jest serwis Hello HR oraz inne podmioty, którym powierzyliśmy przetwarzanie danych w związku z rekrutacją.