Data Engineer

Clurgo is a company created by developers for developers. Their teams combine a full spectrum of competencies including software development, infrastructure, analysis, testing, and strategic product and process management. They execute diverse IT projects for clients across many industries, emphasizing good programming practices and work-life balance.

• Minimum 3 lata doświadczenia w Data Engineering lub zbliżonej roli.
• Bardzo dobra znajomość programowania w Scala, Java oraz Python.
• Znajomość SQL oraz umiejętność budowy i utrzymania skalowalnych pipeline’ów i rozwiązań do przetwarzania danych.
• Doświadczenie z Apache Airflow przy tworzeniu, orkiestracji i utrzymaniu workflowów danych.
• Doświadczenie z REST API, Git oraz CI/CD.
• Umiejętność samodzielnego diagnozowania problemów, optymalizacji rozwiązań i odpowiedzialność za dostarczane komponenty.
• Umiejętność współpracy z Data Architectami, Software Engineerami, zespołami platformowymi, analitykami i biznesem.

Mile widziane:

• Doświadczenie z Google Cloud Platform (GCP) i usługami takimi jak BigQuery, Cloud Storage, Pub/Sub, Dataflow, Dataproc.
• Znajomość Apache Spark i rozwiązań do rozproszonego przetwarzania danych.
• Znajomość architektury Data Fabric, integracji danych, governance, data discovery i kontroli dostępu.

Zadania:

• Projektowanie, rozwój i utrzymanie niezawodnych pipeline’ów danych oraz frameworków Data Engineering.
• Tworzenie skalowalnych rozwiązań do przetwarzania danych z wykorzystaniem Scala, Java i Python.
• Rozwój i utrzymanie workflowów w Apache Airflow.
• Integracja platform danych, aplikacji i innych komponentów poprzez REST API.
• Udział w rozwoju architektury Data Fabric, w tym integracji danych, governance, discovery oraz access management.
• Monitorowanie, diagnozowanie i optymalizacja wydajności, odporności i jakości rozwiązań danych.
• Stosowanie dobrych praktyk inżynierskich, m.in. version control, testing, code review, dokumentacji i CI/CD.
• Współpraca z architektami danych, inżynierami oprogramowania, zespołami platformowymi, analitykami oraz interesariuszami biznesowymi.

Informujemy, że administratorem danych jest Clurgo sp. z o.o z siedzibą w Warszawie, ul. Jasna 14/16a (dalej jako "administrator"). Masz prawo do żądania dostępu do swoich danych osobowych, ich sprostowania, usunięcia lub ograniczenia przetwarzania, prawo do wniesienia sprzeciwu wobec przetwarzania, a także prawo do przenoszenia danych oraz wniesienia skargi do organu nadzorczego. Dane osobowe przetwarzane będą w celu realizacji procesu rekrutacji. Podanie danych w zakresie wynikającym z ustawy z dnia 26 czerwca 1974 r. Kodeks pracy jest obowiązkowe. W pozostałym zakresie podanie danych jest dobrowolne. Odmowa podania danych obowiązkowych może skutkować brakiem możliwości przeprowadzenia procesu rekrutacji. Administrator przetwarza dane obowiązkowe na podstawie ciążącego na nim obowiązku prawnego, zaś w zakresie danych dodatkowych podstawą przetwarzania jest zgoda. Dane osobowe będą przetwarzane do czasu zakończenia postępowania rekrutacyjnego i przez okres możliwości dochodzenia ewentualnych roszczeń, a w przypadku wyrażenia zgody na udział w przyszłych postępowaniach rekrutacyjnych - do czasu wycofania tej zgody. Zgoda na przetwarzanie danych osobowych może zostać wycofana w dowolnym momencie. Odbiorcą danych jest serwis Rocket Jobs oraz inne podmioty, którym powierzyliśmy przetwarzanie danych w związku z rekrutacją.