Data Engineer

Clurgo to firma stworzona przez developerów dla developerów. Realizują różnorodne projekty IT dla klientów z wielu branż, dbając o dobre praktyki programistyczne i work-life balance. Obecna oferta dotyczy projektu dużej organizacji z sektora finansowego, koncentrującego się na Big Data oraz data engineering.

• praktyczne doświadczenie w rozwoju i projektowaniu rozwiązań z wykorzystaniem PySpark lub Scala
• doświadczenie z Google Cloud Platform (GCP)
• doświadczenie w budowaniu i utrzymywaniu data pipelines
• doświadczenie z Airflow
• znajomość technologii: Python, Apache Hadoop, YARN, Hive, Spark SQL, Map Reduce, oraz SQL
• swobodne poruszanie się w środowisku Unix/Linux
• doświadczenie z Git i GitHub
• znajomość narzędzi automatyzacji deploymentu, takich jak Ansible i Jenkins
• swobodna komunikacja w języku angielskim

Nice to have:

• doświadczenie z Elasticsearch
• doświadczenie w tworzeniu rozwiązań z wykorzystaniem Java APIs
• doświadczenie w procesach data ingestion

Zadania:

• projektowanie, rozwój i utrzymanie data pipelines w środowisku GCP
• rozwój rozwiązań opartych o PySpark / Apache Spark
• automatyzacja i harmonogramowanie procesów z wykorzystaniem Airflow
• wykorzystywanie Git, GitHub oraz narzędzi takich jak Ansible i Jenkins
• współpraca z zespołami technicznymi oraz biznesem
• prezentowanie rozwiązań i postępów prac odbiorcom technicznym i nietechnicznym
• wsparcie w realizacji zadań pozostałych członków zespołu
• identyfikowanie możliwości wykorzystania AI do przyspieszania i automatyzacji procesów

Informujemy, że administratorem danych jest Clurgo sp. z o.o z siedzibą w Warszawie, ul. Jasna 14/16a. Dane osobowe przetwarzane będą w celu realizacji procesu rekrutacji. Podanie danych obowiązkowych jest obligatoryjne zgodnie z Kodeksem pracy. Zgoda na przetwarzanie danych może zostać wycofana w dowolnym momencie. Odbiorcą danych jest serwis Rocket Jobs oraz podmioty powierzone przetwarzanie danych w związku z rekrutacją.