Data Engineer

Clurgo to firma stworzona przez developerów dla developerów. Realizuje różnorodne projekty IT dla klientów z wielu branż. Obecnie poszukuje osoby do projektu dużej organizacji z sektora finansowego, odpowiedzialnej za rozwój i utrzymanie rozwiązań z obszaru Big Data oraz data engineering.

• Praktyczne doświadczenie w rozwoju i projektowaniu rozwiązań z wykorzystaniem PySpark lub Scala
• Doświadczenie z Google Cloud Platform (GCP)
• Doświadczenie w budowaniu i utrzymywaniu data pipelines
• Praca z Airflow
• Znajomość technologii: Python, Apache Hadoop, YARN, Hive, Spark SQL, Map Reduce, SQL
• Praca w środowisku Unix/Linux
• Doświadczenie z Git i GitHub
• Znajomość narzędzi automatyzacji deploymentu jak Ansible i Jenkins
• Umiejętność prezentacji rozwiązań odbiorcom biznesowym i technicznym
• Swobodna komunikacja w języku angielskim

Nice to have:

• Doświadczenie z Elasticsearch
• Doświadczenie w tworzeniu rozwiązań z wykorzystaniem Java APIs
• Doświadczenie w procesach data ingestion

• Projektowanie, rozwój i utrzymanie data pipelines w środowisku GCP
• Rozwój rozwiązań opartych o PySpark / Apache Spark
• Automatyzacja i harmonogramowanie procesów z wykorzystaniem Airflow
• Wykorzystanie Git/GitHub oraz narzędzi takich jak Ansible i Jenkins
• Współpraca z zespołami technicznymi oraz biznesem
• Prezentowanie rozwiązań i postępów prac odbiorcom technicznym i nietechnicznym
• Wsparcie w realizacji zadań pozostałych członków zespołu
• Identyfikowanie możliwości wykorzystania AI do przyspieszania i automatyzacji procesów