Data Engineer (Scala&Spark)

Nasz Klient to organizacja realizująca projekty związane z rozwojem nowoczesnych platform danych oraz rozwiązań chmurowych wspierających procesy biznesowe i analityczne.

• Bardzo dobra znajomość Scala oraz Apache Spark zdobyta w projektach Data Engineering
• Praktyczne doświadczenie z Databricks oraz Zeppelin Notebooks
• Doświadczenie w pracy z Google Cloud Platform
• Zaawansowana znajomość SQL w zakresie modelowania danych, optymalizacji oraz tworzenia złożonych zapytań
• Doświadczenie w budowie i utrzymaniu procesów ETL z wykorzystaniem Apache Airflow
• Bardzo dobra znajomość języka polskiego oraz angielskiego (minimum B2)
• Doświadczenie w pracy w metodykach Agile z wykorzystaniem narzędzi takich jak Jira i Confluence
• Umiejętność efektywnej współpracy z zespołami technicznymi oraz interesariuszami biznesowymi

• Projektowanie i rozwijanie skalowalnych rozwiązań do przetwarzania danych z wykorzystaniem Scala oraz Apache Spark
• Budowanie, optymalizacja i utrzymanie procesów ETL w środowisku chmurowym opartym o Google Cloud Platform
• Tworzenie oraz rozwijanie rozwiązań Data Engineering z wykorzystaniem Databricks oraz Zeppelin Notebooks
• Pisanie, optymalizacja i analiza złożonych zapytań w SQL wspierających potrzeby analityczne i biznesowe
• Orkiestracja, harmonogramowanie oraz monitorowanie procesów danych przy użyciu Apache Airflow
• Współpraca z zespołami technicznymi i biznesowymi przy definiowaniu wymagań oraz dostarczaniu rozwiązań opartych o dane