SORIGO

Big Data Engineer/ Engineerka

Brak informacji o wynagrodzeniu

MidZdalnie·WarszawaInne·B2B

#470376·Dodano 12 dni temu·5

Źródło: justjoin.it

Aplikuj teraz

Tech Stack / Keywords

Apache Spark Apache Airflow Python SQL Scala Kubernetes

Podsumowanie oferty

Rozwój i optymalizacja procesów ETL oraz aplikacji opartych na Apache Spark, a także projektowanie i wdrażanie rozwiązań z obszaru Big Data. Rola obejmuje orkiestrację przetwarzania danych w Apache Airflow, migrację platformy danych oraz współtworzenie chatbota do zadawania pytań hurtowni danych w języku naturalnym.

Wymagania

Minimum 5 lat doświadczenia w obszarze Big Data Engineering.
Doświadczenie w rozwoju i optymalizacji procesów ETL oraz aplikacji do przetwarzania danych.
Znajomość Apache Spark i Apache Airflow.
Doświadczenie w pracy z Pythonem lub Scalą oraz SQL.
Znajomość rozwiązań Big Data, takich jak Hadoop, Hive, Snowflake lub Trino.
Doświadczenie w pracy z bazami danych i hurtowniami danych.
Znajomość rozwiązań do konteneryzacji i wdrażania aplikacji, takich jak Kubernetes lub OpenShift.
Umiejętność analizowania złożonych problemów technicznych i dobierania odpowiednich rozwiązań technologicznych.

Mile widziane:

Doświadczenie z Neo4j lub innymi grafowymi bazami danych.
Znajomość Elasticsearch i Kibana.
Doświadczenie w pracy z rozwiązaniami chmurowymi, np. Azure.
Udział w migracji platform danych lub realizacji POC związanych z nowymi technologiami.
Doświadczenie w rozwiązaniach wykorzystujących AI, np. chatbotach umożliwiających zadawanie pytań do hurtowni danych w języku naturalnym.

Obowiązki

Rozwój i optymalizacja procesów ETL oraz aplikacji opartych na Apache Spark.
Projektowanie i wdrażanie rozwiązań z obszaru Big Data.
Udział w migracji platformy danych.
Orkiestracja procesów przetwarzania danych z wykorzystaniem Apache Airflow.
Testowanie nowych technologii i realizacja projektów POC.
Prace badawczo-rozwojowe nad wykorzystaniem grafowych baz danych.
Współtworzenie chatbota umożliwiającego zadawanie pytań do hurtowni danych w języku naturalnym.

Benefity

Opieka medyczna.
Ubezpieczenie.
Karta sportowa.

Opieka zdrowotna

Ubezpieczenie

Karta sportowa

SORIGO

42 aktywne oferty

Zobacz wszystkie oferty

Aplikuj teraz