Big Data Engineer / Engineerka

Brak informacji o wynagrodzeniu

SeniorZdalnieFull-time

#470514·Dodano wczoraj·3

Źródło: Sorigo

Aplikuj teraz

Tech Stack / Keywords

Apache Spark Apache Airflow Python Scala SQL Hadoop Hive SnowflakeTrinoKubernetes

Podsumowanie oferty

Rozwój i optymalizacja procesów ETL oraz aplikacji do przetwarzania danych w obszarze Big Data. Praca obejmuje projektowanie i wdrażanie rozwiązań danych z wykorzystaniem Apache Spark i Apache Airflow oraz współtworzenie chatbota do zadawania pytań o hurtownię danych w języku naturalnym.

Wymagania

Minimum 5 lat doświadczenia w obszarze Big Data Engineering.
Doświadczenie w rozwoju i optymalizacji procesów ETL oraz aplikacji do przetwarzania danych.
Znajomość Apache Spark i Apache Airflow.
Doświadczenie w pracy z Pythonem lub Scalą oraz SQL.
Znajomość rozwiązań Big Data, takich jak Hadoop, Hive, Snowflake lub Trino.
Doświadczenie w pracy z bazami danych i hurtowniami danych.
Znajomość rozwiązań do konteneryzacji i wdrażania aplikacji, takich jak Kubernetes lub OpenShift.
Umiejętność analizowania złożonych problemów technicznych i dobierania rozwiązań technologicznych.

Mile widziane:

Doświadczenie z Neo4j lub innymi grafowymi bazami danych.
Znajomość Elasticsearch i Kibana.
Doświadczenie w pracy z rozwiązaniami chmurowymi, np. Azure.
Udział w migracji platform danych lub realizacji projektów POC związanych z nowymi technologiami.
Doświadczenie w rozwiązaniach wykorzystujących AI, np. chatbotach umożliwiających zadawanie pytań do hurtowni danych w języku naturalnym.

Obowiązki

Rozwój i optymalizacja procesów ETL oraz aplikacji opartych na Apache Spark.
Projektowanie i wdrażanie rozwiązań z obszaru Big Data.
Udział w migracji platformy danych.
Orkiestracja procesów przetwarzania danych z wykorzystaniem Apache Airflow.
Testowanie nowych technologii i realizacja projektów POC.
Prowadzenie prac badawczo-rozwojowych nad wykorzystaniem grafowych baz danych.
Współtworzenie chatbota umożliwiającego zadawanie pytań do hurtowni danych w języku naturalnym.

Benefity

Pakiet socjalny obejmujący opiekę medyczną, ubezpieczenie i kartę sportową.

Opieka zdrowotna

Ubezpieczenie

Karta sportowa

SORIGO

32 aktywne oferty

Zobacz wszystkie oferty

Aplikuj teraz