Senior Data Engineer
Tech Stack / Keywords
Firma i stanowisko
Budujesz platformy danych dla klientów z sektora bankowego. Projektujesz hurtownie i rozwiązania w architekturze data lakehouse. Pilnujesz procesów ETL oraz ELT i przetwarzasz duże zbiory danych w Sparku i Kafka. Rozmawiasz z biznesem o pytaniach do danych i przekładasz je na modele.
Wymagania
- Minimum 5 lat komercyjnego doświadczenia na stanowisku data engineera.
- Biegła znajomość SQL i umiejętność optymalizacji zapytań.
- Praktyczna wiedza z budowy i utrzymania hurtowni danych.
- Doświadczenie ze Sparkiem i Kafka w środowisku produkcyjnym.
- Rozumienie koncepcji data lakehouse oraz procesów ETL i ELT.
- Pełna samodzielność w realizacji zadań technicznych.
Obowiązki
- Projektowanie i rozwój hurtowni oraz platform danych.
- Tworzenie i optymalizacja procesów ETL oraz ELT.
- Budowa rozwiązań w architekturze data lakehouse.
- Przetwarzanie dużych zbiorów danych w Sparku i Kafka.
- Przekładanie wymagań biznesowych na rozwiązania analityczne.
- Projektowanie architektury danych dla nowych projektów.
Inne informacje
Informujemy, że administratorem danych jest Ideamotive Sp. z o. o. z siedzibą w Warszawie, ul. Złota 61/101 (dalej jako "administrator"). Masz prawo do żądania dostępu do swoich danych osobowych, ich sprostowania, usunięcia lub ograniczenia przetwarzania, prawo do wniesienia sprzeciwu wobec przetwarzania, a także prawo do przenoszenia danych oraz wniesienia skargi do organu nadzorczego. Dane osobowe przetwarzane będą w celu realizacji procesu rekrutacji. Podanie danych w zakresie wynikającym z ustawy z dnia 26 czerwca 1974 r. Kodeks pracy jest obowiązkowe. W pozostałym zakresie podanie danych jest dobrowolne. Odmowa podania danych obowiązkowych może skutkować brakiem możliwości przeprowadzenia procesu rekrutacji. Administrator przetwarza dane obowiązkowe na podstawie ciążącego na nim obowiązku prawnego, zaś w zakresie danych dodatkowych podstawą przetwarzania jest zgoda. Dane osobowe będą przetwarzane do czasu zakończenia postępowania rekrutacyjnego i przez okres możliwości dochodzenia ewentualnych roszczeń, a w przypadku wyrażenia zgody na udział w przyszłych postępowaniach rekrutacyjnych - do czasu wycofania tej zgody. Zgoda na przetwarzanie danych osobowych może zostać wycofana w dowolnym momencie. Odbiorcą danych jest serwis Rocket Jobs oraz inne podmioty, którym powierzyliśmy przetwarzanie danych w związku z rekrutacją.
Ideamotive
42 aktywne oferty