Data Engineer (k/m)

Dla dużej instytucji finansowej poszukujemy doświadczonego inżyniera do zespołu odpowiedzialnego za budowę i utrzymanie platformy danych opartej na Apache Airflow.

• Praktyczna znajomość Apache Airflow (DAG-i, Task Flow API, XComs, zarządzanie zależnościami)
• Doświadczenie z SQL, PL/SQL, Transact-SQL oraz środowiskami Oracle
• Znajomość OpenShift/Kubernetes – obiekty klastra, uruchamianie zadań, skalowanie aplikacji w kontenerach
• Doświadczenie z narzędziami CI/CD (GitLab, Jenkins lub ArgoCD)
• Znajomość Pythona i bibliotek do przetwarzania danych oraz integracji z bazami
• Znajomość narzędzi Infrastructure as Code
• Samodzielność, dociekliwość i analityczne podejście do rozwiązywania problemów
• Przejrzysty sposób komunikacji
• Znajomość języka angielskiego umożliwiająca czytanie dokumentacji techniczne

• Tworzenie, optymalizacja i utrzymanie DAG-ów w Apache Airflow
• Konfiguracja Task Flow API, mechanizmów XComs oraz zarządzanie zależnościami i harmonogramowaniem zadań
• Automatyzacja wdrożeń DAG-ów i kodu ETL na środowisku OpenShift (GitLab CI/CD, Jenkins, ArgoCD)
• Zarządzanie obiektami OpenShift (Pods, Deployments, Routes, ConfigMaps, Secrets) oraz skalowanie aplikacji w kontenerach
• Pisanie i optymalizacja zapytań w SQL, PL/SQL i Transact-SQL oraz praca ze środowiskami Oracle
• Wdrażanie rozwiązań Infrastructure as Code
• Współpraca z zespołami analitycznymi i inżynierskimi przy projektowaniu procesów przetwarzania danych

Informujemy, że administratorem danych jest B2B.net S.A. z siedzibą w Lidzbarku, ul. Wielki Łęck 81A (dalej jako "administrator"). Masz prawo do żądania dostępu do swoich danych osobowych, ich sprostowania, usunięcia lub ograniczenia przetwarzania, prawo do wniesienia sprzeciwu wobec przetwarzania, a także prawo do przenoszenia danych oraz wniesienia skargi do organu nadzorczego. Dane osobowe przetwarzane będą w celu realizacji procesu rekrutacji. Podanie danych w zakresie wynikającym z ustawy z dnia 26 czerwca 1974 r. Kodeks pracy jest obowiązkowe. W pozostałym zakresie podanie danych jest dobrowolne. Odmowa podania danych obowiązkowych może skutkować brakiem możliwości przeprowadzenia procesu rekrutacji. Administrator przetwarza dane obowiązkowe na podstawie ciążącego na nim obowiązku prawnego, zaś w zakresie danych dodatkowych podstawą przetwarzania jest zgoda. Dane osobowe będą przetwarzane do czasu zakończenia postępowania rekrutacyjnego i przez okres możliwości dochodzenia ewentualnych roszczeń, a w przypadku wyrażenia zgody na udział w przyszłych postępowaniach rekrutacyjnych - do czasu wycofania tej zgody. Zgoda na przetwarzanie danych osobowych może zostać wycofana w dowolnym momencie. Odbiorcą danych jest serwis Just Join IT oraz inne podmioty, którym powierzyliśmy przetwarzanie danych w związku z rekrutacją.