Data Engineer

Projekt w branży bankowej, praca przy rozwoju i utrzymaniu procesów ETL oraz orkiestracji zadań z wykorzystaniem Apache Airflow.

• Znajomość języków SQL, PL/SQL oraz Transact-SQL
• Doświadczenie w pracy na środowiskach i narzędziach Oracle
• Znajomość zasad tworzenia i optymalizacji DAG-ów oraz korzystania z Task Flow API, XComs i zarządzania zależnościami zadań
• Doświadczenie w automatyzacji wdrożeń DAG-ów i kodu ETL na platformach takich jak OpenShift z wykorzystaniem narzędzi CI/CD
• Znajomość narzędzi Infrastructure as Code
• Programowanie w Pythonie i korzystanie z bibliotek do przetwarzania danych oraz integracji z bazami
• Doświadczenie w pracy z kontenerami oraz znajomość obiektów OpenShift (Pods, Deployments, Routes, ConfigMaps, Secrets) i uruchamianie zadań Airflow
• Skrupulatność, samodzielność i dociekliwość
• Umiejętność komunikacji w sposób przejrzysty i efektywny
• Znajomość języka angielskiego na poziomie umożliwiającym czytanie dokumentacji technicznej

• Praca przy rozwoju i utrzymaniu procesów ETL oraz orkiestracji zadań z wykorzystaniem Apache Airflow
• Projektowanie, implementacja oraz optymalizacja DAG-ów, zarządzanie zależnościami i harmonogramowaniem
• Integracja danych oraz praca z bazami danych w środowisku Oracle
• Automatyzacja wdrożeń z wykorzystaniem narzędzi CI/CD (GitLab CI/CD, Jenkins, ArgoCD)
• Rozwój i utrzymanie środowisk opartych o kontenery oraz OpenShift
• Wykorzystanie narzędzi Infrastructure as Code w codziennej pracy
• Współpraca z zespołem w zakresie analizy problemów i projektowania rozwiązań
• Praca w modelu hybrydowym 2x w tygodniu z biura w Warszawie