Data Engineer

Uczestnictwo w projekcie z branży bankowej, obejmującym przetwarzanie dużych wolumenów danych (~100TB) oraz budowę rozwiązań do wysokowydajnej integracji i udostępniania danych.

• Minimum 5 lat doświadczenia jako Data Engineer w GCP w obszarze integracji danych
• Bardzo dobra znajomość GCP BigQuery, BigTable oraz Scylla Cloud (projektowanie, budowa, tuning)
• Doświadczenie z Apache Airflow, GCP DataFlow oraz DataProc
• Praca z systemami kolejkowymi (Kafka, GCP Pub/Sub)
• Minimum 4 lata doświadczenia w ETL na środowiskach on-prem
• Bardzo dobra znajomość narzędzi ETL (Informatica PowerCenter, NiFi)
• Ekspercka wiedza z zakresu baz danych (Oracle, PostgreSQL, ScyllaDB)
• Doświadczenie z narzędziem Automate Now firmy Infinity Data
• Umiejętność tworzenia i wystawiania usług REST API
• Minimum 3 lata doświadczenia w Python (w tym PySpark)
• Znajomość języka Rust w kontekście budowy wydajnych narzędzi
• Zaawansowana znajomość Linux
• Doświadczenie w pracy z dużymi wolumenami danych

Nice to have:

• Znajomość Java (microservices)
• Znajomość Git
• Znajomość Grafana
• Znajomość Apache JMeter

• Projektowanie, budowa i tuning rozwiązań data engineeringowych w środowisku GCP (BigQuery, DataFlow, DataProc)
• Tworzenie i rozwój procesów integracji danych (ETL/ELT) w chmurze i środowisku on-prem
• Utrzymanie i rozwój pipeline’ów danych z wykorzystaniem Apache Airflow oraz DataFlow
• Optymalizacja wydajności przetwarzania i ładowania danych (BigQuery, BigTable, ScyllaDB)
• Praca z systemami kolejkowymi (Kafka, Pub/Sub)
• Tworzenie i utrzymywanie usług REST API
• Rozwój narzędzi wspierających przetwarzanie danych (Python, PySpark, Rust)
• Zarządzanie harmonogramowaniem procesów (Automate Now)
• Współpraca przy migracji i integracji rozwiązań on-prem z GCP
• Praca w modelu hybrydowym: 1 dzień w tygodniu w biurze w Warszawie

Praca w modelu hybrydowym: 1 dzień w tygodniu w biurze w Warszawie