Data Engineer

Branża bankowa.

• Min. 5 lat doświadczenia jako Data Engineer w środowisku GCP.
• Bardzo dobra znajomość BigQuery, Bigtable, Scylla Cloud oraz relacyjnych baz danych (Oracle, PostgreSQL, ScyllaDB).
• Doświadczenie w projektowaniu, optymalizacji i tuningu baz danych.
• Dobra znajomość Apache Airflow, Dataflow, Dataproc oraz narzędzi ETL on-premise (Informatica PowerCenter, Apache NiFi).
• Doświadczenie w pracy z Kafka i Google Pub/Sub.
• Bardzo dobra znajomość Python i PySpark.
• Umiejętność projektowania i wystawiania REST API.
• Znajomość AutomateNow firmy Infinity Data.
• Doświadczenie w budowie wysokowydajnych rozwiązań przetwarzania danych.

• Projektowanie i rozwój procesów integracji danych w środowisku GCP i on-premise.
• Budowa oraz utrzymanie procesów ETL/ELT.
• Projektowanie, optymalizacja i tuning baz danych.
• Rozwój rozwiązań streamingowych i kolejkowych.
• Tworzenie i utrzymanie workflowów oraz harmonogramów przetwarzania danych.
• Wystawianie i rozwój usług REST API.
• Tworzenie narzędzi wspierających wydajne ładowanie danych w Pythonie.
• Monitorowanie i optymalizacja wydajności procesów danych.