PKO Finat Sp. z o.o.

Data Engineer

Brak informacji o wynagrodzeniu

MidHybryda·WarszawaFull-time

#459994·Dodano 19 dni temu·2

Źródło: nofluffjobs.com

Aplikuj teraz

Tech Stack / Keywords

SQL GCP Oracle

Podsumowanie oferty

Rola obejmuje projektowanie i rozwój rozwiązań Data Engineering w projekcie migracji bazy Oracle do GCP dla banku PKO BP. Praca koncentruje się na przetwarzaniu i integracji danych z wykorzystaniem BigQuery, Cloud Storage i Pub/Sub.

Wymagania

Minimum 2-letnie komercyjne doświadczenie w projektowaniu i implementacji procesów integracji lub przetwarzania danych; dominująca część praktycznego doświadczenia powinna dotyczyć Google Cloud Platform oraz pracy z BigQuery, Cloud Storage i Pub/Sub.
Praktyczne doświadczenie z Oracle, w tym w tworzeniu oraz optymalizacji zapytań SQL i pracy z dużymi wolumenami danych.
Doświadczenie developerskie z Informatica PowerCenter, pozwalające na samodzielną analizę i modyfikację procesów ETL; technologia ta nie stanowi głównego obszaru roli.

Obowiązki

Projektowanie, implementacja i rozwój rozwiązań Data Engineering na Google Cloud Platform, przede wszystkim z wykorzystaniem BigQuery, Cloud Storage i Pub/Sub.
Migracja i przebudowa procesów przetwarzania oraz zasilania danych z Oracle i on-premise do GCP.
Projektowanie i rozwój procesów wsadowych (batch) oraz strumieniowych (streaming), wraz z mechanizmami kontroli jakości, ponawiania i obsługi błędów.
Projektowanie struktur i modeli danych w BigQuery z uwzględnieniem wydajności, skalowalności oraz kosztu przetwarzania i składowania danych.
Analiza danych oraz przygotowywanie logicznych i fizycznych modeli danych dla Oracle, PostgreSQL i warstw danych w GCP.
Tworzenie, analiza i strojenie zapytań SQL, w tym analiza planów wykonania i identyfikowanie wąskich gardeł dla dużych wolumenów danych.
Analiza istniejących procesów Informatica PowerCenter i migracja do rozwiązań docelowych w GCP.
Implementacja logiki transformacji, walidacji i integracji danych w SQL oraz Python, jeżeli wynika to z projektowanego rozwiązania.
Wykonywanie analizy technicznej, analizy wpływu i zależności oraz udział w uzgadnianiu specyfikacji rozwiązania.
Przygotowywanie testów jednostkowych i integracyjnych oraz wsparcie testów systemowych, wydajnościowych, regresji i UAT.
Przygotowanie zmian do wdrożenia, instrukcji wdrożenia oraz wsparcie wdrożenia i weryfikacji powdrożeniowej.
Diagnozowanie i usuwanie incydentów oraz udział w analizie przyczyn problemów związanych z przetwarzaniem i jakością danych.
Tworzenie i aktualizacja dokumentacji technicznej oraz praca z repozytorium kodu i procesami CI/CD zgodnie z modelem DevOps.

PKO Finat Sp. z o.o.

14 aktywnych ofert

Zobacz wszystkie oferty

Aplikuj teraz