Data Engineer

RITS Group to firma informatyczna oferująca najwyższej jakości usługi programistyczne dla rynku polskiego i międzynarodowego. Spółka jest jedną z najszybciej rozwijających się firm technologicznych, koncentrującą się na jakości, innowacyjności oraz kulturze opartej na zaufaniu, współpracy i doskonaleniu.

• Minimum 2 lata komercyjnego doświadczenia w projektowaniu i implementacji procesów integracji lub przetwarzania danych.
• Doświadczenie na poziomie Middle Data Engineer.
• Praktyczna znajomość Google Cloud Platform, zwłaszcza: BigQuery, Cloud Storage, Pub/Sub.
• Praktyczne doświadczenie z Oracle, w tym tworzenie i optymalizacja zapytań SQL oraz praca z dużymi wolumenami danych.
• Doświadczenie z Informatica PowerCenter umożliwiające samodzielną analizę i modyfikację procesów ETL.
• Znajomość SQL na poziomie umożliwiającym analizę, optymalizację i rozwój procesów przetwarzania danych.
• Doświadczenie z procesami ETL/ELT, migracją danych i integracją systemów.
• Znajomość Python potrzebna do implementacji logiki przetwarzania i transformacji danych.
• Doświadczenie w testowaniu, dokumentowaniu i wdrażaniu rozwiązań danych.

• Projektowanie, implementacja i rozwój rozwiązań Data Engineering na Google Cloud Platform, w tym BigQuery, Cloud Storage, i Pub/Sub.
• Migracja i przebudowa procesów przetwarzania oraz zasilania danych z Oracle i środowisk on-premise do GCP.
• Projektowanie i rozwój procesów batch oraz streaming wraz z mechanizmami kontroli jakości, obsługi błędów i ponawiania operacji.
• Projektowanie struktur i modeli danych w BigQuery z uwzględnieniem wydajności, skalowalności oraz optymalizacji kosztów.
• Analiza danych oraz przygotowywanie modeli danych dla Oracle, PostgreSQL i GCP.
• Tworzenie, analiza i optymalizacja zapytań SQL, w tym analiza planów wykonania przy dużych wolumenach danych.
• Analiza istniejących procesów w Informatica PowerCenter i ich migracja do rozwiązań w GCP.
• Implementacja logiki transformacji, walidacji i integracji danych w SQL i Python.
• Przeprowadzanie analiz technicznych, analiz wpływu i udział w uzgadnianiu specyfikacji.
• Przygotowywanie testów jednostkowych, integracyjnych oraz wsparcie testów systemowych i UAT.
• Przygotowywanie zmian do wdrożenia, instrukcji wdrożeniowych oraz wsparcie wdrożeń i weryfikacji powdrożeniowej.
• Diagnozowanie i usuwanie incydentów związanych z przetwarzaniem i jakością danych.
• Tworzenie oraz aktualizacja dokumentacji technicznej.
• Praca z repozytorium kodu oraz procesami CI/CD zgodnie z podejściem DevOps.