Data Engineer (GCP)

Team Connect to wiodący w Polsce dostawca usług IT w modelu nearshore i offshore. Od 2008 roku tworzą oraz rozwijają oprogramowanie dla klientów, specjalizując się w metodykach Agile i DevOps. Dla klienta z branży bankowej poszukują Data Engineera.

• Poziom Middle Data Engineer z komercyjnym doświadczeniem w projektowaniu i implementacji procesów integracji lub przetwarzania danych
• Dominująca praktyka na platformie Google Cloud Platform, zwłaszcza z BigQuery, Cloud Storage i Pub/Sub
• Praktyczne doświadczenie z Oracle, w tym tworzenie i optymalizacja zapytań SQL oraz praca z dużymi wolumenami danych
• Doświadczenie developerskie z Informatica PowerCenter pozwalające na samodzielną analizę i modyfikację procesów ETL, choć technologia ta nie jest głównym obszarem roli

• Projektowanie, implementacja i rozwój rozwiązań Data Engineering na Google Cloud Platform z wykorzystaniem BigQuery, Cloud Storage i Pub/Sub
• Migracja i przebudowa procesów przetwarzania oraz zasilania danych z Oracle/on-premise do GCP
• Projektowanie i rozwój procesów wsadowych (batch) oraz strumieniowych (streaming), wraz z mechanizmami kontroli jakości, ponawiania i obsługi błędów
• Projektowanie struktur i modeli danych w BigQuery z uwzględnieniem wydajności, skalowalności oraz kosztu przetwarzania i składowania danych
• Analiza danych oraz przygotowywanie modeli danych dla Oracle, PostgreSQL i warstw danych w GCP
• Tworzenie, analiza i strojenie zapytań SQL, w tym analiza planów wykonania i identyfikowanie wąskich gardeł
• Analiza istniejących procesów Informatica PowerCenter oraz migracja do rozwiązań docelowych w GCP
• Implementacja logiki transformacji, walidacji i integracji danych w SQL oraz Python, jeśli wynika to z rozwiązania
• Wykonywanie analizy technicznej, analizy wpływu i zależności oraz udział w uzgadnianiu specyfikacji
• Przygotowanie testów jednostkowych, integracyjnych oraz wsparcie testów systemowych, wydajnościowych, regresji i UAT
• Przygotowanie zmian do wdrożenia, instrukcji wdrożenia oraz wsparcie wdrożenia i weryfikacji powdrożeniowej
• Diagnozowanie i usuwanie incydentów oraz udział w analizie przyczyn problemów związanych z przetwarzaniem i jakością danych
• Tworzenie i aktualizacja dokumentacji technicznej oraz praca z repozytorium kodu i procesami CI/CD zgodnie z modelem DevOps

Informujemy, że administratorem danych jest Team Connect z siedzibą w Warszawie, ul. Wołodyjowskiego 58. Przetwarzanie danych odbywa się w celu realizacji procesu rekrutacji zgodnie z obowiązującymi przepisami prawa i zasadami ochrony danych osobowych.