Big Data Engineer (energy)

Dla naszego klienta z branży energetycznej poszukujemy doświadczonego Data Engineera, który będzie odpowiedzialny za wsparcie zespołu projektowego oraz utrzymaniowego w zadaniach związanych z budową, rozwojem i utrzymaniem platformy CDP w technologii Data Lakehouse (GCP).

• Znajomość Google Cloud Platform, w szczególności usług Data & Analytics
• Bardzo dobra znajomość BigQuery, w tym tabele zewnętrzne, partycjonowanie, klastrowanie, optymalizacja zapytań
• Znajomość Python oraz bibliotek do przetwarzania danych, takich jak Pandas
• Bardzo dobra znajomość SQL, MySQL, PostgreSQL oraz MS SQL Server
• Doświadczenie z danymi w formatach Parquet, JSON, CSV
• Znajomość mechanizmów CDC (Change Data Capture) i replikacji danych (MySQL do BigQuery)
• Znajomość zasad zarządzania jakością danych, bezpieczeństwa danych, prywatności i zgodności z RODO
• Doświadczenie w pracy z systemami kolejkowania komunikatów do integracji strumieniowej
• Doświadczenie w pracy z kontrolą wersji Git, znajomość strategii branchingu i Pull Requests
• Znajomość procesów Continuous Integration i Continuous Deployment (np. Cloud Build)
• Komunikatywna znajomość języka polskiego i angielskiego (min. poziom B2)
• Gotowość do okazjonalnej pracy w biurze klienta w Warszawie (1-2 razy w miesiącu)

• Wsparcie zespołu projektowego oraz utrzymaniowego w zadaniach związanych z platformą CDP w technologii Data Lakehouse (GCP)
• Zarządzanie danymi w różnych formatach (Parquet, JSON, CSV) i klasach przechowywania
• Projektowanie, implementacja i optymalizacja potoków ETL/ELT (batch i streaming) w Python
• Tworzenie i zarządzanie DAGami do orkiestracji złożonych przepływów danych, monitorowanie zadań
• Praca z systemami kolejkowania komunikatów do integracji strumieniowej
• Zarządzanie metadanymi, katalogowanie danych, zapewnienie Data Quality i Data Lineage
• Implementacja i utrzymanie architektury medalionowej
• Kontrola wersji z wykorzystaniem Git (strategie branchingu, Pull Requests)
• Zrozumienie procesów Continuous Integration i Continuous Deployment (np. z użyciem Cloud Build)
• Tworzenie, testowanie i zarządzanie transformacjami danych w SQL w BigQuery

Informujemy, że administratorem danych jest Britenet Sp. z o.o. z siedzibą w Warszawie Al. Jerozolimskie 44. Masz prawo do żądania dostępu do swoich danych osobowych, ich sprostowania, usunięcia lub ograniczenia przetwarzania, prawo do wniesienia sprzeciwu wobec przetwarzania, a także prawo do przenoszenia danych oraz wniesienia skargi do organu nadzorczego. Dane osobowe przetwarzane będą w celu realizacji procesu rekrutacji. Podanie danych jest obowiązkowe w zakresie wynikającym z Kodeksu pracy. Dane będą przetwarzane do zakończenia procesu rekrutacji oraz przez okres dochodzenia roszczeń. Administrator przetwarza dane obowiązkowe na podstawie obowiązku prawnego, zaś dane dodatkowe - na podstawie zgody. Zgoda może być wycofana w dowolnym momencie. Odbiorcą danych jest serwis Rocket Jobs oraz inne podmioty powierzające przetwarzanie danych w związku z rekrutacją.