Lead Data Engineer

Projekt polega na kompleksowej migracji platformy danych z Hadoop do GCP, z docelowym wykorzystaniem BigQuery. Firma poszukuje doświadczonej osoby na stanowisko lidera technicznego migracji i rozwoju środowiska Data Engineering.

• Min. 5–7 lat doświadczenia w Data Engineering
• Bardzo dobra znajomość ekosystemu Hadoop
• Praktyczne doświadczenie z GCP, w szczególności BigQuery
• Bardzo dobra znajomość projektowania i rozwijania procesów ETL/ELT
• Doświadczenie w projektach związanych z migracją lub modernizacją platform danych
• Bardzo dobra znajomość SQL
• Znajomość Pythona lub innego języka wykorzystywanego w Data Engineering
• Doświadczenie w projektowaniu architektury rozwiązań danych
• Doświadczenie w pełnieniu roli Technical Leada / Data Engineering Leada lub prowadzeniu zespołu technicznego
• Umiejętność samodzielnego podejmowania decyzji technicznych i brania odpowiedzialności za obszar end-to-end
• Dobra znajomość języka angielskiego

Nice to have:

• Apache Spark
• Hive / HDFS
• Cloud Composer / Airflow
• Dataflow
• dbt
• Terraform / Infrastructure as Code
• Doświadczenie z dużymi, enterprise'owymi platformami danych
• Doświadczenie w projektach modernizacji legacy data platforms

• Prowadzenie techniczne migracji platformy danych z Hadoop do GCP / BigQuery
• Analiza obecnego środowiska i identyfikacja obszarów wymagających uporządkowania oraz modernizacji
• Projektowanie i rozwój docelowej architektury danych w środowisku GCP
• Uporządkowanie, optymalizacja i modernizacja istniejących procesów ETL/ELT
• Przygotowanie strategii oraz podejścia do migracji danych i procesów
• Podejmowanie decyzji technologicznych i architektonicznych dotyczących Data Engineering
• Współpraca z zespołami technicznymi oraz interesariuszami biznesowymi
• Koordynowanie pracy zespołu Data Engineering i wyznaczanie kierunku jego rozwoju
• Dbanie o skalowalność, wydajność, jakość i niezawodność procesów danych
• Identyfikowanie ryzyk i zależności związanych z migracją oraz proponowanie odpowiednich rozwiązań

Administratorem danych jest co.brick Sp. z o.o. z siedzibą w Gliwicach. Podanie danych obowiązkowych jest wymagane zgodnie z Kodeksem pracy. Dane osobowe są przetwarzane w celu rekrutacji, z prawem do dostępu, sprostowania oraz innych uprawnień ochrony danych osobowych. Zgoda na przetwarzanie dodatkowych danych jest dobrowolna i może zostać wycofana.