Data Engineer

W Scalo zajmujemy się dostarczaniem projektów software'owych i wspieraniem naszych partnerów w rozwijaniu ich biznesu. Tworzymy oprogramowanie, które umożliwia ludziom dokonywanie zmian, działanie w szybszym tempie oraz osiąganie lepszych rezultatów. Wykorzystujemy szerokie spektrum usług IT, aby wspierać naszych klientów w realizacji ich celów biznesowych. Obszary naszej działalności obejmują m.in.: doradztwo technologiczne, tworzenie oprogramowania, systemy wbudowane, rozwiązania chmurowe, zarządzanie danymi, dedykowane zespoły projektowe.

• Minimum 5 lat doświadczenia w obszarze Data Engineering, w tym minimum 2 lata pracy z Google Cloud Platform
• Doświadczenie w budowie i rozwoju hurtowni danych lub platform Data Lakehouse na dużą skalę
• Bardzo dobra znajomość SQL, Python oraz PySpark
• Praktyczne doświadczenie z BigQuery, dbt oraz Apache Airflow
• Znajomość procesów CI/CD (GitHub Actions) oraz pracy z Git
• Umiejętność projektowania rozwiązań end-to-end i podejmowania decyzji architektonicznych
• Doświadczenie we współpracy z zespołami analitycznymi, biznesowymi i technologicznymi
• Dobra znajomość usług GCP, takich jak IAM, Cloud Storage, Secret Manager i Monitoring

Mile widziane:

• Terraform i podejście Infrastructure as Code
• Data Governance (Dataplex, Data Catalog, Data Lineage, DLP)
• Docker, FinOps oraz architektura Medallion/Data Mesh
• Doświadczenie w sektorze finansowym lub bankowym
• Certyfikaty Google Cloud (Professional Data Engineer lub Professional Cloud Architect)

• Projektowanie, budowa i utrzymanie nowoczesnych pipeline'ów danych z wykorzystaniem dbt oraz Apache Airflow
• Rozwój rozwiązań przetwarzania danych w Python i PySpark
• Projektowanie oraz rozwój warstw Gold i Platinum platformy Data Lakehouse w oparciu o architekturę Medallion
• Optymalizacja wydajności oraz kosztów środowiska BigQuery, w tym partycjonowanie, klastrowanie i działania FinOps
• Budowa i utrzymanie procesów CI/CD z wykorzystaniem GitHub Actions
• Zarządzanie infrastrukturą jako kodem (Terraform) oraz automatyzacja wdrożeń
• Implementacja i rozwój modelu bezpieczeństwa danych, obejmującego m.in. IAM, RBAC/ABAC, Policy Tags oraz DLP
• Współtworzenie standardów Data Governance, zarządzania metadanymi oraz data lineage
• Udział w code review oraz rozwijaniu standardów technicznych zespołu
• Wsparcie i konsultacje techniczne dla zespołów domenowych pracujących w modelu hub & spoke
• Promowanie najlepszych praktyk z zakresu inżynierii danych i architektury rozwiązań na platformie GCP
• Model świadczenia usług: hybrydowy obejmujący 8 dni w miesiącu z biura w Warszawie