Data Engineer

W Scalo zajmujemy się dostarczaniem projektów software'owych i wspieraniem naszych partnerów w rozwijaniu ich biznesu. Tworzymy oprogramowanie, które umożliwia ludziom dokonywanie zmian, działanie w szybszym tempie oraz osiąganie lepszych rezultatów. Wykorzystujemy szerokie spektrum usług IT, aby wspierać naszych klientów w realizacji ich celów biznesowych. Obszary naszej działalności obejmują m.in.: doradztwo technologiczne, tworzenie oprogramowania, systemy wbudowane, rozwiązania chmurowe, zarządzanie danymi, dedykowane zespoły projektowe.

• Min. 5 lat doświadczenia w obszarze Data Engineering, w tym min. 2 lata pracy z Google Cloud Platform.
• Doświadczenie w budowie i rozwoju hurtowni danych lub platform Data Lakehouse na dużą skalę.
• Bardzo dobra znajomość SQL, Python oraz PySpark.
• Praktyczne doświadczenie z BigQuery, dbt oraz Apache Airflow.
• Znajomość procesów CI/CD (GitHub Actions) oraz pracy z Git.
• Umiejętność projektowania rozwiązań end-to-end i podejmowania decyzji architektonicznych.
• Doświadczenie we współpracy z zespołami analitycznymi, biznesowymi i technologicznymi.
• Dobra znajomość usług GCP, takich jak IAM, Cloud Storage, Secret Manager i Monitoring.

Nice to have:

• Terraform i podejście Infrastructure as Code.
• Data Governance (Dataplex, Data Catalog, Data Lineage, DLP).
• Docker, FinOps oraz architektura Medallion/Data Mesh.
• Doświadczenie w sektorze finansowym lub bankowym.
• Certyfikaty Google Cloud (Professional Data Engineer lub Professional Cloud Architect).

• Projektowanie, budowa i utrzymanie nowoczesnych pipeline'ów danych z wykorzystaniem dbt oraz Apache Airflow.
• Rozwój rozwiązań przetwarzania danych w Pythonie i PySpark.
• Projektowanie oraz rozwój warstw Gold i Platinum platformy Data Lakehouse w oparciu o architekturę Medallion.
• Optymalizacja wydajności oraz kosztów środowiska BigQuery, w tym partycjonowanie, klastrowanie i działania FinOps.
• Budowa i utrzymanie procesów CI/CD z wykorzystaniem GitHub Actions.
• Zarządzanie infrastrukturą jako kodem (Terraform) oraz automatyzacja wdrożeń.
• Implementacja i rozwój modelu bezpieczeństwa danych, obejmującego m.in. IAM, RBAC/ABAC, Policy Tags oraz DLP.
• Współtworzenie standardów Data Governance, zarządzania metadanymi oraz data lineage.
• Udział w code review oraz rozwijaniu standardów technicznych zespołu.
• Wsparcie i konsultacje techniczne dla zespołów domenowych pracujących w modelu hub & spoke.
• Promowanie najlepszych praktyk z zakresu inżynierii danych i architektury rozwiązań na platformie GCP.
• Model świadczenia usług: hybrydowy obejmujący 8 dni w miesiącu z biura w Warszawie.