AWS Senior Cloud Engineer (Developer/Application Focus)
Brak informacji o wynagrodzeniu
SeniorFull-time·Umowa o staż
#358053·Dodano 20 dni temu·2
Źródło: BPXTech Stack / Keywords
AWSCloudPySparkPythonCI/CDTerraformSnowflakeLambda
Wymagania
- Minimum 8 lat praktycznego doświadczenia w AWS Data Engineering, ze szczególnym naciskiem na development i architekturę.
- Bardzo dobra znajomość budowania pipeline’ów ingestujących dane z wykorzystaniem usług AWS (S3, AWS Glue, Lambda, Step Functions oraz pokrewnych usług).
- Mocne umiejętności programowania w PySpark i Python oraz doświadczenie w tworzeniu wydajnych i skalowalnych pipeline’ów przetwarzania danych.
- Dogłębna wiedza z zakresu modelowania danych, data lake/data warehouse oraz wzorców ETL/ELT.
- Doświadczenie we wdrażaniu mechanizmów kontroli jakości danych, data lineage, logowania i observability.
- Doświadczenie z CI/CD dla danych i kodu, IaC (Terraform/CloudFormation) oraz workflow opartymi o version control.
- Bardzo dobre umiejętności analityczne i komunikacyjne oraz zdolność do mentoringu i przewodzenia zespołowi poprzez przykład.
Obowiązki
- Projektowanie, rozwijanie i operacyjne utrzymanie kompleksowych pipeline’ów do ingestii danych w AWS, wspierających różne strategie ładowania danych, z naciskiem na niezawodność, skalowalność i optymalizację kosztów.
- Budowanie, walidacja i optymalizacja transformacji danych zgodnie z wymaganiami biznesowymi z wykorzystaniem PySpark i Python.
- Projektowanie i wdrażanie mechanizmów kontroli jakości danych, logowania, monitoringu oraz alertowania dla pipeline’ów ingestii i transformacji danych.
- Definiowanie i egzekwowanie najlepszych praktyk natywnych dla AWS w zakresie developmentu, bezpieczeństwa, IAM governance, networkingu, data governance oraz optymalizacji kosztów.
- Wsparcie procesów CI/CD oraz praktyk IaC (Infrastructure as Code), np. z wykorzystaniem CloudFormation/Terraform, dla powtarzalnych i audytowalnych wdrożeń.
- Zapewnienie uwzględnienia aspektów bezpieczeństwa danych, prywatności i compliance we wszystkich pipeline’ach danych.
- Prowadzenie projektowania i implementacji pipeline’ów danych w AWS oraz integracja z downstreamowymi platformami analitycznymi, takimi jak Snowflake.
- Dokumentowanie szczegółów technicznych i architektury w wiki.
- Mentoring i wsparcie zespołu, prowadzenie dokładnych code review, udzielanie konstruktywnego feedbacku oraz promowanie standardów jakości kodu i testowalności.
- Identyfikowanie, prototypowanie i ewaluacja nowych usług AWS oraz narzędzi third-party w celu poprawy niezawodności platformy i produktywności developerów.
BPX S.A.
26 aktywnych ofert