Data Engineer

• Min. 3 lata doświadczenia w DE
• Znajomość PostgreSQL (projektowanie schematów, indeksowanie, optymalizacja zapytań i wydajności)
• Biegłość w Pythonie (tworzenie pipeline'ów, walidacja danych, frameworki orkiestracji)
• Dobra znajomość chmury AWS (S3, EKS, Glue, Athena) oraz narzędzi do rozproszonego przetwarzania (np. Spark / Athena)
• Doświadczenie w projektowaniu pipeline’ów ETL/ELT i modelowaniu danych (modelowanie wymiarowe, wzorce hurtowni danych i powtarzalnych transformacji)
• Znajomość dobrych praktyk: Git workflows, code review, testowanie i CI/CD
• Umiejętność efektywnego wykorzystywania agentów LLM/AI
• Znajomość j. angielskiego na poziomie min. B2 (praca w środowisku międzynarodowym)

Nice to have:

• Narzędzia do orkiestracji workflow (np. AWS Step Functions, Prefect, Dagster)
• Nowoczesny stos danych (wzorce ELT, data lakehouse, warstwy semantyczne, data governance)
• Wdrażanie zautomatyzowanych frameworków jakości danych, monitorowanie potoków (pipeline observability) oraz streaming (Kafka, Spark Streaming, Pub/Sub)

Zakres obowiązków:

• Projektowanie, budowanie i utrzymanie skalowalnych potoków ETL/ELT do integracji, transformacji i dostarczania danych
• Tworzenie i optymalizacja procesów rozproszonego przetwarzania danych w Pythonie na dużą skalę
• Zarządzanie strukturami PostgreSQL i optymalizacja zapytań dla analityki i raportowania
• Orkiestracja, walidacja i dostarczanie danych między środowiskami przy użyciu Pythona
• Projektowanie i zarządzanie infrastrukturą danych AWS oraz dbanie o jakość i jakość danych (testy, alerty, observability)
• Współpraca z biznesem i analitykami
• Prowadzenie dokumentacji (modele danych, data lineage, infrastruktura) oraz diagnostyka i usuwanie awarii pipeline’ów