Lead Data Engineer (Python | Pyspark | Databricks)

1dea is a recruitment and IT outsourcing company focusing on expert and managerial positions. Based in Poland with a global network, it covers IT, Transport, Spedition, Logistics, Property & Construction, and Tax & Legal sectors.

• Minimum 5 lat doświadczenia w inżynierii danych, łączącego projektowanie rozwiązań z ich samodzielnym wdrażaniem
• Ekspercka znajomość Python: Pisanie czystego, modułowego kodu gotowego na środowiska produkcyjne
• Big Data & Ecosystem: Silne doświadczenie z PySpark oraz systemami rozproszonego przetwarzania danych (np. Databricks, Spark)
• Architektura danych: Głębokie zrozumienie i praktyka w projektowaniu struktur typu Data Lake, Lakehouse oraz Medallion Architecture
• Cloud Expertise: Praktyczna znajomość usług danych w chmurze (AWS, Azure lub GCP)
• Orkiestracja i SQL: Doświadczenie z narzędziami do orkiestracji (np. Apache Airflow, Prefect) oraz zaawansowany SQL (bazy relacyjne i NoSQL)
• DevOps dla Data: Dobre zrozumienie praktyk CI/CD, kontroli wersji (Git) i automatyzacji pipeline'ów
• Angielski: komunikatywny w mowie i piśmie - poziom B2+

Nice to have:

• Zaawansowana znajomość Databricks (Delta Lake, MLflow, optymalizacja wydajności)
• Znajomość technik modelowania danych (modele dymensjonalne i znormalizowane) oraz frameworków Data Governance
• Orientacja w pipeline'ach dla Data Science / Machine Learning

• Projektowanie i architektura: Tworzenie skalowalnych, niezawodnych i efektywnych kosztowo platform oraz pipeline'ów danych dopasowanych do potrzeb biznesu
• Wdrożenie (Hands-on): Budowanie i optymalizacja zaawansowanych procesów przetwarzania danych strukturyzowanych i niestrukturyzowanych (end-to-end: od ingestii po warstwę konsumpcyjną)
• Standardy i jakość: Wyznaczanie standardów architektonicznych, dbanie o Data Quality, bezpieczeństwo (Security & Compliance) oraz najlepsze praktyki w zespole
• Liderstwo techniczne: Mentoring młodszych inżynierów, wsparcie techniczne dla cross-funkcjonalnych zespołów oraz przekładanie wymagań biznesowych na architekturę IT
• Rozwiązywanie krytycznych incydentów produkcyjnych i zapewnianie wysokiej dostępności systemów danych

Oferta dostępna wyłącznie dla kandydatów zlokalizowanych w Polsce. Proces rekrutacyjny odbywa się w 100% zdalnie.