Data Engineer

We provide complete software development teams, who will take complex care of your software. We are experienced in building teams uniquely suited to the specific needs of our clients. One team - a range of skills, diverse personalities, and various approaches.

• Minimum 3 lata komercyjnego doświadczenia jako Data Engineer w środowiskach z dużymi zbiorami danych
• Zaawansowana znajomość SQL i głębokie zrozumienie modelowania danych oraz architektury Cloud Data Warehouse
• Praktyczne doświadczenie w projektowaniu, implementacji i utrzymaniu procesów ETL/ELT
• Doświadczenie z platformami chmurowymi, zwłaszcza GCP (BigQuery, Dataflow)
• Silne umiejętności programistyczne w Python do przetwarzania Big Data, w tym PySpark i Airflow
• Znajomość Scala lub Java jako dodatkowy atut
• Doświadczenie z najlepszymi praktykami inżynierii oprogramowania: Clean Code, testowanie, Code Review i CI/CD
• Dobra znajomość środowisk Unix/Linux
• Wysoki poziom samodzielności, odpowiedzialności i własności dostarczanych rozwiązań
• Rozumienie koncepcji MLOps i cyklu życia modeli uczenia maszynowego
• Doświadczenie w przygotowywaniu struktur danych do trenowania modeli AI/ML i środowisk produkcyjnych

Nice to have:

• BigQuery
• Dataflow

• Projektowanie, rozwijanie i utrzymywanie skalowalnych potoków danych ETL/ELT
• Budowanie i optymalizacja architektur hurtowni danych w chmurze oraz modeli danych
• Przetwarzanie i zarządzanie dużymi zbiorami danych w środowiskach Big Data
• Rozwijanie i utrzymywanie rozwiązań z użyciem usług GCP, szczególnie BigQuery i Dataflow
• Optymalizacja wydajności i kosztów rozwiązań do przetwarzania danych
• Tworzenie i utrzymywanie przepływów pracy z użyciem Python, PySpark i Airflow
• Współpraca z zespołami interdyscyplinarnymi przy dostarczaniu kompleksowych rozwiązań danych
• Wsparcie inicjatyw AI/ML poprzez przygotowanie i zarządzanie strukturami danych do trenowania modeli i wdrożeń produkcyjnych
• Zapewnianie najlepszych praktyk inżynierii oprogramowania: Clean Code, testowanie, code review i CI/CD
• Monitorowanie i utrzymywanie niezawodności, skalowalności i wydajności platformy danych