Senior Data Engineer (Azure)

Nasz Klient to międzynarodowa organizacja rozwijająca nowoczesne środowisko danych wspierające przetwarzanie, integrację oraz wykorzystanie informacji w różnych obszarach biznesowych. Projekt koncentruje się na rozwoju skalowalnej platformy danych w środowisku Azure.

• Minimum 6 lat komercyjnego doświadczenia w Data Engineering
• Bardzo dobra, praktyczna znajomość Azure Databricks w rozwiązaniach produkcyjnych
• Doświadczenie w projektowaniu i rozwijaniu rozwiązań wykorzystujących Azure Data Lake
• Bardzo dobra znajomość Azure Data Factory oraz doświadczenie w tworzeniu i orkiestracji pipeline’ów danych
• Bardzo dobra znajomość SQL, w tym tworzenie złożonych zapytań i optymalizacja operacji na danych
• Bardzo dobra znajomość Pythona w kontekście przetwarzania i transformacji danych
• Doświadczenie w projektowaniu procesów ETL/ELT oraz integracji danych z wielu źródeł
• Umiejętność optymalizacji wydajności procesów przetwarzania dużych wolumenów danych
• Doświadczenie w analizowaniu problemów związanych z jakością, spójnością i przepływem danych
• Umiejętność samodzielnego projektowania rozwiązań oraz podejmowania decyzji technicznych w obszarze Data Engineering
• Znajomość języka angielskiego na poziomie minimum C1, umożliwiająca swobodną komunikację w międzynarodowym środowisku projektowym

Nice to have:

• Doświadczenie z architekturą Lakehouse
• Znajomość Delta Lake
• Doświadczenie z rozwiązaniami CI/CD dla pipeline’ów i platform danych
• Znajomość zagadnień związanych z data quality, monitoringiem oraz governance danych

• Projektowanie i rozwijanie skalowalnych pipeline’ów oraz procesów przetwarzania danych w środowisku Azure
• Rozwój rozwiązań wykorzystujących Azure Databricks do transformacji i przetwarzania dużych zbiorów danych
• Budowa i rozwój warstwy przechowywania danych opartej na Azure Data Lake
• Tworzenie i utrzymywanie procesów integracji oraz orkiestracji danych z wykorzystaniem Azure Data Factory
• Implementacja procesów transformacji danych w Pythonie i SQL
• Integracja danych pochodzących z różnych systemów i źródeł
• Optymalizacja pipeline’ów, zapytań oraz procesów przetwarzania pod kątem wydajności i skalowalności
• Monitorowanie jakości i poprawności przetwarzanych danych oraz diagnozowanie problemów w przepływach danych
• Rozwijanie mechanizmów wspierających niezawodność i utrzymywalność platformy danych
• Udział w podejmowaniu decyzji technicznych dotyczących architektury i dalszego rozwoju środowiska Data

TQLO Sp. z o.o. – Agencja Zatrudnienia (nr KRAZ 33580)

By applying, you acknowledge that your personal data will be processed by TQLO sp. z o.o. with its registered office in Warsaw (hereinafter: the Controller) for the purpose of conducting the recruitment process.

The legal basis for processing your personal data is: taking steps prior to entering into a contract and fulfilling legal obligations under applicable law (Art. 6(1)(b) and (c) GDPR), your consent, in case of providing additional data beyond the scope required by law or consenting to participation in future recruitment processes (Art. 6(1)(a) GDPR).

Providing personal data within the scope resulting from the Polish Labour Code is necessary to participate in the recruitment process. Providing additional data is voluntary.

Your personal data may be shared with entities cooperating with the Controller in the recruitment process, including IT system providers and potential clients for whom recruitment processes are conducted.

Personal data will be processed for the duration of the recruitment process and for the period necessary to establish, exercise or defend legal claims. In the case of consent for future recruitment processes, data will be processed until the consent is withdrawn.

You have the right to access your personal data, rectify it, erase it, restrict processing, object to processing, request data portability, and lodge a complaint with a supervisory authority.

You may withdraw your consent at any time without affecting the lawfulness of processing carried out prior to its withdrawal.