Data Engineer

Nasz Klient to międzynarodowa organizacja z sektora finansowego realizująca projekty związane z analizą danych, modelowaniem ryzyka oraz rozwojem nowoczesnych platform przetwarzania informacji. Projekt koncentruje się na rozwoju rozwiązań Big Data wspierających zaawansowane procesy analityczne oraz inicjatywy regulacyjne. Zakres współpracy obejmuje budowę i rozwój platform danych, optymalizację procesów przetwarzania oraz dostarczanie rozwiązań wspierających podejmowanie decyzji biznesowych.

Must have:

• Minimum 3 lata doświadczenia komercyjnego na stanowisku Data Engineer w sektorze bankowym lub finansowym
• Bardzo dobra znajomość Python
• Praktyczne doświadczenie z PySpark
• Doświadczenie w pracy z Azure Databricks
• Znajomość środowiska Hadoop, w tym HDFS oraz Hive
• Doświadczenie w przetwarzaniu dużych wolumenów danych
• Bardzo dobra znajomość SQL
• Umiejętność analizy i pracy z istniejącymi rozwiązaniami opartymi o Java
• Znajomość narzędzi takich jak Git, GitHub, Jenkins, Jira oraz Confluence
• Znajomość języka angielskiego na poziomie minimum C1

Nice to have:

• Doświadczenie z narzędziami do orkiestracji procesów, takimi jak Airflow, Oozie lub Control-M
• Znajomość platform chmurowych AWS, Azure lub GCP
• Doświadczenie z rozwiązaniami streamingowymi, takimi jak Kafka
• Znajomość ServiceNow
• Doświadczenie z Starburst

• Projektowanie, rozwijanie oraz utrzymywanie procesów przetwarzania danych z wykorzystaniem Python oraz PySpark
• Tworzenie i optymalizacja rozwiązań działających w środowiskach Azure Databricks, Hadoop oraz rozproszonych platformach danych
• Wspieranie inicjatyw związanych z analizą danych, modelowaniem ryzyka oraz rozwojem zaawansowanych procesów obliczeniowych
• Współpraca z zespołami biznesowymi, analitycznymi oraz technologicznymi przy dostarczaniu rozwiązań opartych o dane
• Dbałość o jakość danych, wydajność procesów oraz niezawodność rozwijanych rozwiązań
• Wykorzystywanie dobrych praktyk związanych z bezpieczeństwem, zarządzaniem danymi oraz rozwojem oprogramowania

By applying, you acknowledge that your personal data will be processed by TQLO sp. z o.o. with its registered office in Warsaw (hereinafter: the Controller) for the purpose of conducting the recruitment process.

The legal basis for processing your personal data is:  taking steps prior to entering into a contract and fulfilling legal obligations under applicable law (Art. 6(1)(b) and (c) GDPR),  your consent, in case of providing additional data beyond the scope required by law or consenting to participation in future recruitment processes (Art. 6(1)(a) GDPR).

Providing personal data within the scope resulting from the Polish Labour Code is necessary to participate in the recruitment process. Providing additional data is voluntary.

Your personal data may be shared with entities cooperating with the Controller in the recruitment process, including IT system providers and potential clients for whom recruitment processes are conducted.

Personal data will be processed for the duration of the recruitment process and for the period necessary to establish, exercise or defend legal claims. In the case of consent for future recruitment processes, data will be processed until the consent is withdrawn.

You have the right to access your personal data, rectify it, erase it, restrict processing, object to processing, request data portability, and lodge a complaint with a supervisory authority.

You may withdraw your consent at any time without affecting the lawfulness of processing carried out prior to its withdrawal.