Data Engineer

In4ge jest firmą rekrutacyjną, której celem jest połączenie najbardziej utalentowanych pracowników z odpowiednimi firmami, tworząc synergiczne relacje przyczyniające się do wzrostu i sukcesu każdej ze stron.

• Doświadczenie w pracy na stanowisku Data Engineer lub w podobnej roli związanej z inżynierią danych.
• Praktyczne doświadczenie w projektowaniu, budowie i utrzymaniu pipeline’ów danych oraz procesów ETL/ELT.
• Znajomość platform danych Databricks, Snowflake oraz Azure Data Platform.
• Bardzo dobra znajomość języka SQL oraz doświadczenie w przetwarzaniu danych z wykorzystaniem PySpark.
• Doświadczenie w integracji danych z wykorzystaniem API oraz pracy z różnymi źródłami danych.
• Znajomość zasad projektowania skalowalnych, wydajnych i niezawodnych rozwiązań danych.
• Doświadczenie w automatyzacji procesów oraz znajomość praktyk CI/CD i DevOps w obszarze rozwiązań data engineering.
• Umiejętność optymalizacji procesów przetwarzania danych oraz rozwiązywania problemów związanych z wydajnością.
• Znajomość zasad bezpieczeństwa danych, zarządzania uprawnieniami i kontroli dostępu.
• Umiejętność analitycznego myślenia oraz rozwiązywania problemów technicznych.
• Umiejętność efektywnej współpracy z zespołami technicznymi i biznesowymi.
• Praktyczna znajomość języka angielskiego na poziomie min. B2/C1 umożliwiająca swobodną komunikację pisemną i ustną (codzienna współpraca z klientami i współpracownikami anglojęzycznymi).

• Projektowanie, rozwój i utrzymanie pipeline’ów danych.
• Pozyskiwanie, integrowanie i przetwarzanie danych z różnych systemów źródłowych, w szczególności ERP, HR, finansowych oraz innych systemów biznesowych.
• Budowa i rozwój procesów ETL/ELT umożliwiających automatyzację przepływu danych.
• Tworzenie transformacji danych oraz zapewnienie ich jakości, spójności i dostępności.
• Projektowanie i wdrażanie rozwiązań wspierających bezpieczne przechowywanie i dostęp do danych.
• Implementacja mechanizmów kontroli dostępu oraz zabezpieczeń danych zgodnie z wymaganiami organizacji i klientów.
• Optymalizacja wydajności, stabilności i skalowalności rozwiązań danych.
• Monitorowanie działania procesów danych oraz rozwiązywanie problemów związanych z ich działaniem.
• Wsparcie wdrażania, utrzymania i rozwoju produktów danych.
• Automatyzacja procesów związanych z przetwarzaniem i dostarczaniem danych.
• Współpraca z zespołami technicznymi, analitycznymi i biznesowymi w celu dostarczania rozwiązań odpowiadających na potrzeby organizacji.
• Udział w rozwoju i utrzymaniu procesów wdrożeniowych zgodnie z praktykami CI/CD i DevOps.