Data Engineer (Junior / Mid)

Spółka działająca w branży tradingu energetycznego i gazowego, skupiająca się na projektowaniu, budowie i utrzymaniu warstwy danych wspierającej aplikacje wewnętrzne, raportowanie oraz procesy operacyjne i analityczne.

• Komercyjne doświadczenie na poziomie Mid w obszarze Data Engineering, ETL/ELT, integracji danych lub budowy hurtowni danych.
• Bardzo dobra znajomość SQL oraz praktyka w pracy z relacyjnymi bazami danych, przede wszystkim MySQL i/lub Microsoft SQL Server, obejmująca transformacje, optymalizację zapytań i zarządzanie schematami.
• Bardzo dobra znajomość Python w kontekście przetwarzania danych, integracji i automatyzacji, w tym praca z bibliotekami takimi jak pandas, SQLAlchemy, requests, openpyxl.
• Doświadczenie w budowie i utrzymaniu procesów ETL/ELT oraz orkiestracji workflowów w Apache Airflow (mile widziana znajomość TaskFlow API).
• Praktyczna znajomość zagadnień związanych z jakością danych, walidacją, monitoringiem i obsługą błędów.
• Doświadczenie w integracji danych z różnych typów źródeł: REST API, SFTP, pliki XML, pliki Excel, ze szczególnym uwzględnieniem środowisk, gdzie dane napływają z zewnętrznych systemów giełdowych lub ERP.
• Doświadczenie w pracy z hurtownią danych lub warstwami analitycznymi wykorzystywanymi przez raportowanie i aplikacje.
• Umiejętność współpracy z programistami, DevOps i użytkownikami biznesowymi przy przekładaniu wymagań na rozwiązania techniczne.
• Ownership, samodzielność, dobra organizacja pracy oraz znajomość języka angielskiego na poziomie co najmniej B2.

Nice to have:

• Znajomość Bloomberg API, Microsoft Graph API (SharePoint, OneDrive) lub innych źródeł danych finansowych i rynkowych.
• Znajomość systemu ERP Comarch XL jako źródła danych w procesach ETL.
• Znajomość Azure, Kubernetes, Docker, GitHub Actions, ArgoCD, Helm lub podobnych elementów nowoczesnego stacku deploymentowego.
• Doświadczenie z narzędziami typu dbt, Kafka, CDC lub rozwiązaniami wspierającymi nowoczesne platformy danych.
• Praktyka we wspieraniu aplikacji biznesowych od strony danych oraz w budowie integracji między systemami.
• Doświadczenie we współpracy z Data Science lub w środowisku tradingowym, energetycznym lub gazowym – branżowa znajomość instrumentów (TGE, EEX, TTF, EUA, kontrakty terminowe) będzie dodatkowym atutem.

• Projektowanie, budowa i utrzymanie pipeline’ów ETL/ELT zasilających hurtownię danych, aplikacje wewnętrzne oraz warstwy raportowe.
• Modelowanie danych i rozwój struktur staging, core oraz data marts zapewniających spójność, wydajność i łatwość konsumpcji danych.
• Integracja danych z różnych źródeł: relacyjnych baz danych (MySQL, Microsoft SQL Server), zewnętrznych API (REST, SOAP), plików (XML, Excel, CSV), protokołu SFTP oraz systemów giełdowych i ERP.
• Automatyzacja procesów przetwarzania danych, walidacji, reconciliacji oraz cyklicznych zasileń w środowisku produkcyjnym.
• Budowa i utrzymanie mechanizmów kontroli jakości danych, monitoringu, alertowania oraz diagnostyki błędów.
• Rozwój i utrzymanie hurtowni danych oraz warstw pośrednich wspierających analitykę, raportowanie i procesy biznesowe.
• Wsparcie aplikacji operacyjnych i analitycznych od strony danych: dostępność źródeł, przewidywalność zasileń i jakość integracji.
• Współpraca z Data Scientistami przy przygotowaniu i udostępnianiu danych do modeli, analiz i eksperymentów.
• Współpraca z DevOps i programistami przy wdrożeniach, CI/CD, bezpieczeństwie, wydajności i stabilności rozwiązań danych.
• Prowadzenie dokumentacji technicznej obejmującej modele danych, lineage, zależności oraz standardy pracy z danymi.