Nowa
Data engineer
140 - 160 PLN/ godz.B2B (netto)
MidFull-time·B2B
#350917·Dodano dziś·0
Źródło: itfs.elevato.netTech Stack / Keywords
PythonAzureAzure Data FactoryAzure DatabricksPySparkSQL
Wymagania
- Bardzo dobra znajomość Pythona wraz z umiejętnością debugowania (głównie Python 2.x – intensywna praca praktyczna)
- Dobre zrozumienie koncepcji Data Engineering w środowisku Azure
- Praktyczne doświadczenie z:
- Azure Data Factory (ADF)
- Azure Databricks (ADB)
- Python / PySpark
- SQL
- Doświadczenie w budowie i utrzymaniu pipeline’ów danych oraz workflowów przetwarzania danych w Azure
- Dobra znajomość języka angielskiego (B2+)
Obowiązki
- Wspólne identyfikowanie i rozwijanie usprawnień dla platformy Data Marketplace oraz usług dla użytkowników
- Udział w projektowaniu i rozwijaniu pipeline’ów danych z naciskiem na stabilność, optymalizację i możliwość śledzenia danych (traceability)
- Tworzenie, testowanie i utrzymywanie pipeline’ów oraz procesów danych Data Marketplace
- Tworzenie i testowanie odpornego, modułowego kodu zapewniającego wysoką dostępność i odporność systemu
- Badanie i wdrażanie nowych metod i procesów w celu budowy wysokiej jakości produktów danych
- Współpraca między zespołami w celu zapewnienia płynnego przepływu danych przez etapy: ingestion, consumption i activation
Oferta
- Możliwość skorzystania z dodatkowych benefitów (pakiet medyczny, sportowy, darmowa opieka księgowa - do 3 wpisów miesięcznie)
ITFS
186 aktywnych ofert