Nowa
Senior Data Engineer (Databricks)
150 - 180 PLN/ godz.B2B (netto)
SeniorFull-time·B2B
#346993·Dodano dziś·0
Źródło: itfs.elevato.netTech Stack / Keywords
DatabricksPySparkPythonSparkSQLETLAzureData Lake
Wymagania
- Mini. 5 lat doświadczenia w obszarze Data Engineering.
- Doświadczenie przy co najmniej dwóch projektach realizowanych w Databricks jako Data Engineer.
- Bardzo dobra znajomość PySpark, Python oraz Spark SQL.
- Znajomość funkcji Databricks: Databricks Asset Bundles, Structured Streaming, Auto Loader, Azure Data Lake Storage, Databricks Jobs, Notebooks, REST API, Delta tables.
- Umiejętność efektywnej komunikacji z klientem i interesariuszami.
- J. angielski na poziomie min. B2.
Obowiązki
- Projektowanie i rozwój rozwiązań w środowisku Databricks.
- Budowa i optymalizacja pipeline’ów danych z wykorzystaniem PySpark, Python i Spark SQL.
- Tworzenie procesów ETL/ELT oraz rozwiązań opartych o Structured Streaming, Auto Loader i Delta Tables.
- Integracja danych oraz praca z Azure Data Lake Storage.
- Tworzenie i utrzymanie Databricks Jobs, Notebooks oraz integracji REST API.
- Udział w code review, testowaniu i tworzeniu dokumentacji technicznej.
- Wspieranie zespołu poprzez mentoring, dzielenie się wiedzą i współpracę z developerami.
Oferta
- Multisport
- Pakiet medyczny
Karta sportowa
Opieka zdrowotna
ITFS
146 aktywnych ofert