Big Data Engineer

160 - 190 PLN/ godz./ godz.B2BB2B (netto)

SeniorZdalnie·WarszawaInne·B2B

#466326·Dodano wczoraj·1

Źródło: justjoin.it

Aplikuj teraz

Tech Stack / Keywords

ETL toolsSQL Spark Big Data

Podsumowanie oferty

Poszukujemy Senior Big Data Engineera do projektowania, rozwijania i optymalizacji skalowalnych rozwiązań przetwarzania danych w środowisku Microsoft Azure. Projekt obejmuje budowę pipeline’ów danych oraz przygotowywanie danych na potrzeby analityki i projektów Machine Learning, z wykorzystaniem Apache Spark.

Wymagania

Wymagania:

Doświadczenie w projektowaniu i rozwijaniu rozwiązań Big Data / Data Engineering na poziomie Senior.
Bardzo dobra znajomość SQL oraz modelowania danych.
Zaawansowana znajomość Apache Spark, w szczególności DataFrame API, Spark SQL oraz optymalizacji wydajności.
Praktyczne doświadczenie w wykorzystaniu Pythona w obszarze Data Engineering.
Doświadczenie w projektowaniu, budowie i optymalizacji pipeline’ów ETL/ELT.
Znajomość przetwarzania dużych zbiorów danych ustrukturyzowanych i częściowo ustrukturyzowanych.
Praktyczna znajomość architektury Data Lake, w tym Parquet, Delta Lake i partycjonowania danych.
Doświadczenie z platformami chmurowymi, w szczególności Microsoft Azure.
Znajomość Git oraz procesów CI/CD.
Podstawowa znajomość statystyki, analizy danych i mechanizmów kontroli jakości danych.
Umiejętność diagnozowania problemów technicznych oraz optymalizacji wydajności rozwiązań.
Umiejętność współpracy z interesariuszami technicznymi i biznesowymi.

Mile widziane:

Doświadczenie z Azure Databricks.
Doświadczenie w projektach wykorzystujących Machine Learning.

Obowiązki

Zakres usług:

Projektowanie, budowa i rozwój skalowalnych pipeline’ów ETL/ELT w środowisku Microsoft Azure.
Optymalizacja procesów przetwarzania danych w Apache Spark (DataFrame API, Spark SQL) pod kątem wydajności, stabilności i niezawodności.
Projektowanie i rozwój rozwiązań Data Lake z wykorzystaniem Parquet, Delta Lake oraz mechanizmów partycjonowania danych.
Implementacja mechanizmów kontroli jakości danych oraz optymalizacja procesów ich przetwarzania.
Rozwój i utrzymanie kodu z wykorzystaniem Git oraz automatyzacja wdrożeń w ramach CI/CD.
Przygotowywanie i przetwarzanie danych na potrzeby rozwiązań analitycznych oraz projektów Machine Learning.
Analiza i rozwiązywanie problemów technicznych związanych z wydajnością i przetwarzaniem dużych zbiorów danych.
Konsultowanie wymagań technicznych i biznesowych z interesariuszami projektu.

Inne informacje

Poszukujemy osób dostępnych od zaraz lub z maksymalnie 14-dniową dostępnością.

TQLO sp. z o.o.

51 aktywnych ofert

Zobacz wszystkie oferty

Aplikuj teraz