ITELENCE

Big Data Engineer

160 - 190 PLN/ godz./ godz.B2BB2B (netto)

MidZdalnie·WarszawaFull-time·B2B

#463560·Dodano 14 dni temu·6

Źródło: justjoin.it

Aplikuj teraz

Tech Stack / Keywords

SQL Apache Spark PythonETL/ELTGit CI/CD Microsoft Azure AWS

Podsumowanie oferty

Dla jednego z klientów ITELENCE osoba na tym stanowisku będzie projektować i utrzymywać skalowalne procesy przetwarzania dużych wolumenów danych w chmurze. Praca obejmuje przygotowywanie danych do analityki biznesowej i projektów Machine Learning z wykorzystaniem Apache Spark, SQL, Python oraz Azure.

Wymagania

Dobra znajomość SQL oraz zagadnień związanych z modelowaniem danych.
Praktyczna znajomość Apache Spark, w szczególności DataFrame API, Spark SQL oraz technik optymalizacji wydajności zadań.
Dobra znajomość języka Python w kontekście inżynierii danych oraz podstawowych zadań związanych z analizą danych.
Doświadczenie w projektowaniu, budowie i utrzymaniu procesów ETL/ELT.
Doświadczenie w pracy z dużymi zbiorami danych ustrukturyzowanych i częściowo ustrukturyzowanych.
Znajomość koncepcji data lake oraz formatów i technologii takich jak Parquet, Delta Lake i partycjonowanie danych.
Podstawowa znajomość Git oraz procesów CI/CD.
Znajomość chmurowych platform danych, takich jak Microsoft Azure lub AWS, ze szczególnym uwzględnieniem Azure.
Podstawowa znajomość statystyki, analizy danych oraz praktyk związanych z kontrolą jakości danych.
Umiejętność diagnozowania problemów technicznych oraz optymalizacji wydajności procesów przetwarzania danych.
Dobre umiejętności komunikacyjne oraz umiejętność efektywnej współpracy z interesariuszami biznesowymi i technologicznymi.

Mile widziane:

Doświadczenie w pracy z platformą Databricks.
Udział w projektach Machine Learning oraz znajomość specyfiki przygotowywania danych na potrzeby modeli ML.
Doświadczenie w rozwijaniu i optymalizacji rozwiązań przetwarzających duże wolumeny danych w środowisku chmurowym.
Znajomość dobrych praktyk w zakresie testowania, monitorowania i wdrażania rozwiązań data engineering.

Obowiązki

Projektowanie, budowa i utrzymanie skalowalnych pipeline’ów ETL/ELT przetwarzających duże wolumeny danych w środowisku chmurowym Azure.
Optymalizacja zadań Apache Spark z wykorzystaniem DataFrame API i Spark SQL pod kątem wydajności, skalowalności i niezawodności.
Przygotowywanie i przetwarzanie danych na potrzeby analityki biznesowej oraz projektów Machine Learning.
Wdrażanie dobrych praktyk w zakresie architektury data lake, w tym wykorzystania formatów Parquet i Delta Lake oraz odpowiedniego partycjonowania danych.
Implementacja mechanizmów kontroli jakości danych oraz monitorowanie poprawności i niezawodności procesów przetwarzania.
Zarządzanie kodem źródłowym z wykorzystaniem Git oraz wspieranie procesów CI/CD, testowania i przyrostowych wdrożeń.
Analiza i rozwiązywanie problemów związanych z przetwarzaniem dużych zbiorów danych oraz optymalizacja istniejących rozwiązań.
Współpraca z zespołami technicznymi, analitycznymi i biznesowymi w celu zrozumienia potrzeb dotyczących danych oraz dostarczania odpowiednich rozwiązań.

Benefity

Udział w projektach związanych z przetwarzaniem dużych wolumenów danych oraz rozwojem nowoczesnych rozwiązań data engineering.
Możliwość pracy z technologiami chmurowymi, w szczególności Microsoft Azure, oraz Apache Spark.
Współpraca przy realizacji projektów wspierających analitykę danych i rozwój rozwiązań Machine Learning.
Karta Multisport PLUS.
Prywatna opieka medyczna.

Karta sportowa

Opieka zdrowotna

Inne informacje

Projekt rozpoczyna się w listopadzie i trwa 3 miesiące, z możliwością przedłużenia.

ITELENCE

53 aktywne oferty

Zobacz wszystkie oferty

Aplikuj teraz