Senior Data Engineer

Firma ITFS działa w branży automotive, realizując projekt budowy i walidacji systemów pojazdów autonomicznych (AV) oraz rozwój pipeline'ów kuracji danych.

• Minimum 5 lat doświadczenia w inżynierii danych
• Silne kompetencje w inżynierii oprogramowania i efektywnym rozwiązywaniu problemów
• Zaawansowana znajomość SQL i doświadczenie w tworzeniu złożonych zapytań
• Zaawansowana umiejętność programowania w Pythonie
• Zrozumienie rozproszonego przetwarzania danych i przepływów danych na dużą skalę
• Praktyczna znajomość technologii chmurowych i nowoczesnych platform danych
• Doświadczenie z narzędziami do orkiestracji workflow: Airflow, Argo Workflows lub podobne
• Znajomość zagadnień infrastrukturalnych (systemy przechowywania, mikroserwisy, architektura pipeline'ów)
• Doświadczenie w pracy z notebookami i workflow analizy danych
• Troubleshooting i wsparcie operacyjne produkcyjnych pipeline'ów danych
• Zrozumienie zasad data search i data discovery
• Znajomość języka angielskiego na poziomie minimum B2 (praca w środowisku międzynarodowym)

Mile widziane:

• Doświadczenie ze Spark / PySpark
• Znajomość Databricks
• Doświadczenie w analizie danych time-series
• Zrozumienie procesów przygotowania danych i przepływów w ML
• Doświadczenie we wspieraniu pipeline'ów danych do analityki, symulacji lub aplikacji ML
• Doświadczenie w pracy z platformami danych na dużą skalę i systemami rozproszonymi
• Wyższe wykształcenie informatyczne

Zakres obowiązków:

• Wsparcie danych symulacyjnych w rozwoju pojazdów autonomicznych (AV) w zakresie wykrywania przeszkód, planowania tras i analizy złożonych sytuacji drogowych
• Praca na danych z czujników (kamery, LiDAR, radar) pochodzących z floty testowej generujących do 1 TB danych na godzinę
• Budowa i optymalizacja pipeline'ów kuracji danych od surowych odczytów z czujników do zestawów gotowych do symulacji
• Przetwarzanie i analiza wielkoskalowych danych sensorycznych generowanych przez flotę testową
• Bliska współpraca z inżynierami i badaczami rozwijającymi krytyczne systemy bezpieczeństwa AV

Oferta dostępna wyłącznie dla kandydatów zlokalizowanych w Polsce.