Data engineer Azure Data Explorer

Wspólnie z naszym Partnerem, szwedzkim koncernem energetycznym będącym jednym z największych producentów i dystrybutorów energii w Europie.

• Minimum 4-letnie doświadczenie komercyjne na stanowisku Data Engineer.
• Znajomość ekosystemu Microsoft Azure, w tym Microsoft Defender i Entra ID.
• Wiedza z zakresu IT security oraz podstaw sieciowych TCP/IP.
• Doświadczenie w pracy z SQL i Python w kontekście pipeline'ów danych.
• Praktyczna znajomość KQL oraz Azure Data Explorer (ADX).
• Bardzo dobra znajomość języka angielskiego.
• Biegła znajomość języka polskiego.

Mile widziane:

• Doświadczenie w budowie warstw raportowych w SQL dla dashboardów i agentów analitycznych.
• Doświadczenie w projektowaniu i implementacji integracji API-based oraz znajomość metod autentykacji.
• Znajomość Logic Apps i doświadczenie w konfigurowaniu przepływów integracyjnych.
• Doświadczenie z narzędziem Cribl w zakresie routingu i transformacji danych.

• Projektowanie i budowanie pipeline'ów ingestion danych w Azure Data Explorer, wraz z normalizacją i definiowaniem schematów danych.
• Pisanie i optymalizowanie zapytań KQL do wzbogacania alertów, korelacji zdarzeń i threat huntingu.
• Diagnozowanie błędów danych i integracji oraz rozszerzanie istniejących integracji o nowe źródła i API.
• Onboarding nowych źródeł logów do Microsoft Sentinel i Azure Data Explorer z walidacją jakości danych.
• Konfigurowanie przepływów integracyjnych w Logic Apps oraz routing i transformacja danych w Cribl.
• Tworzenie skryptów w Python do automatyzacji zadań pipeline'owych i wywołań API między systemami.