Data Engineer

Wspólnie z naszym Partnerem, szwedzkim koncernem energetycznym będącym jednym z największych producentów i dystrybutorów energii w Europie, poszukujemy doświadczonego/ej specjalisty/ki do świadczenia usług jako Data Engineer. Projekt dotyczy budowy i utrzymania platformy danych zasilającej inteligentnych agentów AI automatyzujących procesy SOC w oparciu o Azure Data Explorer i Microsoft Sentinel.

• Minimum 4-letnie doświadczenie komercyjne na stanowisku Data Engineer.
• Znajomość ekosystemu Microsoft Azure, w tym Microsoft Defender i Microsoft Entra ID.
• Ogólna wiedza z zakresu IT security oraz znajomość podstaw sieciowych TCP/IP.
• Doświadczenie w pracy z SQL i Python w kontekście pipeline'ów danych.
• Silna, praktyczna znajomość KQL oraz Azure Data Explorer (ADX).
• Bardzo dobra znajomość języka angielskiego.
• Biegła znajomość języka polskiego.

Nice to have:

• Doświadczenie w budowie warstw raportowych w SQL na potrzeby dashboardów i agentów analitycznych.
• Doświadczenie w projektowaniu i implementacji integracji API-based oraz znajomość metod autentykacji.
• Znajomość Logic Apps i doświadczenie w konfigurowaniu przepływów integracyjnych.
• Doświadczenie z narzędziem Cribl w zakresie routingu i transformacji danych.

• Projektowanie i budowanie pipeline'ów ingestion danych w Azure Data Explorer, obejmujące normalizację i definiowanie schematów danych zasilających agentów AI.
• Pisanie i optymalizowanie zapytań KQL wykorzystywanych przez agentów do wzbogacania alertów, korelacji zdarzeń i threat huntingu.
• Diagnozowanie błędów po stronie danych i integracji oraz rozszerzanie istniejących integracji o nowe źródła i API.
• Onboarding nowych źródeł logów do Microsoft Sentinel i Azure Data Explorer wraz z bieżącą walidacją jakości danych na wejściu.
• Konfigurowanie przepływów integracyjnych w Logic Apps oraz routing i transformacja danych w Cribl.
• Tworzenie skryptów Python do automatyzacji zadań pipeline'owych i wywołań API między systemami.