Data Engineer (Regular Expressions)

W IT LeasingTeam łączymy najwyższej klasy ekspertów z prestiżowymi projektami technologicznymi. Obecnie poszukujemy Inżyniera Danych ze ścisłą specjalizacją w Regular Expressions, który dołączy do nowo budowanego zespołu wspierającego jednego z globalnych liderów branży telekomunikacyjnej.

• Głębokie, udokumentowane doświadczenie komercyjne w tworzeniu i optymalizowaniu Regular Expressions.
• Biegła znajomość języka angielskiego w mowie i piśmie na poziomie min. B2+.
• Umiejętność pisania skryptów wspierających (np. Python, Java) przydatna w testowaniu i automatyzacji rozwiązań.
• Silne zainteresowanie obszarem Big Data i chęć nauki/rozwoju w nowoczesnych architekturach danych.

Mile widziany stos technologiczny:

• Spark
• Scala
• Hadoop
• Airflow
• Kafka
• ElasticSearch (Open Distro)

• Projektowanie i optymalizacja Regex: Tworzenie od podstaw i utrzymywanie wysoce wydajnych wyrażeń regularnych dla nowych tematów logów telekomunikacyjnych.
• Świadome zarządzanie optymalizacją (np. stosowanie grup nieprzechwytujących i eliminacja zbędnych nawiasów) w celu radykalnej poprawy wydajności.
• Przetwarzanie strumieniowe: Implementacja wzorców do procesów Spark Structure Streaming, które czytają dane bezpośrednio z Apache Kafka z prędkością ok. 1 000 000 rekordów na sekundę.
• Transformacja danych: Wzbogacanie, kategoryzacja oraz filtracja wyekstrahowanych informacji z surowych logów, a następnie zasilanie nimi bazy Elasticsearch.
• Skalowanie operacji: Projektowanie reguł w sposób umożliwiający utrzymanie wysokiej czytelności dla procesów Code Review, przy jednoczesnym spełnianiu rygorystycznych wymogów wydajnościowych (latencja < 5s przy rosnącej skali obciążeń).

Agencja zatrudnienia - nr certyfikatu 14181