Senior Data Engineer (GenAI/LLM)

Clurgo to firma stworzona przez developerów dla developerów realizująca projekty IT dla klientów z wielu branż, zachowując dobre praktyki programistyczne i work-life balance. Firma realizuje projekt dla sektora bankowego łączący nowoczesną inżynierię danych z rozwiązaniami GenAI i LLM wspierającymi automatyzację procesów związanych z przetwarzaniem i dostarczaniem danych.

• doświadczenie jako Data Engineer w środowiskach enterprise
• praktyczne doświadczenie z rozwiązaniami GenAI i LLM wykorzystywanymi do automatyzacji procesów inżynierskich
• budowa rozwiązań wykorzystujących AI do automatyzacji review, quality gates, testowania lub wsparcia procesu wytwarzania oprogramowania
• doświadczenie z integracją AI w procesach CI/CD
• doświadczenie z Kafka oraz transformacjami danych opartymi o SQL
• doświadczenie z frameworkami przetwarzania danych, takimi jak Apache Spark lub Apache Flink
• znajomość cyklu życia schematów danych oraz formatów JSON, Avro lub XSD
• doświadczenie z Kubernetes oraz Git
• praca z pipeline’ami buildowymi i CI/CD (np. Bazel, Tekton)

Nice to have:

• znajomość Data Reference Architecture oraz Data Product Model
• doświadczenie z Airflow
• znajomość Snowflake i Apache Iceberg

• projektowanie i rozwój rozwiązań wykorzystujących GenAI oraz LLM do automatyzacji procesów inżynierskich
• budowa workflow wspierających automatyzację code review, quality gates oraz procesów developerskich
• rozwój AI-driven test automation i automatycznego generowania testów end-to-end
• tworzenie i utrzymanie pipeline’ów przetwarzania danych zgodnych z architekturą Availability Layer
• rozwój transformacji danych opartych o SQL i Kafka
• zarządzanie cyklem życia schematów danych, walidacją oraz wersjonowaniem
• udział w rozwoju frameworka, dokumentacji technicznej oraz Architecture Decision Records (ADR)
• dbanie o stabilność operacyjną, jakość i bezpieczeństwo dostarczanych rozwiązań