Data Engineer (Azure Databricks + Python)

Jesteśmy firmą konsultingową, która pomaga klientom w automatyzacji procesów biznesowych przy pomocy AI, a specjalistom IT rozwijać karierę w modelu B2B. Oferujemy projekty z branż takich jak fintech, medtech, edutech czy automatyka przemysłowa. Dzięki ścisłej współpracy wspieramy rozwój naszych klientów poprzez dostarczanie szybkich i mierzalnych efektów, jednocześnie zapewniając specjalistom IT możliwości rozwoju kariery i zdobywania cennego doświadczenia.

• Minimum 5 lat komercyjnego doświadczenia w tworzeniu oprogramowania lub rozwiązaniach z obszaru data engineering.
• Bardzo dobra znajomość Apache Spark.
• Praktyczne doświadczenie z Azure Databricks i/lub Azure Synapse Analytics albo Microsoft Fabric.
• Bardzo dobra znajomość języka Python.
• Doświadczenie w przetwarzaniu i manipulowaniu danymi przy wykorzystaniu bibliotek takich jak Pandas, Polars lub podobnych.
• Dobra znajomość kolumnowych formatów przechowywania danych, w szczególności Parquet.
• Praktyczne doświadczenie w pracy z Delta Tables.
• Doświadczenie w projektowaniu procesów przetwarzania, analizowania i transformowania danych.
• Umiejętność tworzenia czystego, wydajnego, skalowalnego i łatwego w utrzymaniu kodu.
• Doświadczenie w optymalizacji wydajności aplikacji oraz procesów przetwarzania danych.
• Znajomość architektury mikroserwisowej i sposobów jej wykorzystania w skalowalnych systemach.
• Doświadczenie z Dockerem i Kubernetesem.
• Bardzo dobre zdolności analityczne i umiejętność rozwiązywania problemów.
• Praktyczne i pragmatyczne podejście do pracy, pozwalające łączyć ustalone procesy z elastycznością potrzebną do realizacji celów projektu.
• Bardzo dobra organizacja pracy, samodzielność oraz umiejętność ustalania priorytetów.
• Umiejętność pracy pod presją czasu i realizowania zadań w wymagających terminach.
• Bardzo dobre umiejętności komunikacyjne oraz doświadczenie w kontakcie z klientem.
• Znajomość języka angielskiego na poziomie min. C1.

• Projektowanie, rozwijanie i utrzymywanie wydajnych oraz skalowalnych aplikacji opartych na Apache Spark.
• Tworzenie rozwiązań do przetwarzania, analizowania i transformacji dużych zbiorów danych.
• Rozwijanie procesów oraz aplikacji data engineeringowych przy wykorzystaniu Python i Azure Databricks.
• Definiowanie oraz egzekwowanie dobrych praktyk programistycznych i standardów kodowania w projekcie.
• Przeprowadzanie code review i dbanie o jakość, czytelność oraz zgodność kodu z ustalonymi standardami.
• Optymalizowanie kodu i procesów przetwarzania danych pod kątem wydajności, skalowalności i efektywnego wykorzystania zasobów.
• Praca z formatami kolumnowymi, w szczególności Parquet, oraz tabelami Delta.
• Identyfikowanie i rozwiązywanie problemów technicznych wpływających na stabilność oraz wydajność aplikacji.
• Współpraca z zespołami technicznymi i biznesowymi przy dostarczaniu wysokiej jakości rozwiązań.
• Jasne komunikowanie zadań i instrukcji członkom zespołu oraz wspieranie organizacji codziennej pracy.
• Regularna komunikacja z klientem i pozostałymi interesariuszami projektu.
• Samodzielne planowanie i realizowanie powierzonych zadań.
• Tworzenie i aktualizowanie dokumentacji technicznej dotyczącej kodu, procesów oraz przepływów pracy.

Informujemy, że administratorem danych jest firma H2B Group Sp. z o.o. z siedzibą przy UL. Abrahama 1A 80-337 Gdańsk (zwaną dalej jako "administrator"). Masz prawo do żądania dostępu do swoich danych osobowych, ich sprostowania, usunięcia lub ograniczenia przetwarzania, prawo do wniesienia sprzeciwu wobec przetwarzania, a także prawo do przenoszenia danych oraz wniesienia skargi do organu nadzorczego. Dane osobowe przetwarzane będą w celu realizacji procesu rekrutacji. Podanie danych w zakresie wynikającym z ustawy z dnia 26 czerwca 1974 r. Kodeks pracy jest obowiązkowe. W pozostałym zakresie podanie danych jest dobrowolne. Odmowa podania danych obowiązkowych może skutkować brakiem możliwości przeprowadzenia procesu rekrutacji. Administrator przetwarza dane obowiązkowe na podstawie ciążącego na nim obowiązku prawnego, zaś w zakresie danych dodatkowych podstawą przetwarzania jest zgoda. Dane osobowe będą przetwarzane do czasu zakończenia postępowania rekrutacyjnego i przez okres możliwości dochodzenia ewentualnych roszczeń, a w przypadku wyrażenia zgody na udział w przyszłych postępowaniach rekrutacyjnych - do czasu wycofania tej zgody. Zgoda na przetwarzanie danych osobowych może zostać wycofana w dowolnym momencie. Odbiorcą danych jest serwis Just Join IT oraz inne podmioty, którym powierzyliśmy przetwarzanie danych w związku z rekrutacją.