Integral Solutions

Data Engineer

Brak informacji o wynagrodzeniu

SeniorZdalnie·WarszawaFull-time·B2B

#332041·Dodano 7 miesięcy temu·2

Źródło: Integral Solutions

Aplikuj teraz

Tech Stack / Keywords

GCP ETL PythonMLOpsDevOps BigQueryBigtableScyllaDBApache Airflow Kafka

Wymagania

Minimum pięć lat doświadczenia jako Data Engineer GCP, obejmujące projektowanie i realizację procesów integracji danych w środowisku Google Cloud.
Bardzo dobra znajomość baz danych GCP, takich jak BigQuery, Bigtable czy Scylla Cloud, w zakresie projektowania, tworzenia i optymalizacji ich działania.
Znajomość narzędzi ETL działających na GCP, m.in. Apache Airflow, Dataflow oraz Dataproc.
Umiejętność pracy z systemami kolejkowymi, takimi jak Kafka czy Pub/Sub w GCP.
Minimum cztery lata praktyki w roli ETL Developera tworzącego procesy integracji danych w środowiskach on‑premises.
Biegła znajomość narzędzi ETL on‑prem, w tym Informatica PowerCenter oraz NIFI.
Ekspercka znajomość relacyjnych baz danych Oracle, PostgreSQL i ScyllaDB, obejmująca projektowanie, budowę oraz optymalizację.
Bardzo dobra znajomość systemu harmonogramowania AutomateNow firmy Infinity Data.
Umiejętność tworzenia i wystawiania usług REST API.
Minimum trzy lata doświadczenia w programowaniu.
Bardzo dobra znajomość Pythona w obszarach integracji i analizy danych oraz frameworka PySpark.
Znajomość języka Rust, wykorzystywanego do tworzenia narzędzi i frameworków umożliwiających wydajne ładowanie danych.
Docelowo przejęcie odpowiedzialności za wybrane obszary przetwarzania i udostępniania danych, szczególnie w środowiskach wymagających wysokiej wydajności.

Nice to have:

Podstawowe umiejętności w zakresie tworzenia mikroserwisów w języku Java.
Swobodne korzystanie z systemu Linux na poziomie zaawansowanego użytkownika.
Doświadczenie w pracy z bardzo dużymi zbiorami danych, sięgającymi około 100 TB.
Zamiłowanie do analitycznego myślenia oraz szybkie przyswajanie nowych zagadnień.
Samodzielność i kreatywność w poszukiwaniu oraz wdrażaniu rozwiązań.
Wysoka rzetelność i terminowość podczas realizacji powierzonych zadań.
Znajomość narzędzi wspierających pracę, takich jak repozytoria GIT, systemy monitorujące (np. Grafana) czy narzędzia do testowania wydajności, np. Apache JMeter.

Obowiązki

Szukamy doświadczonego Senior Data Engineera, który swobodnie porusza się w środowisku GCP, ETL oraz zaawansowanej pracy z bazami danych i kolejkowaniem, a także biegle programuje w Pythonie i zna narzędzia wspierające wydajne przetwarzanie danych. W tej roli będziesz rozwijać, projektować i optymalizować złożone procesy integracyjne zarówno w chmurze, jak i w środowiskach on‑prem, wykorzystując nowoczesne technologie, narzędzia MLOps/DevOps oraz rozwiązania wysokowydajnościowe.

Jeśli chcesz przejąć odpowiedzialność za kluczowe obszary przetwarzania danych, pracować z ogromnymi wolumenami informacji i rozwijać narzędzia, które realnie wpływają na wydajność organizacji — dołącz do nas.

Benefity

Praca na kontrakcie B2B
Prezenty na różne okazje
Wydarzenia firmowe

Premie

Spotkania integracyjne

Integral Solutions

80 aktywnych ofert

Zobacz wszystkie oferty

Aplikuj teraz