B2Bnetwork

IngestOps Engineer Data Engineer (f/m)

Brak informacji o wynagrodzeniu

SeniorHybryda·WarszawaFull-time·B2B

#436730·Dodano dwa miesiące temu·1

Źródło: justjoin.it

Aplikuj teraz

Tech Stack / Keywords

Linux SQLdata ingestion and integration processesdata validation, cleansing, and transformation

Podsumowanie oferty

This role involves building and maintaining data ingestion processes along with operational maintenance of data-processing environments. The engineer will work on validating, transforming, and preparing data for downstream use, monitoring data pipelines, troubleshooting issues, and cooperating with both technical and business teams. Key responsibilities include working in a Linux environment, optimizing SQL queries, and ensuring data quality and consistency. The position supports data ingestion, processing, and loading in an international project environment.

Wymagania

Very good knowledge of Linux, including log analysis, file operations, monitoring, and command-line tools.
Very good knowledge of SQL, including joins, aggregations, stored procedures, and performance optimisation.
Experience in building or maintaining data ingestion and integration processes.
Practical knowledge of data validation, cleansing, and transformation.
Ability to analyse complex data flows and troubleshoot technical issues.
Experience working with large data volumes.
English proficiency sufficient for effective communication in an international project environment.
Independence, accountability, and strong problem-solving skills.

Nice to have:

Knowledge of Python.
Experience with Apache Spark, PySpark, or the Hadoop ecosystem.
Knowledge of Apache Airflow or other workflow orchestration tools.
Experience with Apache Kafka and stream processing.
Knowledge of Data Lake environments and ETL ELT processes.
Experience with cloud solutions, particularly AWS.
Familiarity with Docker, CI CD, Databricks, or Snowflake.

Obowiązki

Build and maintain data ingestion processes for external systems.
Validate, transform, and prepare data for downstream processing.
Monitor data pipelines and troubleshoot operational issues.
Analyse logs and perform daily operations in a Linux environment.
Create, analyse, and optimise SQL queries.
Identify performance bottlenecks and improve data-processing efficiency.
Ensure the quality, integrity, and consistency of data loaded into target systems.
Cooperate with technical and business teams.
Participate in deployments and the maintenance of data-processing solutions.

Inne informacje

Informujemy, że administratorem danych jest B2B.net S.A. z siedzibą w Lidzbarku, ul. Wielki Łęck 81A (dalej jako "administrator"). Masz prawo do żądania dostępu do swoich danych osobowych, ich sprostowania, usunięcia lub ograniczenia przetwarzania, prawo do wniesienia sprzeciwu wobec przetwarzania, a także prawo do przenoszenia danych oraz wniesienia skargi do organu nadzorczego. Dane osobowe przetwarzane będą w celu realizacji procesu rekrutacji. Podanie danych w zakresie wynikającym z ustawy z dnia 26 czerwca 1974 r. Kodeks pracy jest obowiązkowe. W pozostałym zakresie podanie danych jest dobrowolne. Odmowa podania danych obowiązkowych może skutkować brakiem możliwości przeprowadzenia procesu rekrutacji. Administrator przetwarza dane obowiązkowe na podstawie ciążącego na nim obowiązku prawnego, zaś w zakresie danych dodatkowych podstawą przetwarzania jest zgoda. Dane osobowe będą przetwarzane do czasu zakończenia postępowania rekrutacyjnego i przez okres możliwości dochodzenia ewentualnych roszczeń, a w przypadku wyrażenia zgody na udział w przyszłych postępowaniach rekrutacyjnych - do czasu wycofania tej zgody. Zgoda na przetwarzanie danych osobowych może zostać wycofana w dowolnym momencie. Odbiorcą danych jest serwis Just Join IT oraz inne podmioty, którym powierzyliśmy przetwarzanie danych w związku z rekrutacją.

B2Bnetwork

171 aktywnych ofert

Zobacz wszystkie oferty

Aplikuj teraz