IngestOps Engineer Data Engineer (f/m)

• Very good knowledge of Linux, including log analysis, file operations, monitoring, and command-line tools.
• Very good knowledge of SQL, including joins, aggregations, stored procedures, and performance optimisation.
• Experience in building or maintaining data ingestion and integration processes.
• Practical knowledge of data validation, cleansing, and transformation.
• Ability to analyse complex data flows and troubleshoot technical issues.
• Experience working with large data volumes.
• English proficiency sufficient for effective communication in an international project environment.
• Independence, accountability, and strong problem-solving skills.

Nice to have:

• Knowledge of Python.
• Experience with Apache Spark, PySpark, or the Hadoop ecosystem.
• Knowledge of Apache Airflow or other workflow orchestration tools.
• Experience with Apache Kafka and stream processing.
• Knowledge of Data Lake environments and ETL ELT processes.
• Experience with cloud solutions, particularly AWS.
• Familiarity with Docker, CI CD, Databricks, or Snowflake.

• Build and maintain data ingestion processes for external systems.
• Validate, transform, and prepare data for downstream processing.
• Monitor data pipelines and troubleshoot operational issues.
• Analyse logs and perform daily operations in a Linux environment.
• Create, analyse, and optimise SQL queries.
• Identify performance bottlenecks and improve data-processing efficiency.
• Ensure the quality, integrity, and consistency of data loaded into target systems.
• Cooperate with technical and business teams.
• Participate in deployments and the maintenance of data-processing solutions.

Informujemy, że administratorem danych jest B2B.net S.A. z siedzibą w Lidzbarku, ul. Wielki Łęck 81A (dalej jako "administrator"). Masz prawo do żądania dostępu do swoich danych osobowych, ich sprostowania, usunięcia lub ograniczenia przetwarzania, prawo do wniesienia sprzeciwu wobec przetwarzania, a także prawo do przenoszenia danych oraz wniesienia skargi do organu nadzorczego. Dane osobowe przetwarzane będą w celu realizacji procesu rekrutacji. Podanie danych w zakresie wynikającym z ustawy z dnia 26 czerwca 1974 r. Kodeks pracy jest obowiązkowe. W pozostałym zakresie podanie danych jest dobrowolne. Odmowa podania danych obowiązkowych może skutkować brakiem możliwości przeprowadzenia procesu rekrutacji. Administrator przetwarza dane obowiązkowe na podstawie ciążącego na nim obowiązku prawnego, zaś w zakresie danych dodatkowych podstawą przetwarzania jest zgoda. Dane osobowe będą przetwarzane do czasu zakończenia postępowania rekrutacyjnego i przez okres możliwości dochodzenia ewentualnych roszczeń, a w przypadku wyrażenia zgody na udział w przyszłych postępowaniach rekrutacyjnych - do czasu wycofania tej zgody. Zgoda na przetwarzanie danych osobowych może zostać wycofana w dowolnym momencie. Odbiorcą danych jest serwis Just Join IT oraz inne podmioty, którym powierzyliśmy przetwarzanie danych w związku z rekrutacją.