Senior Data Engineer

The Data Engineer will join a data-infrastructure team responsible for a scalable, robust, self-service analytics platform.

Must have:

• 3+ years of experience in data engineering
• Experience working with an orchestration tool (e.g., Airflow)
• Experience working with large data sets
• Experience building complex ETL pipelines
• Experience working with cloud providers such as GCP, AWS, or Azure
• Strong programming skills in Spark with Scala and Python
• Experience working with CI/CD tools like Jenkins and Git
• Strong understanding of Software Engineering practices and principles
• Excellent problem-solving and communication skills
• Self-motivated with proven ability to own and solve problems

Nice to have:

• Preferred experience with Kubernetes
• Experience with Kafka or another messaging system, streaming platforms
• BigQuery or Redshift data-warehouse administration

• Maintaining an ingestion pipeline processing billions of events daily against a defined SLA
• Supporting teams that build and optimize complex data pipelines
• Identifying platform problems with other engineering teams
• Developing tools and frameworks for the data platform
• Supporting data scientists and analysts with production workloads
• Contributing to ML-platform and streaming initiatives
• Establishing software-engineering and data-development practices

Informujemy, że administratorem danych jest emagine z siedzibą w Warszawie, ul.Domaniewskiej 39A (dalej jako "administrator"). Masz prawo do żądania dostępu do swoich danych osobowych, ich sprostowania, usunięcia lub ograniczenia przetwarzania, prawo do wniesienia sprzeciwu wobec przetwarzania, a także prawo do przenoszenia danych oraz wniesienia skargi do organu nadzorczego. Dane osobowe przetwarzane będą w celu realizacji procesu rekrutacji. Podanie danych w zakresie wynikającym z ustawy z dnia 26 czerwca 1974 r. Kodeks pracy jest obowiązkowe. W pozostałym zakresie podanie danych jest dobrowolne. Odmowa podania danych obowiązkowych może skutkować brakiem możliwości przeprowadzenia procesu rekrutacji. Administrator przetwarza dane obowiązkowe na podstawie ciążącego na nim obowiązku prawnego, zaś w zakresie danych dodatkowych podstawą przetwarzania jest zgoda. Dane osobowe będą przetwarzane do czasu zakończenia postępowania rekrutacyjnego i przez okres możliwości dochodzenia ewentualnych roszczeń, a w przypadku wyrażenia zgody na udział w przyszłych postępowaniach rekrutacyjnych - do czasu wycofania tej zgody. Zgoda na przetwarzanie danych osobowych może zostać wycofana w dowolnym momencie. Odbiorcą danych jest serwis Just Join IT oraz inne podmioty, którym powierzyliśmy przetwarzanie danych w związku z rekrutacją.