Principal / Staff Data Platform Engineer
Tech Stack / Keywords
Firma i stanowisko
emagine Polska is the company offering this role, located in Warsaw. The position involves leading technical development of an AI-first data foundation transforming governed events into trusted data products and analytics.
Wymagania
- Significant experience in designing and operating production data platforms.
- Strong experience with distributed data systems and high-volume event data.
- Deep understanding of lakehouse architectures and open table formats like Apache Iceberg.
- Strong SQL knowledge and experience in Python, Java, or Scala.
- Experience with distributed processing technologies like Spark or Flink.
- Strong understanding of data modelling, performance, and storage design.
- Experience in building both batch and near-real-time data pipelines.
- Experience with cloud infrastructure, preferably AWS.
- Strong understanding of CI/CD and infrastructure-as-code principles.
- Experience with data contracts and schema evolution.
Nice to have:
- Experience in ad-tech or high-volume event processing.
- Multi-tenant SaaS data architecture knowledge.
- Experience with semantic layers.
- Experience building data platforms for analytics and ML/AI workloads.
- Knowledge in privacy, residency, and regulated data environments.
Obowiązki
- Lead the technical design of the new data platform.
- Define data movement from the Iceberg-based event layer to analytical and operational data products.
- Evaluate and select technologies for data querying, transformation, orchestration, storage, and serving.
- Design canonical entities and reusable data models across various business domains.
- Establish scalable patterns for batch and near-real-time data processing.
- Make architectural decisions and establish engineering standards for the platform.
- Build data quality, observability, lineage, and reconciliation into the platform.
- Define engineering standards for testing, deployments, versioning, and schema evolution.
- Mentor other data engineers as the team grows.
Inne informacje
Informujemy, że administratorem danych jest emagine z siedzibą w Warszawie, ul.Domaniewskiej 39A (dalej jako "administrator"). Masz prawo do żądania dostępu do swoich danych osobowych, ich sprostowania, usunięcia lub ograniczenia przetwarzania, prawo do wniesienia sprzeciwu wobec przetwarzania, a także prawo do przenoszenia danych oraz wniesienia skargi do organu nadzorczego. Dane osobowe przetwarzane będą w celu realizacji procesu rekrutacji. Podanie danych w zakresie wynikającym z ustawy z dnia 26 czerwca 1974 r. Kodeks pracy jest obowiązkowe. W pozostałym zakresie podanie danych jest dobrowolne. Odmowa podania danych obowiązkowych może skutkować brakiem możliwości przeprowadzenia procesu rekrutacji. Administrator przetwarza dane obowiązkowe na podstawie ciążącego na nim obowiązku prawnego, zaś w zakresie danych dodatkowych podstawą przetwarzania jest zgoda. Dane osobowe będą przetwarzane do czasu zakończenia postępowania rekrutacyjnego i przez okres możliwości dochodzenia ewentualnych roszczeń, a w przypadku wyrażenia zgody na udział w przyszłych postępowaniach rekrutacyjnych - do czasu wycofania tej zgody. Zgoda na przetwarzanie danych osobowych może zostać wycofana w dowolnym momencie. Odbiorcą danych jest serwis Just Join IT oraz inne podmioty, którym powierzyliśmy przetwarzanie danych w związku z rekrutacją.
emagine
891 aktywnych ofert