Data Engineer (Azure)

We support recruitment for a US-based company that provides mission-critical background screening solutions, serving Fortune 100 clients globally. The company has over 4500 employees from 30+ nationalities and focuses on digital background check and verification services.

• Strong experience with Python/PySpark and SQL.
• Hands-on experience building robust data pipelines using Databricks Spark.
• Experience processing large-scale datasets in production.
• Strong knowledge of Kafka, Azure Event Hubs, or Amazon Kinesis.
• Experience building streaming data integrations and event-driven data pipelines.
• Good understanding of Spark Structured Streaming.
• Familiarity with CDC (Change Data Capture) concepts; experience with Debezium is a plus.
• Strong knowledge of Databricks Delta optimization techniques (partitioning, Z-ordering, compaction).
• Experience developing reusable Python libraries and packages.
• Hands-on experience with CI/CD pipelines.
• Good understanding of networking fundamentals.
• Familiarity with Agile/Scrum methodologies.

• Build reusable, metadata-driven data pipelines.
• Automate and optimize data platform processes.
• Develop integrations with data sources and consumers.
• Extend shared ETL libraries with transformation methods.
• Write unit tests.
• Create monitoring solutions for the Databricks platform.
• Proactively address ETL performance and quality issues.
• Collaborate with infrastructure teams on cloud resources.
• Update data platform wiki and documentation.
• Conduct code reviews to ensure quality.
• Initiate and implement architecture improvements.

Informujemy, że administratorem danych jest MOTIFE Sp. z o.o. z siedzibą w Krakowie, ul. Krupnicza 3 (dalej jako "administrator"). Masz prawo do żądania dostępu do swoich danych osobowych, ich sprostowania, usunięcia lub ograniczenia przetwarzania, prawo do wniesienia sprzeciwu wobec przetwarzania, a także prawo do przenoszenia danych oraz wniesienia skargi do organu nadzorczego. Dane osobowe przetwarzane będą w celu realizacji procesu rekrutacji. Podanie danych w zakresie wynikającym z ustawy z dnia 26 czerwca 1974 r. Kodeks pracy jest obowiązkowe. W pozostałym zakresie podanie danych jest dobrowolne. Odmowa podania danych obowiązkowych może skutkować brakiem możliwości przeprowadzenia procesu rekrutacji. Administrator przetwarza dane obowiązkowe na podstawie ciążącego na nim obowiązku prawnego, zaś w zakresie danych dodatkowych podstawą przetwarzania jest zgoda. Dane osobowe będą przetwarzane do czasu zakończenia postępowania rekrutacyjnego i przez okres możliwości dochodzenia ewentualnych roszczeń, a w przypadku wyrażenia zgody na udział w przyszłych postępowaniach rekrutacyjnych - do czasu wycofania tej zgody. Zgoda na przetwarzanie danych osobowych może zostać wycofana w dowolnym momencie. Odbiorcą danych jest serwis Just Join IT oraz inne podmioty, którym powierzyliśmy przetwarzanie danych w związku z rekrutacją.