Data Engineer - Data Platform

Allegro is a company operating a large-scale data platform, including the Vento service that standardizes and validates Allegro clickstream events for AI agents and core business dashboards. The team uses technologies like Big Data ecosystems, Python, Spark, and has an infrastructure involving tools such as Kubernetes, Docker, Consul, GitHub, and GitHub Actions.

• Solid, production-proven experience in Big Data ecosystems and building stable data pipelines.
• Proficiency in Python and Spark (knowledge of Scala is a plus).
• Understanding of data quality principles, event contract validation, anomaly detection, and streaming data processing (especially Clickstream).
• Openness to feedback and participation in code reviews.
• Proactive communication skills and high autonomy in task ownership.
• Broad technical perspective on the interconnection of Big Data, Backend, and Frontend.
• Enthusiasm for utilizing AI coding tools to automate repetitive tasks.
• Fluent in Polish (minimum C1) and English (minimum B2).

• Design, scale, develop, and maintain data validation pipelines for high-volume clickstream data within the Vento service.
• Implement robust anomaly detection mechanisms to ensure data integrity and quality processing before data ingestion.
• Collaborate with cross-functional stakeholders to reconcile data requirements.
• Actively participate in engineering discussions, code reviews, and cross-team initiatives.

Informujemy, że administratorem danych jest Allegro.pl z siedzibą w Poznaniu, ul. Wierzbięcice 1B (dalej jako "administrator"). Masz prawo do żądania dostępu do swoich danych osobowych, ich sprostowania, usunięcia lub ograniczenia przetwarzania, prawo do wniesienia sprzeciwu wobec przetwarzania, a także prawo do przenoszenia danych oraz wniesienia skargi do organu nadzorczego. Dane osobowe przetwarzane będą w celu realizacji procesu rekrutacji. Podanie danych w zakresie wynikającym z ustawy z dnia 26 czerwca 1974 r. Kodeks pracy jest obowiązkowe. W pozostałym zakresie podanie danych jest dobrowolne. Odmowa podania danych obowiązkowych może skutkować brakiem możliwości przeprowadzenia procesu rekrutacji. Administrator przetwarza dane obowiązkowe na podstawie ciążącego na nim obowiązku prawnego, zaś w zakresie danych dodatkowych podstawą przetwarzania jest zgoda. Dane osobowe będą przetwarzane do czasu zakończenia postępowania rekrutacyjnego i przez okres możliwości dochodzenia ewentualnych roszczeń, a w przypadku wyrażenia zgody na udział w przyszłych postępowaniach rekrutacyjnych - do czasu wycofania tej zgody. Zgoda na przetwarzanie danych osobowych może zostać wycofana w dowolnym momencie. Odbiorcą danych jest serwis Just Join IT oraz inne podmioty, którym powierzyliśmy przetwarzanie danych w związku z rekrutacją.