Remote Senior Big Data Engineer (Python)

Varwise is an Adtech company that leverages machine learning and data science to build an identity graph scalable to millions of users through brands with programmatically selected households.

• 8+ years of professional software engineering experience focused on data engineering in big data environments.
• Expert-level proficiency in Python and at least one other high-level programming language such as Java, Scala, C++, or C#.
• Proven experience building and optimizing large-scale data pipelines using Apache Spark.
• Hands-on experience developing and deploying data solutions on major cloud platforms (AWS, GCP, or Azure).
• Experience working with AI, LLMs, agents, and/or generative AI technologies for products and development productivity.
• Relevant experience in the advertising industry.
• Experience with Scala.
• Experience with big data visualization and analytics using OLAP tools.
• Familiarity with big data tools and frameworks such as MLflow, dbt, Kafka, Airflow, or Databricks.
• Experience with large-scale data management formats like Parquet, Delta Lake, or Iceberg.

• Design, develop, and maintain highly scalable data pipelines, ETL processes, and data models using Python, Spark, and other big data technologies in cloud environments (AWS, GCP).
• Lead integration of AI and LLM into data products; work with data scientists to productionize machine learning models and agentic workflows.
• Utilize AI-driven development tools (e.g., GitHub Copilot) to enhance productivity and code quality.
• Create and maintain reliable and scalable distributed data processing systems.
• Maintain and build searchable data sets in the data lake for business use.
• Scale, troubleshoot, and fix existing applications and services.
• Own a complex set of services and applications, ensuring data pipelines operate 24/7.
• Lead technical discussions for improvements in tools, processes, or projects.
• Work on scaling the identity graph to deliver advertising campaigns.
• Handle data sets exceeding billions of records.
• Scale the MLOps platform using traditional and generative AI applications.

Informujemy, że administratorem danych jest Varwise Sp. z o. o. z siedzibą we Wrocławiu (dalej jako "administrator"). Masz prawo do żądania dostępu do swoich danych osobowych, ich sprostowania, usunięcia lub ograniczenia przetwarzania, prawo do wniesienia sprzeciwu wobec przetwarzania, a także prawo do przenoszenia danych oraz wniesienia skargi do organu nadzorczego. Dane osobowe przetwarzane będą w celu realizacji procesu rekrutacji. Podanie danych w zakresie wynikającym z ustawy z dnia 26 czerwca 1974 r. Kodeks pracy jest obowiązkowe. W pozostałym zakresie podanie danych jest dobrowolne. Odmowa podania danych obowiązkowych może skutkować brakiem możliwości przeprowadzenia procesu rekrutacji. Administrator przetwarza dane obowiązkowe na podstawie ciążącego na nim obowiązku prawnego, zaś w zakresie danych dodatkowych podstawą przetwarzania jest zgoda. Dane osobowe będą przetwarzane do czasu zakończenia postępowania rekrutacyjnego i przez okres możliwości dochodzenia ewentualnych roszczeń, a w przypadku wyrażenia zgody na udział w przyszłych postępowaniach rekrutacyjnych - do czasu wycofania tej zgody. Zgoda na przetwarzanie danych osobowych może zostać wycofana w dowolnym momencie. Odbiorcą danych jest serwis Just Join IT oraz inne podmioty, którym powierzyliśmy przetwarzanie danych w związku z rekrutacją.