Scala/Spark Developer

Directio is an AI-first software engineering company delivering innovative AI, data, cloud, and IoT solutions for clients across Europe and beyond.

• Strong commercial experience developing production applications in Scala, including functional programming concepts (immutability, pattern matching, higher-order functions), Scala type system, collections, sbt, and testing frameworks such as ScalaTest or munit
• Proven hands-on experience with Apache Spark, including Spark SQL, DataFrame/Dataset API, designing and maintaining ETL/ELT pipelines, performance optimization (partitioning, shuffle optimization, broadcast joins, caching), and troubleshooting using Spark UI
• Experience working in production environments with large-scale data processing and distributed data pipelines
• Strong understanding of software engineering best practices, code quality, performance optimization, and maintainability

Nice to have:

• Experience with Kafka and Spark Structured Streaming
• Experience with Airflow or similar workflow orchestration tools
• Experience with cloud platforms such as AWS (EMR, S3, Glue), Azure, GCP (Dataproc), or Databricks
• Knowledge of the big data ecosystem, including Hadoop, Hive, Delta Lake, Parquet, and Avro
• Experience with SQL, data modeling, data warehouses, and data lake architectures
• Experience with Docker, Kubernetes, Git, and CI/CD pipelines
• Familiarity with Scala libraries such as Cats, ZIO, Akka, or Pekko
• Knowledge of Python or Java

• Design, develop, and maintain scalable data processing applications using Scala and Apache Spark
• Build, optimize, and maintain ETL/ELT pipelines processing large volumes of data
• Develop efficient Spark applications using Spark SQL and the DataFrame/Dataset API
• Optimize Spark jobs by improving partitioning strategies, shuffle operations, caching, and join performance
• Troubleshoot and resolve performance issues using Spark UI and monitoring tools
• Collaborate with data engineers, software developers, and stakeholders to design scalable data processing solutions
• Participate in code reviews and contribute to software quality, performance, and engineering best practices

Informujemy, że administratorem danych jest Directio Sp. z o.o. z siedzibą w Warszawie, ul. Sienna 39, 00-121, (dalej jako "administrator"). Masz prawo do żądania dostępu do swoich danych osobowych, ich sprostowania, usunięcia lub ograniczenia przetwarzania, prawo do wniesienia sprzeciwu wobec przetwarzania, a także prawo do przenoszenia danych oraz wniesienia skargi do organu nadzorczego. Dane osobowe przetwarzane będą w celu realizacji procesu rekrutacji. Podanie danych w zakresie wynikającym z ustawy z dnia 26 czerwca 1974 r. Kodeks pracy jest obowiązkowe. W pozostałym zakresie podanie danych jest dobrowolne. Odmowa podania danych obowiązkowych może skutkować brakiem możliwości przeprowadzenia procesu rekrutacji. Administrator przetwarza dane obowiązkowe na podstawie ciążącego na nim obowiązku prawnego, zaś w zakresie danych dodatkowych podstawą przetwarzania jest zgoda. Dane osobowe będą przetwarzane do czasu zakończenia postępowania rekrutacyjnego i przez okres możliwości dochodzenia ewentualnych roszczeń, a w przypadku wyrażenia zgody na udział w przyszłych postępowaniach rekrutacyjnych - do czasu wycofania tej zgody. Zgoda na przetwarzanie danych osobowych może zostać wycofana w dowolnym momencie. Odbiorcą danych jest serwis Just Join IT oraz inne podmioty, którym powierzyliśmy przetwarzanie danych w związku z rekrutacją.