Mid Data Engineer

RemoDevs is offering a data engineering project focused on PySpark development and data pipeline engineering, initially for a period of 3–6 months.

• Strong, hands-on experience with PySpark.
• Commercial experience in Data Engineering at mid-level.
• Very good knowledge of SQL and data transformation techniques.
• Practical understanding of Apache Spark and distributed data processing.
• Basic hands-on experience with Databricks.
• Experience building and maintaining ETL/ELT data pipelines.
• Familiarity with cloud environments (Azure, AWS, or GCP).
• Ability to work independently and solve technical problems.

Nice to have:

• Experience with Delta Lake.
• Familiarity with workflow orchestration tools.
• Knowledge of data quality and monitoring practices.
• Experience optimizing Spark jobs and working with large-scale datasets.
• Understanding of lakehouse architecture.

• Develop and maintain data pipelines using PySpark and Apache Spark.
• Build and optimize data transformation processes for large datasets.
• Integrate data from different sources to ensure reliable data processing.
• Write, maintain, and optimize SQL queries.
• Work with Databricks to develop and execute data processing workloads.
• Troubleshoot pipeline issues and improve processing performance.
• Implement data quality checks and support reliable data delivery.
• Collaborate with engineers and technical stakeholders on data engineering tasks.

Informujemy, że administratorem danych jest RemoDevs z siedzibą w Gdański, ul. Szafrania (dalej jako "administrator"). Masz prawo do żądania dostępu do swoich danych osobowych, ich sprostowania, usunięcia lub ograniczenia przetwarzania, prawo do wniesienia sprzeciwu wobec przetwarzania, a także prawo do przenoszenia danych oraz wniesienia skargi do organu nadzorczego. Dane osobowe przetwarzane będą w celu realizacji procesu rekrutacji. Podanie danych w zakresie wynikającym z ustawy z dnia 26 czerwca 1974 r. Kodeks pracy jest obowiązkowe. W pozostałym zakresie podanie danych jest dobrowolne. Odmowa podania danych obowiązkowych może skutkować brakiem możliwości przeprowadzenia procesu rekrutacji. Administrator przetwarza dane obowiązkowe na podstawie ciążącego na nim obowiązku prawnego, zaś w zakresie danych dodatkowych podstawą przetwarzania jest zgoda. Dane osobowe będą przetwarzane do czasu zakończenia postępowania rekrutacyjnego i przez okres możliwości dochodzenia ewentualnych roszczeń, a w przypadku wyrażenia zgody na udział w przyszłych postępowaniach rekrutacyjnych - do czasu wycofania tej zgody. Zgoda na przetwarzanie danych osobowych może zostać wycofana w dowolnym momencie. Odbiorcą danych jest serwis Hello HR oraz inne podmioty, którym powierzyliśmy przetwarzanie danych w związku z rekrutacją.