Mid Data Engineer (AWS)

BlueSoft is developing a Data Lake/Lakehouse platform on AWS focused on scalable data processing, performance, reliability, and data quality. The product uses a medallion architecture with Apache Iceberg and Parquet formats, standardizing Data Governance and automating operational cost generation.

• Several years of experience in data engineering.
• Strong knowledge of Python, PySpark, and ETL/ELT processes.
• Practical experience with Data Lake/Lakehouse, Apache Iceberg, Parquet, and medallion architecture or equivalent.
• Good knowledge of AWS services: S3, Glue, EMR, Athena, MWAA (Airflow), Lambda, MSK (Kafka), Kinesis Data Streams.
• Experience with Terraform, GitHub, and Jenkins.
• Awareness of the impact of poorly designed pipelines on performance and budget.

Nice to have:

• Experience with Data Governance, Data Quality, Great Expectations (GX), and DataHub.
• Ability to collaborate with analytical teams on data product development.
• Good command of English.
• Understanding that the best cost optimization is a pipeline that does not need to be run multiple times.

• Design and develop data pipelines using Python, PySpark, and MWAA (Airflow).
• Implement solutions based on AWS services: S3, Glue, EMR, Athena, Lambda, MSK (Kafka), and Kinesis Data Streams.
• Optimize processing, storage, and costs of the AWS Data Lake platform.
• Develop infrastructure using Terraform, GitHub, and Jenkins.
• Implement Data Quality and Data Governance mechanisms and collaborate on product development.
• Debug pipelines proactively to prevent AWS cost issues.

"Administratorem danych jest BlueSoft Sp. z o.o., Aleje Jerozolimskie 134, 02-305 Warszawa. Dane zbierane i przetwarzane są w celach związanych z prowadzeniem procesów rekrutacyjnych. Każdy kandydat ma prawo dostępu do treści swoich danych, ich poprawiania lub usuwania. Wniosek o poprawienie lub usunięcie danych powinno być wystosowane na adres: [email protected] Podanie wszystkich danych osobowych jest dobrowolne, jednak wyrażenie zgody na ich przetwarzanie jest niezbędne, aby wziąć udział w prowadzonych procesach rekrutacyjnych”. Warunkiem wzięcia udziału w rekrutacji jest dodanie do przesyłanych dokumentów aplikacyjnych następującej klauzuli: „Wyrażam zgodę na przetwarzanie przez BlueSoft Sp. z o.o., Aleje Jerozolimskie 134, 02-305 Warszawa, moich danych osobowych zawartych w dokumentach aplikacyjnych dla potrzeb prowadzenia procesów rekrutacyjnych"