Capco Poland

Mid/Senior Data Engineer

Brak informacji o wynagrodzeniu

MidHybryda·KrakówFull-time·B2B

#446576·Dodano 27 dni temu·1

Źródło: justjoin.it

Aplikuj teraz

Tech Stack / Keywords

Python Apache Spark Hadoop Google Cloud Platform ETL SQL BigQueryCloud StorageApache Airflow

Podsumowanie oferty

This Mid/Senior Data Engineer role involves building scalable and reliable data solutions for financial services clients using modern data technologies and cloud platforms. The engineer will develop and maintain data pipelines, process large datasets, and collaborate with stakeholders to deliver enterprise-scale solutions. The role offers an opportunity to work on complex international projects and develop expertise in Python, Apache Spark, Hadoop, Linux, and Google Cloud Platform (GCP).

Wymagania

2–4+ years of commercial experience in Data Engineering or a similar role.
Good hands-on programming skills in Python.
Practical experience with Apache Spark, including building and maintaining data processing jobs.
Experience working with Hadoop or distributed data processing ecosystems.
Good knowledge of Linux and command-line environments.
Commercial experience with Google Cloud Platform (GCP) and relevant data services.
Good understanding of ETL/ELT processes, data pipelines, and data transformation concepts.
Working knowledge of SQL and relational data concepts.
Understanding of data quality, monitoring, and troubleshooting practices.
Familiarity with Git and modern software development practices.
Ability to work effectively in an Agile environment and collaborate with distributed teams.
Good communication skills and English at a minimum B2 level.

Nice to have:

Experience with GCP services such as BigQuery, Cloud Storage, Dataproc, Dataflow, or Pub/Sub.
Experience in Financial/Banking domain.
Experience with orchestration tools such as Apache Airflow.
Familiarity with CI/CD processes for data solutions.
Knowledge of data modelling and data warehouse concepts.
Experience working with financial services or banking clients.
Familiarity with containerization technologies such as Docker or Kubernetes.

Obowiązki

Design, develop, and maintain scalable data pipelines and data processing solutions.
Develop data transformation and processing workflows using Python and Apache Spark.
Work with large-scale datasets in distributed environments using Hadoop and related technologies.
Build and support cloud-based data solutions on Google Cloud Platform (GCP).
Develop reliable ingestion processes integrating data from multiple source systems.
Implement data transformations, validation rules, and data quality checks.
Troubleshoot data pipeline issues and support performance optimization.
Work with Linux-based environments, including scripting, deployment, and operational activities.
Collaborate with Data Engineers, Architects, Analysts, and other project stakeholders to translate business requirements into technical solutions.
Participate in code reviews and follow software engineering and data engineering best practices.
Create and maintain technical documentation covering data flows, dependencies, configurations, and operational procedures.
Support deployment, testing, stabilization, and ongoing maintenance of data solutions.

Benefity

Flexible collaboration model based on a B2B contract.
Opportunity to work on innovative AI and automation initiatives for leading financial institutions.

Inne informacje

Informujemy, że administratorem danych jest Capco Polsnd Sp. z o.o. z siedzibą w Warszawie, ul. Rondo ONZ 1 (dalej jako "administrator"). Masz prawo do żądania dostępu do swoich danych osobowych, ich sprostowania, usunięcia lub ograniczenia przetwarzania, prawo do wniesienia sprzeciwu wobec przetwarzania, a także prawo do przenoszenia danych oraz wniesienia skargi do organu nadzorczego. Dane osobowe przetwarzane będą w celu realizacji procesu rekrutacji. Podanie danych w zakresie wynikającym z ustawy z dnia 26 czerwca 1974 r. Kodeks pracy jest obowiązkowe. W pozostałym zakresie podanie danych jest dobrowolne. Odmowa podania danych obowiązkowych może skutkować brakiem możliwości przeprowadzenia procesu rekrutacji. Administrator przetwarza dane obowiązkowe na podstawie ciążącego na nim obowiązku prawnego, zaś w zakresie danych dodatkowych podstawą przetwarzania jest zgoda. Dane osobowe będą przetwarzane do czasu zakończenia postępowania rekrutacyjnego i przez okres możliwości dochodzenia ewentualnych roszczeń, a w przypadku wyrażenia zgody na udział w przyszłych postępowaniach rekrutacyjnych - do czasu wycofania tej zgody. Zgoda na przetwarzanie danych osobowych może zostać wycofana w dowolnym momencie. Odbiorcą danych jest serwis Just Join IT oraz inne podmioty, którym powierzyliśmy przetwarzanie danych w związku z rekrutacją.

Capco Poland

20 aktywnych ofert

Zobacz wszystkie oferty

Aplikuj teraz