Senior Data Engineer – Databricks / Snowflake / PySpark

In4ge jest firmą rekrutacyjną specjalizującą się w łączeniu utalentowanych pracowników z odpowiednimi firmami. Firma działa w środowisku rekrutacji na projekty międzynarodowe, w tym dla klientów z USA.

• minimum kilku lat doświadczenia komercyjnego w obszarze Data Engineering
• praktyczne doświadczenie z Databricks lub Snowflake
• bardzo dobra znajomość PySpark / Apache Spark
• dobra znajomość Python i SQL
• doświadczenie w projektowaniu i rozwijaniu pipeline’ów ETL / ELT
• znajomość przynajmniej jednej platformy chmurowej: AWS, Azure lub GCP
• swobodna komunikacja w języku angielskim
• samodzielność i doświadczenie w pracy w środowisku międzynarodowym

Nice to have:

• doświadczenie z Delta Lake / Lakehouse / Medallion Architecture
• znajomość dbt
• doświadczenie z Apache Airflow
• Spark Structured Streaming / Kafka
• doświadczenie z CI/CD, Dockerem lub Terraformem
• doświadczenie przy projektach realizowanych dla klientów z USA
• certyfikaty Databricks, Snowflake lub cloudowe

• projektowanie, rozwój i utrzymanie pipeline’ów danych
• przetwarzanie oraz transformacja dużych zbiorów danych
• praca z wykorzystaniem PySpark / Apache Spark
• rozwój rozwiązań opartych o Databricks i/lub Snowflake
• tworzenie i optymalizacja procesów ETL / ELT
• praca z Python i SQL
• współpraca przy budowie środowisk typu Data Lake / Data Warehouse / Lakehouse
• dbanie o jakość, wydajność i niezawodność procesów danych
• współpraca z międzynarodowymi zespołami projektowymi i klientami