Senior Data Engineer

Clurgo to firma stworzona przez developerów dla developerów. Realizuje różnorodne projekty IT dla klientów z wielu branż, łącząc kompetencje od rozwoju oprogramowania i infrastruktury, przez analizę oraz testy, aż po zarządzanie produktem i procesami. Obecnie praca dotyczy projektu dla międzynarodowego klienta z branży mediów i nadawców, skupionego na rozwijaniu i utrzymaniu nowoczesnych platform analitycznych w środowisku chmurowym z dużą skalą przetwarzania danych i dbałością o Data Quality.

• bardzo dobra wiedza z zakresu inżynierii danych na poziomie senior
• znajomość programowania w PySpark i SQL
• doświadczenie z technologiami: AWS CDK, AWS Lambda, Databricks, Google Cloud Platform (GCP), Google App Engine, BigQuery, Dataproc, Airflow, Terraform
• doświadczenie w obszarach Data Quality, testowania jednostkowego i integracyjnego
• znajomość narzędzi CI/CD, takich jak GitHub Actions i Jenkins
• znajomość języka angielskiego na poziomie minimum B2+ do codziennej komunikacji w projekcie

• projektowanie, rozwijanie i utrzymywanie rozwiązań inżynierii danych w środowiskach chmurowych
• budowa i optymalizacja procesów przetwarzania danych
• praca z dużymi zbiorami danych ze szczególnym uwzględnieniem zapewnienia ich jakości
• wdrażanie i utrzymywanie rozwiązań opartych na technologiach PySpark i SQL
• tworzenie oraz utrzymywanie testów jednostkowych i integracyjnych
• automatyzacja procesów wdrażania oprogramowania