Data Engineer
Tech Stack / Keywords
Firma i stanowisko
We are a new generation data, cloud & AI consultancy based across UK and the EU founded on the premise of engineering excellence and empowering people to make an impact. Established in 2021, Dot Collective designs, builds & runs AI-enabling, mission-critical data infrastructure for the global modern enterprise.
Wymagania
- Proficient in Python and SQL
- Strong knowledge of distributed computing with Spark
- Understanding of cloud architecture principles and best practices
- Hands-on experience in designing, deploying, and managing cloud resources
- Experience in agile methodologies
- Experience with cloud automation and orchestration using tools like Terraform or CloudFormation
- Skills in monitoring and performance tuning of cloud applications
- Knowledge of cloud platforms such as AWS and Azure
- Familiarity with data warehousing solutions like Snowflake and platforms like Databricks
- Experience with CI/CD pipelines and DBT
Obowiązki
- Implementing cloud-native data platforms
- Engineering scalable and reliable pipelines
- Working with distributed computing using Spark
- Applying cloud architecture principles and best practices
- Designing, deploying, and managing cloud resources
- Utilizing agile ways of working
- Using cloud automation and orchestration tools such as Terraform
- Monitoring and performance tuning of cloud-based applications and services
Nice to have:
- Deploying and managing ML models using tools like MLflow, Azure ML, or SageMaker
- Setting up model drift detection, performance monitoring, and automated retraining
- Automating end-to-end ML workflows and CI/CD
Inne informacje
Informujemy, że administratorem danych jest Dot Consulting Collective EU sp. z o.o. z siedzibą w Poznaniu, ul. pl. Władysława Andersa 3, piętro 11 (dalej jako "administrator"). Masz prawo do żądania dostępu do swoich danych osobowych, ich sprostowania, usunięcia lub ograniczenia przetwarzania, prawo do wniesienia sprzeciwu wobec przetwarzania, a także prawo do przenoszenia danych oraz wniesienia skargi do organu nadzorczego. Dane osobowe przetwarzane będą w celu realizacji procesu rekrutacji. Podanie danych w zakresie wynikającym z ustawy z dnia 26 czerwca 1974 r. Kodeks pracy jest obowiązkowe. W pozostałym zakresie podanie danych jest dobrowolne. Odmowa podania danych obowiązkowych może skutkować brakiem możliwości przeprowadzenia procesu rekrutacji. Administrator przetwarza dane obowiązkowe na podstawie ciążącego na nim obowiązku prawnego, zaś w zakresie danych dodatkowych podstawą przetwarzania jest zgoda. Dane osobowe będą przetwarzane do czasu zakończenia postępowania rekrutacyjnego i przez okres możliwości dochodzenia ewentualnych roszczeń, a w przypadku wyrażenia zgody na udział w przyszłych postępowaniach rekrutacyjnych - do czasu wycofania tej zgody. Zgoda na przetwarzanie danych osobowych może zostać wycofana w dowolnym momencie. Odbiorcą danych jest serwis Rocket Jobs oraz inne podmioty, którym powierzyliśmy przetwarzanie danych w związku z rekrutacją.
Dot Collective
Pracodawca