Senior Data Engineer
Tech Stack / Keywords
Firma i stanowisko
Avenga is a company based in Gdańsk, specializing in data engineering solutions.
Wymagania
- 5 years of experience in Data Engineering.
- Strong hands-on experience with Databricks, Azure Services (Azure Data Factory, Azure SQL Database, Azure Key Vault), IICS, and Azure Synapse.
- Advanced programming skills in Python, PySpark, and SQL.
- Experience designing and implementing CI/CD pipelines and managing Azure DevOps environments.
- Knowledge of API integrations and enterprise data architecture.
- Theoretical AI knowledge.
- Experience working in Agile/Scrum teams.
- Strong analytical and problem-solving skills.
Obowiązki
- Collaborate with business stakeholders to understand requirements and translate them into data engineering solutions.
- Design, build, and maintain end-to-end data pipelines for ingestion, transformation, and processing using Azure services, Databricks, IICS, and Azure Synapse.
- Develop advanced transformation logic in Databricks and IICS to support complex business use cases.
- Knowledge of modern Data Modeling and Design concepts.
- Set up and manage DevOps environments, including configurations, CI/CD pipelines, releases, deployments, and hotfix management.
- Write clean, efficient, and maintainable code in SQL, Python, PySpark, and scripting languages.
- Actively contribute in an Agile environment, ensuring transparency, collaboration, and continuous improvement.
Inne informacje
Informujemy, że administratorem danych jest Avenga z siedzibą w Gdańsku, Biurowiec Officyna, Aleja Grunwaldzka 48/50 (dalej jako "administrator"). Masz prawo do żądania dostępu do swoich danych osobowych, ich sprostowania, usunięcia lub ograniczenia przetwarzania, prawo do wniesienia sprzeciwu wobec przetwarzania, a także prawo do przenoszenia danych oraz wniesienia skargi do organu nadzorczego. Dane osobowe przetwarzane będą w celu realizacji procesu rekrutacji. Podanie danych w zakresie wynikającym z ustawy z dnia 26 czerwca 1974 r. Kodeks pracy jest obowiązkowe. W pozostałym zakresie podanie danych jest dobrowolne. Odmowa podania danych obowiązkowych może skutkować brakiem możliwości przeprowadzenia procesu rekrutacji. Administrator przetwarza dane obowiązkowe na podstawie ciążącego na nim obowiązku prawnego, zaś w zakresie danych dodatkowych podstawą przetwarzania jest zgoda. Dane osobowe będą przetwarzane do czasu zakończenia postępowania rekrutacyjnego i przez okres możliwości dochodzenia ewentualnych roszczeń, a w przypadku wyrażenia zgody na udział w przyszłych postępowaniach rekrutacyjnych - do czasu wycofania tej zgody. Zgoda na przetwarzanie danych osobowych może zostać wycofana w dowolnym momencie. Odbiorcą danych jest serwis Rocket Jobs oraz inne podmioty, którym powierzyliśmy przetwarzanie danych w związku z rekrutacją.
Avenga
50 aktywnych ofert