Lead Data Engineer

MW Consulting is recruiting for Avanade Poland, focusing on building modern Data & AI solutions using Microsoft technologies. The role involves working with clients from various domains and industries, delivering scalable data platforms and AI solutions.

• Hands-on experience with Databricks
• Experience with Azure cloud and services (Data Lake, SQL Database, Azure Databricks)
• Proficiency in Python and PySpark
• Strong SQL skills
• Knowledge of Data Engineering concepts such as ETL, data modeling, data warehousing, and data governance
• Experience with AI solutions including Azure OpenAI and Azure AI Foundry
• Familiarity with Docker and Kubernetes
• English language proficiency at B2 level

Nice to have:

• Experience with MS Fabric
• Knowledge of machine learning concepts and frameworks (e.g., MLflow, TensorFlow)
• Experience with LLMs and orchestration frameworks
• Familiarity with GitHub Copilot, Copilot Studio, Cursor or similar tools

• Lead technical design and implementation of data pipelines, warehouses, and integration solutions
• Develop end-to-end data architectures and ETL processes
• Implement data governance, data quality, and data security best practices
• Collaborate with clients and internal teams to translate business needs into data solutions
• Act as direct and indirect Team Manager for 10-20 specialists, providing mentoring and guidance
• Stay up-to-date with latest developments in data engineering and AI
• Explore and apply Machine Learning/AI solutions in projects

Aplikując, wyrażam zgodę na przetwarzanie moich danych osobowych na potrzeby przeprowadzenia procesu rekrutacyjnego. Informujemy, że administratorem danych jest Avanade Poland Sp.z.o.o z siedzibą w Krakowie, ul. Pawia 21. Masz prawo do żądania dostępu do swoich danych osobowych, ich sprostowania, usunięcia lub ograniczenia przetwarzania, prawo do wniesienia sprzeciwu wobec przetwarzania, a także prawo do przenoszenia danych oraz wniesienia skargi do organu nadzorczego. Dane osobowe przetwarzane będą w celu realizacji procesu rekrutacji. Podanie danych w zakresie wynikającym z ustawy z dnia 26 czerwca 1974 r. Kodeks pracy jest obowiązkowe. W pozostałym zakresie podanie danych jest dobrowolne. Odmowa podania danych obowiązkowych może skutkować brakiem możliwości przeprowadzenia procesu rekrutacji. Administrator przetwarza dane obowiązkowe na podstawie ciążącego na nim obowiązku prawnego, zaś w zakresie danych dodatkowych podstawą przetwarzania jest zgoda. Dane osobowe będą przetwarzane do czasu zakończenia postępowania rekrutacyjnego i przez okres możliwości dochodzenia ewentualnych roszczeń, a w przypadku wyrażenia zgody na udział w przyszłych postępowaniach rekrutacyjnych - do czasu wycofania tej zgody. Zgoda na przetwarzanie danych osobowych może zostać wycofana w dowolnym momencie. Odbiorcą danych jest serwis Just Join IT oraz inne podmioty, którym powierzyliśmy przetwarzanie danych w związku z rekrutacją.