Data Engineer

ASTEK Polska is a company with an expanding data engineering team in Kraków, focused on corporate large-scale data processing environments.

• 6–10 years of experience in IT
• 4–5 years of hands-on experience with PySpark and Python
• Strong knowledge of data engineering principles and modern data processing architectures
• Documented experience with PySpark (including Spark SQL, DataFrames, performance optimization)
• Programming and application development skills in Python
• Experience building and orchestrating processes in Azure Data Factory (ADF)
• Good understanding of data optimization techniques: partitioning, caching, join optimization, query optimization
• Experience with distributed systems processing large data sets
• Strong analytical and problem-solving skills
• Good knowledge of SQL, databases, and data modeling

Nice to have:

• Practical experience with Azure Databricks (ADB)
• Familiarity with cloud technologies, preferably Microsoft Azure
• Experience with CI/CD processes and DevOps practices in data engineering
• Knowledge of Data Lake and Lakehouse architectures
• Understanding of modern data management (Data Governance) and data monitoring

• Work from office in Kraków three times a week
• Design, develop, and maintain scalable data pipelines using PySpark and Python
• Build and optimize ETL/ELT processes handling large data volumes
• Write efficient, reusable code focused on optimization
• Process and manage both structured and unstructured data from various sources
• Implement best practices for data engineering, performance optimization, and code quality
• Create, orchestrate, and monitor data processes using Azure Data Factory (ADF)
• Collaborate with Data Scientists, Data Analysts, Solution Architects, and other stakeholders
• Ensure data quality, reliability, and integrity across all data platforms
• Identify and solve performance issues in data processing pipelines
• Participate in data architecture discussions and continuous improvement initiatives

Informujemy, że administratorem danych jest ASTEK Polska sp. z o.o. z siedzibą w Warszawie, Al. Jana Pawła II 22, 00-133 Warszawa (dalej jako "administrator"). Masz prawo do żądania dostępu do swoich danych osobowych, ich sprostowania, usunięcia lub ograniczenia przetwarzania, prawo do wniesienia sprzeciwu wobec przetwarzania, a także prawo do przenoszenia danych oraz wniesienia skargi do organu nadzorczego. Dane osobowe przetwarzane będą w celu realizacji procesu rekrutacji. Podanie danych w zakresie wynikającym z ustawy z dnia 26 czerwca 1974 r. Kodeks pracy jest obowiązkowe. W pozostałym zakresie podanie danych jest dobrowolne. Odmowa podania danych obowiązkowych może skutkować brakiem możliwości przeprowadzenia procesu rekrutacji. Administrator przetwarza dane obowiązkowe na podstawie ciążącego na nim obowiązku prawnego, zaś w zakresie danych dodatkowych podstawą przetwarzania jest zgoda. Dane osobowe będą przetwarzane do czasu zakończenia postępowania rekrutacyjnego i przez okres możliwości dochodzenia ewentualnych roszczeń, a w przypadku wyrażenia zgody na udział w przyszłych postępowaniach rekrutacyjnych - do czasu wycofania tej zgody. Zgoda na przetwarzanie danych osobowych może zostać wycofana w dowolnym momencie. W razie wycofania zgód prosimy o kontakt e-mailowy na adres [email protected] lub pisemnie na adres administratora. Odbiorcą danych jest serwis Just Join IT oraz inne podmioty, którym powierzyliśmy przetwarzanie danych w związku z rekrutacją.

Procedura dokonywania zgłoszeń przez sygnalistów w ASTEK Polska sp. z o. o.: https://astek.pl/sygnalisci/ Szczegółowe informacje dotyczące przetwarzania znajdzie Pan/Pani: http://astek.pl/polityka-prywatnosci