Senior Data Platform Engineer

Integral Solutions is hiring for a remote Senior Data Platform Engineer role based in Poland. The position involves working with a large data platform based on Azure Databricks technology.

• Minimum 5 years of experience working in cloud environments as a data engineer, developer, or related roles
• Strong knowledge of Python and ANSI-SQL
• Hands-on experience with Azure Databricks Lakehouse technology
• Experience using Databricks connectors for integrating source systems (e.g., REST API, JDBC, SaaS, files)
• Experience with stream processing technologies (Structured Streaming, Auto Loader)
• Ability to design and orchestrate complex ETL/ELT pipelines using Databricks and/or Azure Data Factory in a medallion architecture
• Knowledge of data governance and security principles (e.g., Unity Catalog, RBAC, access management)
• Expertise in distributed processing and Spark optimization (query tuning, file management, liquid clustering, Z-ORDER, OPTIMIZE/VACUUM)
• Experience with Spark Declarative Pipelines (dependency definitions, DAG management, data pipeline integration)
• Familiarity with Declarative Automation Bundles or similar deployment management approaches
• Utilization of LLM/AI models for code generation in data transformation and retrieval in Databricks
• English proficiency at least B2 level for business meetings and documentation
• Experience working with project documentation
• Attention to detail and proactive approach in task execution (proposing solutions and scenarios)

• Designing and implementing new solutions within a large data platform based on Azure Databricks technology
• Creating and optimizing SQL and Python code for efficient processing in the cloud data platform environment
• Building data pipelines according to current frameworks and functional/non-functional requirements
• Developing and implementing processes and best practices for data management and governance
• Optimizing system configuration and improving data structures following industry best practices
• Collaborating with system administrators to identify and design optimal interfaces for cloud data platform communication
• Working effectively with data engineering teams, analysts, and platform architects

Informujemy, że administratorem danych jest Integral Solutions Sp. z o.o. z siedzibą w Warszawie, ul. Wspólna 35 (dalej jako "administrator"). Masz prawo do żądania dostępu do swoich danych osobowych, ich sprostowania, usunięcia lub ograniczenia przetwarzania, prawo do wniesienia sprzeciwu wobec przetwarzania, a także prawo do przenoszenia danych oraz wniesienia skargi do organu nadzorczego. Dane osobowe przetwarzane będą w celu realizacji procesu rekrutacji. Podanie danych w zakresie wynikającym z ustawy z dnia 26 czerwca 1974 r. Kodeks pracy jest obowiązkowe. W pozostałym zakresie podanie danych jest dobrowolne. Odmowa podania danych obowiązkowych może skutkować brakiem możliwości przeprowadzenia procesu rekrutacji. Administrator przetwarza dane obowiązkowe na podstawie ciążącego na nim obowiązku prawnego, zaś w zakresie danych dodatkowych podstawą przetwarzania jest zgoda. Dane osobowe będą przetwarzane do czasu zakończenia postępowania rekrutacyjnego i przez okres możliwości dochodzenia ewentualnych roszczeń, a w przypadku wyrażenia zgody na udział w przyszłych postępowaniach rekrutacyjnych - do czasu wycofania tej zgody. Zgoda na przetwarzanie danych osobowych może zostać wycofana w dowolnym momencie. Odbiorcą danych jest serwis Hello HR oraz inne podmioty, którym powierzyliśmy przetwarzanie danych w związku z rekrutacją.