Senior Data Engineer

DataArt is hiring a Senior Data Engineer to work with modern data platforms including Databricks, Snowflake, and cloud services such as AWS or Azure. The role involves managing the full lifecycle of the data warehouse and supporting business decision-making through data transformation and optimization.

• 5+ years of experience or 5+ completed projects
• Advanced SQL and query optimization across popular databases
• Proficiency in Python for data engineering and automation
• Experience with cloud data platforms such as Snowflake and/or Databricks
• Experience with cloud services: AWS and/or Azure
• Data transformation and modeling with DBT
• Design, development, and maintenance of ETL/ELT pipelines
• Experience with Apache Spark (preferably PySpark)
• Workflow orchestration using tools like Apache Airflow or Dagster
• Relational database design and performance tuning (e.g., PostgreSQL, MySQL, SQL Server, Oracle)
• Knowledge of data warehousing concepts and dimensional modeling
• Data management fundamentals including data modeling, data quality, metadata management, warehouse/lake patterns, distributed systems
• Version control using Git and CI/CD practices
• Practices in data governance, data quality, lineage, and observability
• Implementation of security and access controls in cloud data platforms

Nice to have:

• Experience with Apache Kafka, Apache Flink, Apache Beam
• Familiarity with Terraform, Kubernetes, Docker
• Knowledge of Apache Iceberg, Delta Lake, or Apache Hudi
• Experience with real-time and event-driven architectures
• Experience with AWS Glue, Amazon MWAA, or Azure Data Factory
• Understanding of Data Mesh and Data Product concepts
• Experience with machine learning data pipelines, feature stores, or AI development
• Experience with streaming analytics and Change Data Capture (CDC) solutions (e.g., Debezium)

• Develop, operate, optimize, test, and maintain the data warehouse, including ETL/ELT process development, cube development, database/performance administration, and dimensional table design
• Drive the full life-cycle of back-end development for the data warehouse
• Identify, design, and implement internal process improvements for scalability, data delivery optimization, and process automation
• Define data retention policies
• Build analytical tools leveraging the data pipeline for key business metrics
• Select and integrate tools for database performance monitoring, management, alerting, and improvements
• Develop and implement automated processes to ensure uninterrupted database updates and correct vulnerabilities
• Assemble large, complex datasets meeting business requirements

Informujemy, że administratorem danych jest DataArt Poland Sp z o o z siedzibą w Lublinie, Ul. Zana 39 a, 20-601 Lublin (dalej jako "administrator"). Masz prawo do żądania dostępu do swoich danych osobowych, ich sprostowania, usunięcia lub ograniczenia przetwarzania, prawo do wniesienia sprzeciwu wobec przetwarzania, a także prawo do przenoszenia danych oraz wniesienia skargi do organu nadzorczego. Dane osobowe przetwarzane będą w celu realizacji procesu rekrutacji. Podanie danych w zakresie wynikającym z ustawy z dnia 26 czerwca 1974 r. Kodeks pracy jest obowiązkowe. W pozostałym zakresie podanie danych jest dobrowolne. Odmowa podania danych obowiązkowych może skutkować brakiem możliwości przeprowadzenia procesu rekrutacji. Administrator przetwarza dane obowiązkowe na podstawie ciążącego na nim obowiązku prawnego, zaś w zakresie danych dodatkowych podstawą przetwarzania jest zgoda. Dane osobowe będą przetwarzane do czasu zakończenia postępowania rekrutacyjnego i przez okres możliwości dochodzenia ewentualnych roszczeń, a w przypadku wyrażenia zgody na udział w przyszłych postępowaniach rekrutacyjnych - do czasu wycofania tej zgody. Zgoda na przetwarzanie danych osobowych może zostać wycofana w dowolnym momencie. Odbiorcą danych jest serwis Just Join IT oraz inne podmioty, którym powierzyliśmy przetwarzanie danych w związku z rekrutacją.