Databricks Data Engineer
Tech Stack / Keywords
Wymagania
- Hands-on experience with Databricks is required.
- Strong experience in Data Engineering and building production-grade data pipelines.
- Strong SQL and PySpark / Apache Spark skills.
- Experience working with large datasets and distributed data processing.
- Good understanding of modern data platform, lakehouse and data architecture concepts.
- Experience with cloud environments such as Azure, AWS or GCP.
- Experience with Delta Lake and data orchestration tools is a strong advantage.
- Experience working with different data sources, formats and integration patterns.
- Ability to work closely with Data Scientists, Analysts and other technical stakeholders and understand their data requirements.
- Strong problem-solving skills and a pragmatic approach to data engineering.
Relevant experience:
- Data Platform & Lakehouse Engineering – building scalable platforms for analytics, reporting, ML and AI workloads.
- Data Integration & Transformation – integrating structured and unstructured data from multiple source systems into reliable, reusable data pipelines.
- Data Quality & Governance – implementing processes and frameworks for data quality, monitoring, lineage and governance.
Obowiązki
- Design, build and maintain scalable data pipelines using Databricks and Apache Spark.
- Integrate data from multiple sources and build reliable, reusable data flows.
- Develop and optimize data processing solutions for large volumes of data.
- Work closely with Data Scientists, Analysts and business stakeholders to deliver data products supporting ML, BI and analytics.
- Contribute to the development of a unified data platform and high-quality data layer.
- Ensure data pipelines are reliable, scalable, performant and easy to maintain.
- Optimize data processing and infrastructure with a focus on performance, scalability and cost efficiency.
- Implement and maintain data quality, monitoring and data engineering best practices.
- Support the development and evolution of modern lakehouse and cloud data architectures.
Inne informacje
Informujemy, że administratorem danych jest RemoDevs z siedzibą w Gdański, ul. Szafrania (dalej jako "administrator"). Masz prawo do żądania dostępu do swoich danych osobowych, ich sprostowania, usunięcia lub ograniczenia przetwarzania, prawo do wniesienia sprzeciwu wobec przetwarzania, a także prawo do przenoszenia danych oraz wniesienia skargi do organu nadzorczego. Dane osobowe przetwarzane będą w celu realizacji procesu rekrutacji. Podanie danych w zakresie wynikającym z ustawy z dnia 26 czerwca 1974 r. Kodeks pracy jest obowiązkowe. W pozostałym zakresie podanie danych jest dobrowolne. Odmowa podania danych obowiązkowych może skutkować brakiem możliwości przeprowadzenia procesu rekrutacji. Administrator przetwarza dane obowiązkowe na podstawie ciążącego na nim obowiązku prawnego, zaś w zakresie danych dodatkowych podstawą przetwarzania jest zgoda. Dane osobowe będą przetwarzane do czasu zakończenia postępowania rekrutacyjnego i przez okres możliwości dochodzenia ewentualnych roszczeń, a w przypadku wyrażenia zgody na udział w przyszłych postępowaniach rekrutacyjnych - do czasu wycofania tej zgody. Zgoda na przetwarzanie danych osobowych może zostać wycofana w dowolnym momencie. Odbiorcą danych jest serwis Hello HR oraz inne podmioty, którym powierzyliśmy przetwarzanie danych w związku z rekrutacją.
RemoDevs
19 aktywnych ofert