Azure Databricks Data Engineer
Tech Stack / Keywords
Wymagania
- 8-10 years of hands-on experience in data engineering.
- Proficiency in designing/developing data analytics and data warehouse solutions using Azure Data Factory (ADF) and Azure Databricks.
- Experience with Azure Analytics services, Azure Data Lake Gen2, Azure SQL/Postgres, and Azure identity concepts (SPN, SAMI, UAMI).
- Experience in large data distribution, service-oriented architecture, data mesh, data lake, and analytics using Azure data services.
- Proficient coding with Spark (Python/Scala) and SQL.
- Hands-on experience with one scripting language: Linux or PowerShell.
- Prior ETL development experience using tools like Informatica, SSIS, or Talend.
- Knowledge of Kafka streaming and Azure infrastructure is beneficial.
- Experience in cloud environments, preferably MS Azure, within agile SDLC using modern programming languages, DevOps, and test-driven development.
- Exposure to Docker, Git, and pipeline orchestration tools like Apache Airflow (preferred), Autosys, or Control-M.
- Proficient with large codebases using GitLab/Github, Fork/Pull model, and CI/CD.
- Knowledge of DevOps tools such as GitLab CI/CD, YAML, Terraform, ARM, Puppet; Azure Function App, and Logic App is a plus.
- Experience working in Agile methodologies (SCRUM, XP, Kanban).
- Bachelor’s degree or equivalent.
- Excellent English communication skills for presentations and technical writing.
Obowiązki
- Design, develop, and improve digital products and technology services for clients and employees.
- Apply software engineering practices, including analyzing user needs, developing features, automated testing, and deployment.
- Ensure quality, security, reliability, and compliance of solutions by applying digital principles and implementing requirements.
- Build observability into solutions to monitor production health, resolve incidents, and remediate risks.
- Continuously up-skill, learn new technologies and practices, reuse strategic platforms and standards, evaluate options, and make decisions with sustainability in mind.
Inne informacje
Informujemy, że administratorem danych jest z siedzibą w , ul.(dalej jako "administrator"). Masz prawo do żądania dostępu do swoich danych osobowych, ich sprostowania, usunięcia lub ograniczenia przetwarzania, prawo do wniesienia sprzeciwu wobec przetwarzania, a także prawo do przenoszenia danych oraz wniesienia skargi do organu nadzorczego. Dane osobowe przetwarzane będą w celu realizacji procesu rekrutacji. Podanie danych w zakresie wynikającym z ustawy z dnia 26 czerwca 1974 r. Kodeks pracy jest obowiązkowe. W pozostałym zakresie podanie danych jest dobrowolne. Odmowa podania danych obowiązkowych może skutkować brakiem możliwości przeprowadzenia procesu rekrutacji. Administrator przetwarza dane obowiązkowe na podstawie ciążącego na nim obowiązku prawnego, zaś w zakresie danych dodatkowych podstawą przetwarzania jest zgoda. Dane osobowe będą przetwarzane do czasu zakończenia postępowania rekrutacyjnego i przez okres możliwości dochodzenia ewentualnych roszczeń, a w przypadku wyrażenia zgody na udział w przyszłych postępowaniach rekrutacyjnych - do czasu wycofania tej zgody. Zgoda na przetwarzanie danych osobowych może zostać wycofana w dowolnym momencie. Odbiorcą danych jest serwis Just Join IT oraz inne podmioty, którym powierzyliśmy przetwarzanie danych w związku z rekrutacją.
DCV Technologies
99 aktywnych ofert