Azure Databricks Data Engineer

Brak informacji o wynagrodzeniu
SeniorFull-time·B2B
#402747·Dodano 14 dni temu·0
Źródło: justjoin.it
Aplikuj teraz

Tech Stack / Keywords

Azure Data Factory (ADF)Azure DatabricksAzure Data Lake Gen2Azure SQL/PostgresSpark (Python/Scala) & SQLApache Airflow

Wymagania

  • 8-10 years of hands-on experience in data engineering.
  • Proficiency in designing/developing data analytics and data warehouse solutions using Azure Data Factory (ADF) and Azure Databricks.
  • Experience with Azure Analytics services, Azure Data Lake Gen2, Azure SQL/Postgres, and Azure identity concepts (SPN, SAMI, UAMI).
  • Experience in large data distribution, service-oriented architecture, data mesh, data lake, and analytics using Azure data services.
  • Proficient coding with Spark (Python/Scala) and SQL.
  • Hands-on experience with one scripting language: Linux or PowerShell.
  • Prior ETL development experience using tools like Informatica, SSIS, or Talend.
  • Knowledge of Kafka streaming and Azure infrastructure is beneficial.
  • Experience in cloud environments, preferably MS Azure, within agile SDLC using modern programming languages, DevOps, and test-driven development.
  • Exposure to Docker, Git, and pipeline orchestration tools like Apache Airflow (preferred), Autosys, or Control-M.
  • Proficient with large codebases using GitLab/Github, Fork/Pull model, and CI/CD.
  • Knowledge of DevOps tools such as GitLab CI/CD, YAML, Terraform, ARM, Puppet; Azure Function App, and Logic App is a plus.
  • Experience working in Agile methodologies (SCRUM, XP, Kanban).
  • Bachelor’s degree or equivalent.
  • Excellent English communication skills for presentations and technical writing.

Obowiązki

  • Design, develop, and improve digital products and technology services for clients and employees.
  • Apply software engineering practices, including analyzing user needs, developing features, automated testing, and deployment.
  • Ensure quality, security, reliability, and compliance of solutions by applying digital principles and implementing requirements.
  • Build observability into solutions to monitor production health, resolve incidents, and remediate risks.
  • Continuously up-skill, learn new technologies and practices, reuse strategic platforms and standards, evaluate options, and make decisions with sustainability in mind.

Inne informacje

Informujemy, że administratorem danych jest z siedzibą w , ul.(dalej jako "administrator"). Masz prawo do żądania dostępu do swoich danych osobowych, ich sprostowania, usunięcia lub ograniczenia przetwarzania, prawo do wniesienia sprzeciwu wobec przetwarzania, a także prawo do przenoszenia danych oraz wniesienia skargi do organu nadzorczego. Dane osobowe przetwarzane będą w celu realizacji procesu rekrutacji. Podanie danych w zakresie wynikającym z ustawy z dnia 26 czerwca 1974 r. Kodeks pracy jest obowiązkowe. W pozostałym zakresie podanie danych jest dobrowolne. Odmowa podania danych obowiązkowych może skutkować brakiem możliwości przeprowadzenia procesu rekrutacji. Administrator przetwarza dane obowiązkowe na podstawie ciążącego na nim obowiązku prawnego, zaś w zakresie danych dodatkowych podstawą przetwarzania jest zgoda. Dane osobowe będą przetwarzane do czasu zakończenia postępowania rekrutacyjnego i przez okres możliwości dochodzenia ewentualnych roszczeń, a w przypadku wyrażenia zgody na udział w przyszłych postępowaniach rekrutacyjnych - do czasu wycofania tej zgody. Zgoda na przetwarzanie danych osobowych może zostać wycofana w dowolnym momencie. Odbiorcą danych jest serwis Just Join IT oraz inne podmioty, którym powierzyliśmy przetwarzanie danych w związku z rekrutacją.

DCV Technologies

DCV Technologies

99 aktywnych ofert

Zobacz wszystkie oferty
Aplikuj teraz