Data engineer Azure

Wspólnie z naszym Partnerem, międzynarodową organizacją z branży ubezpieczeniowej realizującą strategiczne inicjatywy transformacji danych w wielu krajach.

• Minimum 4 lata doświadczenia w realizacji projektów jako Data Engineer.
• Komunikatywna znajomość języka angielskiego umożliwiająca współpracę w środowisku międzynarodowym.
• Znajomość usług Microsoft Azure, w szczególności Azure Databricks oraz Azure Data Factory.
• Znajomość Argo Workflow, Rest API, Kubernetes oraz Kafka.
• Doświadczenie w pracy z SQL oraz CI/CD.

Nice to have:

• Znajomość SAP, Db2, Java, Gitops, Serverless, Pyspark, Delta Lake.

• Doradztwo dla biznesu w zakresie wzorców integracji, projektowania potoków danych, orkiestracji procesów i opcji architektonicznych, komunikując te zagadnienia w sposób zrozumiały dla partnerów nietechnicznych.
• Budowa i rozwój potoków danych: pozyskiwanie danych z heterogenicznych systemów źródłowych, ich transformacja, wzbogacanie i dostarczanie do platform analitycznych i integracyjnych.
• Projektowanie i utrzymanie integracji sterowanych przepływami pracy (workflow), zapewniając skalowalność, obserwowalność i niezawodność przepływów danych i procesów.
• Przekładanie potrzeb integracyjnych i danych na skalowalne rozwiązania techniczne na podstawie ustaleń z interesariuszami projektu.
• Projektowanie, budowa i utrzymanie rozwiązań integracyjnych łączących aplikacje, usługi i strumienie danych w ekosystemie klienta.
• Tworzenie efektywnych zapytań i logiki ekstrakcji, walidacji oraz transformacji danych w korporacyjnych systemach bazodanowych.