Snowflake Data Engineer

Dla jednego z naszych klientów, firmy konsultingowej poszukujemy Snowflake Data Engineera, który dołączy do rozwijającego się zespołu Data & Analytics pomagając klientom rozwiązywać złożone wyzwania biznesowe przy wykorzystaniu danych i nowoczesnych technologii. W zespole analizujemy dane, aby wydobywać z nich największą wartość i identyfikować nowe możliwości biznesowe w takich branżach jak bankowość, ubezpieczenia, produkcja, opieka zdrowotna, handel detaliczny, motoryzacja, łańcuch dostaw oraz finanse. Poszukujemy osobę posiadającą solidną wiedzę technologiczną oraz doświadczenie w obszarze inżynierii danych i Big Data, która ma udokumentowane sukcesy w realizacji projektów.

• Praktyczne doświadczenie w obszarze hurtowni danych (Data Warehouse) oraz procesów ETL.
• Bardzo dobra znajomość platformy Snowflake.
• Doświadczenie w modelowaniu danych w Snowflake, obejmujące role, schematy, bazy danych oraz polityki bezpieczeństwa.
• Praktyczna znajomość mechanizmów Tasks, Streams oraz Stages w Snowflake.
• Doświadczenie w integracji danych z wykorzystaniem narzędzi takich jak Matillion, Palantir, Informatica, dbt lub podobnych.
• Doświadczenie w budowie potoków danych do przetwarzania wsadowego oraz danych strumieniowych (real-time) dla danych ustrukturyzowanych i nieustrukturyzowanych.
• Znajomość narzędzi i technologii takich jak Kafka oraz NiFi w zakresie przesyłania, pobierania i przetwarzania danych.
• Bardzo dobra znajomość usług AWS, w szczególności S3, Lambda, EMR oraz Glue.
• Wiedza z zakresu wzorców przetwarzania danych, systemów rozproszonych oraz budowy rozwiązań do analityki wsadowej i czasu rzeczywistego.
• Doświadczenie w pracy z dużymi zbiorami danych oraz ich analizą i przetwarzaniem z wykorzystaniem baz SQL i NoSQL oraz języków programowania takich jak Java, Scala lub Python.
• Znajomość formatów danych ORC, Parquet oraz AVRO oraz technik kompresji i optymalizacji zapytań.
• Wiedza z zakresu DevOps oraz konteneryzacji; doświadczenie we wdrażaniu rozwiązań będzie dodatkowym atutem.
• Wykształcenie wyższe informatyczne lub pokrewne.
• Od 4 do 7 lat doświadczenia zawodowego na podobnym stanowisku.
• Doświadczenie w pracy zgodnie z metodykami Agile (mile widziane).
• Samodzielność, proaktywne podejście oraz odpowiedzialność za realizowane zadania.
• Bardzo dobre umiejętności komunikacyjne w mowie i piśmie.
• Udział we wszystkich etapach cyklu życia rozwiązań Big Data – od analizy i projektowania, przez rozwój i testowanie, aż po wdrożenie produkcyjne oraz utrzymanie.

Nice to have:

• Umiejętność budowania i utrzymywania relacji z klientami.
• Znajomość zaawansowanych funkcji Snowflake, takich jak konfiguracja Resource Monitors oraz optymalizacja wydajności.

• Projektowanie, rozwój oraz wdrażanie potoków danych (Big Data Pipelines) w środowisku chmurowym z wykorzystaniem Snowflake.
• Projektowanie, rozwój i migracja procesów ETL z rozwiązań on-premise do środowiska chmurowego.
• Współpraca z kadrą zarządzającą w celu zrozumienia celów biznesowych oraz realizacji powierzonych obszarów projektowych.
• Projektowanie i optymalizacja kodu oraz modeli danych pod kątem wydajności i szybszego przetwarzania.

Informujemy, że administratorem danych jest Upvanta sp. z o.o z siedzibą w Warszawie, ul. Prosta 70_(dalej jako "administrator"). Masz prawo do żądania dostępu do swoich danych osobowych, ich sprostowania, usunięcia lub ograniczenia przetwarzania, prawo do wniesienia sprzeciwu wobec przetwarzania, a także prawo do przenoszenia danych oraz wniesienia skargi do organu nadzorczego. Dane osobowe przetwarzane będą w celu realizacji procesu rekrutacji. Podanie danych w zakresie wynikającym z ustawy z dnia 26 czerwca 1974 r. Kodeks pracy jest obowiązkowe. W pozostałym zakresie podanie danych jest dobrowolne. Odmowa podania danych obowiązkowych może skutkować brakiem możliwości przeprowadzenia procesu rekrutacji. Administrator przetwarza dane obowiązkowe na podstawie ciążącego na nim obowiązku prawnego, zaś w zakresie danych dodatkowych podstawą przetwarzania jest zgoda. Dane osobowe będą przetwarzane do czasu zakończenia postępowania rekrutacyjnego i przez okres możliwości dochodzenia ewentualnych roszczeń, a w przypadku wyrażenia zgody na udział w przyszłych postępowaniach rekrutacyjnych - do czasu wycofania tej zgody. Zgoda na przetwarzanie danych osobowych może zostać wycofana w dowolnym momencie. Odbiorcą danych jest serwis Just Join IT oraz inne podmioty, którym powierzyliśmy przetwarzanie danych w związku z rekrutacją.