Senior Data Engineer

Dołącz do międzynarodowego projektu z obszaru Data Engineering, którego celem jest rozwój platformy generującej inteligentne sugestie wspierające pracę przedstawicieli farmaceutycznych.

• 5–10 lat doświadczenia w Data Engineering, najlepiej w projektach globalnych lub regionalnych.
• Bardzo dobra znajomość Pythona, w szczególności:
  • pandas do manipulacji i analizy danych,
  • programowania obiektowego (OOP),
  • design patterns,
  • nowoczesnych narzędzi i praktyk Python development.
• Praktyczne doświadczenie z AWS, w szczególności:
  • AWS Glue – procesy ETL,
  • Amazon Athena – zapytania i analiza danych,
  • DynamoDB – NoSQL,
  • AWS Step Functions – orkiestracja workflow,
  • AWS Lambda.
• Dobre zrozumienie architektury rozwiązań chmurowych, szczególnie AWS.
• Doświadczenie w pracy w metodykach Agile.
• Znajomość narzędzi projektowych, np. Azure DevOps.
• Umiejętność samodzielnego debugowania problemów w złożonych pipeline'ach danych.

Nice to have:

• Podstawowa znajomość platform Veeva.
• Doświadczenie z CI/CD, Git/version control oraz automated testing.
• Doświadczenie w branży pharma, healthcare lub praca z danymi medycznymi/farmaceutycznymi.

• Rozwój i utrzymanie platformy Data Engineering odpowiedzialnej za generowanie inteligentnych sugestii.
• Projektowanie i implementacja skalowalnych, reużywalnych modułów z wykorzystaniem nowoczesnych praktyk programistycznych w Pythonie.
• Tworzenie utrzymywalnych i skalowalnych rozwiązań do przetwarzania danych z wykorzystaniem OOP i design patterns.
• Praca z danymi oraz rozwój procesów ETL w środowisku AWS.
• Udział w migracji platformy generowania sugestii do nowego systemu CRM, w tym:
  • aktualizacja pipeline'ów dla poszczególnych use case'ów,
  • przeprowadzanie testów end-to-end,
  • walidacja generowanych sugestii,
  • realizacja zadań migracyjnych.
• Analizowanie problemów w istniejących pipeline'ach danych i procesach generowania sugestii oraz identyfikowanie ich root cause.
• Debugowanie i rozwiązywanie problemów w środowisku AWS Step Functions, Glue, Athena oraz Lambda.
• Dbanie o jakość kodu, testowanie oraz efektywny proces developmentu i deploymentu.
• Współpraca z zespołem w środowisku Agile.

Informujemy, że administratorem danych jest co.brick Sp. z o.o. z siedzibą w Gliwicach, ul. Kaczyniec 9 (dalej jako "administrator"). Masz prawo do żądania dostępu do swoich danych osobowych, ich sprostowania, usunięcia lub ograniczenia przetwarzania, prawo do wniesienia sprzeciwu wobec przetwarzania, a także prawo do przenoszenia danych oraz wniesienia skargi do organu nadzorczego. Dane osobowe przetwarzane będą w celu realizacji procesu rekrutacji. Podanie danych w zakresie wynikającym z ustawy z dnia 26 czerwca 1974 r. Kodeks pracy jest obowiązkowe. W pozostałym zakresie podanie danych jest dobrowolne. Odmowa podania danych obowiązkowych może skutkować brakiem możliwości przeprowadzenia procesu rekrutacji. Administrator przetwarza dane obowiązkowe na podstawie ciążącego na nim obowiązku prawnego, zaś w zakresie danych dodatkowych podstawą przetwarzania jest zgoda. Dane osobowe będą przetwarzane do czasu zakończenia postępowania rekrutacyjnego i przez okres możliwości dochodzenia ewentualnych roszczeń, a w przypadku wyrażenia zgody na udział w przyszłych postępowaniach rekrutacyjnych - do czasu wycofania tej zgody. Zgoda na przetwarzanie danych osobowych może zostać wycofana w dowolnym momencie. Odbiorcą danych jest serwis Just Join IT oraz inne podmioty, którym powierzyliśmy przetwarzanie danych w związku z rekrutacją.