Data Engineer

40 - 60 USD/ godz.B2B
SeniorFull-time·B2B
#392287·Dodano miesiąc temu·4
Źródło: justjoin.it
Aplikuj teraz

Tech Stack / Keywords

PythonAWSGCPSQLETLSparkApache KafkaLinux

Firma i stanowisko

RITS is hiring for a Data Engineer to build, develop, and operate a next-generation data platform using modern cloud technologies and data engineering tools.

Wymagania

  • Strong attention to detail, data precision, and data quality
  • Experience maintaining system stability and managing releases
  • Production operations and support experience
  • Clear communication skills with team members and end-users
  • Agile, self-starter with ability to work independently
  • Expert level knowledge of SQL and databases such as MySQL, PostgreSQL, SQL Server, Snowflake, Redis, Presto
  • Strong skills in Python and related ecosystems like conda, pip
  • Experience building ETL and stream processing pipelines with Kafka, Spark, Flink, Airflow, Prefect
  • Experience with AWS/GCP services (S3, GCS, EC2, GCE, IAM), Kubernetes, and Linux in production
  • Experience in parallel and distributed computing
  • Strong orientation towards automation and DevOps tools such as Gitlab, Terraform, Prometheus
  • Ability to handle large-scale data volume, velocity, and variety
  • Ability to manage ambiguity in changing environments
  • Availability with at least 5-6 hours overlap starting 9am US Eastern

Nice to have:

  • Familiarity with data science stack: Jupyter, Pandas, Scikit-learn, Pytorch, MLFlow, Kubeflow
  • Development skills in Java, Go, or Javascript
  • Experience with software builds and packaging on MS Windows
  • Experience managing time series data
  • Familiarity with open source community involvement
  • Financial services experience

Obowiązki

  • Build and run Tradeweb’s data platform using public cloud infrastructure (AWS, GCP), Kafka, Spark, databases, and containers
  • Develop the data platform based on open source software and cloud services
  • Build and run ETL pipelines, define schema, build DAG processing pipelines, and monitor data quality
  • Assist in developing machine learning frameworks and pipelines
  • Manage and operate mission-critical production services

Benefity

  • 100% Remote work model
  • Working hours overlapping NYC time zone (minimum 5h overlap required)
  • Contract: B2B with rate 40-60 USD per hour

Inne informacje

Informujemy, że administratorem danych jest Relyon IT Services z siedzibą w Warszawie, ul. ul. Wołoska 9 (dalej jako "administrator"). Masz prawo do żądania dostępu do swoich danych osobowych, ich sprostowania, usunięcia lub ograniczenia przetwarzania, prawo do wniesienia sprzeciwu wobec przetwarzania, a także prawo do przenoszenia danych oraz wniesienia skargi do organu nadzorczego. Dane osobowe przetwarzane będą w celu realizacji procesu rekrutacji. Podanie danych w zakresie wynikającym z ustawy z dnia 26 czerwca 1974 r. Kodeks pracy jest obowiązkowe. W pozostałym zakresie podanie danych jest dobrowolne. Odmowa podania danych obowiązkowych może skutkować brakiem możliwości przeprowadzenia procesu rekrutacji. Administrator przetwarza dane obowiązkowe na podstawie ciążącego na nim obowiązku prawnego, zaś w zakresie danych dodatkowych podstawą przetwarzania jest zgoda. Dane osobowe będą przetwarzane do czasu zakończenia postępowania rekrutacyjnego i przez okres możliwości dochodzenia ewentualnych roszczeń, a w przypadku wyrażenia zgody na udział w przyszłych postępowaniach rekrutacyjnych - do czasu wycofania tej zgody. Zgoda na przetwarzanie danych osobowych może zostać wycofana w dowolnym momencie. Odbiorcą danych jest serwis Rocket Jobs oraz inne podmioty, którym powierzyliśmy przetwarzanie danych w związku z rekrutacją.

RITS

RITS

230 aktywnych ofert

Zobacz wszystkie oferty
Aplikuj teraz