Senior Data Engineer with Google Cloud Spanner and Graph, Graph Platform
Tech Stack / Keywords
Firma i stanowisko
DataArt is hiring for a project focused on building a unified Spanner based data platform that combines relational storage, graph modeling, and vector search to enable hybrid data access patterns with complex graph traversals and near real time synchronization.
Wymagania
- Strong data engineering background with hands on experience in building data platforms
- Experience working with Google Cloud Spanner in production environments
- Advanced SQL skills including query optimization and performance tuning
- Experience designing and implementing CDC pipelines and real time data synchronization
- Hands on experience with ETL and ELT processes and data pipeline architecture
- Proficiency in Python for data processing and pipeline development
- Experience with graph modeling and familiarity with graph query languages such as GQL
- Understanding of distributed data systems and scalable architecture patterns
- Familiarity with Google Cloud Platform services such as BigQuery, Pub Sub, and Dataflow
- Knowledge of data governance concepts including data quality, lineage, and consistency
- Understanding of data security practices including IAM and encryption standards
Nice to have:
- Experience with vector search technologies and embedding based retrieval
- Familiarity with Apache Beam for distributed data processing
- Experience working with hybrid architectures combining relational, graph, and vector data
- Exposure to AI driven data platforms or machine learning pipelines
- Experience with observability tools for monitoring data pipelines and system performance
Obowiązki
- Design and implement Cloud Spanner schemas including interleaved table structures to optimize performance and data locality
- Collaborate with database and architecture teams to define unified relational and graph data models
- Develop and optimize advanced SQL and ISO GQL queries for efficient graph traversals and hybrid access patterns
- Build and maintain CDC pipelines to synchronize relational, graph, and vector data in near real time
- Design and implement ETL and ELT processes for data ingestion and transformation
- Optimize database performance through query tuning, indexing strategies, and workload optimization
- Implement graph modeling approaches to represent complex relationships and enable advanced querying
- Support vector search capabilities integrated with graph and relational data layers
- Ensure data consistency, correctness, and synchronization across all data representations
- Collaborate with cross functional teams to deliver scalable, reliable, and observable data pipelines
Benefity
- Up to 26 business vacation days per year
- 10 fully paid illness/special days off per year for all contract types
- Health and life insurance (Luxmed)
- MyBenefit platform with Multisport option
- Internal psychological support service
- English language classes from the first working day
- Access to external learning platforms: O’Reilly, LinkedIn Learning, Udemy, and internal training catalog
- Flexible workplace: office, home, or hybrid option
- Tech Skills Mentoring Program
- Opportunities to develop as a public speaker, mentor, or technical interviewer
- Fully paid idle (bench) when not involved in a project
- Certification reimbursement (AWS, GCP, Microsoft, etc.)
Inne informacje
Informujemy, że administratorem danych jest DataArt Poland Sp z o o z siedzibą w Lublinie, Ul. Zana 39 a, 20-601 Lublin (dalej jako "administrator"). Masz prawo do żądania dostępu do swoich danych osobowych, ich sprostowania, usunięcia lub ograniczenia przetwarzania, prawo do wniesienia sprzeciwu wobec przetwarzania, a także prawo do przenoszenia danych oraz wniesienia skargi do organu nadzorczego. Dane osobowe przetwarzane będą w celu realizacji procesu rekrutacji. Podanie danych w zakresie wynikającym z ustawy z dnia 26 czerwca 1974 r. Kodeks pracy jest obowiązkowe. W pozostałym zakresie podanie danych jest dobrowolne. Odmowa podania danych obowiązkowych może skutkować brakiem możliwości przeprowadzenia procesu rekrutacji. Administrator przetwarza dane obowiązkowe na podstawie ciążącego na nim obowiązku prawnego, zaś w zakresie danych dodatkowych podstawą przetwarzania jest zgoda. Dane osobowe będą przetwarzane do czasu zakończenia postępowania rekrutacyjnego i przez okres możliwości dochodzenia ewentualnych roszczeń, a w przypadku wyrażenia zgody na udział w przyszłych postępowaniach rekrutacyjnych - do czasu wycofania tej zgody. Zgoda na przetwarzanie danych osobowych może zostać wycofana w dowolnym momencie. Odbiorcą danych jest serwis Just Join IT oraz inne podmioty, którym powierzyliśmy przetwarzanie danych w związku z rekrutacją.
DataArt
42 aktywne oferty