Data Engineer

CodiLime is a software and network engineering industry expert and the first-choice service partner for top global networking hardware providers, software providers and telecoms. The company employs over 250 people and operates since 2011. It serves clients including tech startups and major companies in the US, Japan, Israel, and Europe.

• Strong experience with Python including data structures, typing, error handling, generators/iterators, context managers, and standard library
• Software engineering fundamentals: modular design, dependency management, packaging, API design
• Hands-on experience building and operating ETL/ELT pipelines in production
• Strong experience with Snowflake and dbt
• Experience with Apache Airflow or similar orchestration tools
• Experience with Apache Spark, ideally on Databricks
• Solid SQL skills and data modeling including PostgreSQL
• Testing discipline with pytest, dbt data tests, and data-contract checks in CI
• Experience with Docker, Kubernetes, and CI/CD practices
• Debugging and profiling skills for Python performance, concurrency, and memory
• Experience with at least one public cloud (AWS or Azure)
• Experience with version control systems (Git)
• Experience using AI coding assistants such as Claude Code and Cursor daily
• Strong communication skills and English proficiency at minimum C1 level

Nice to have:

• Experience with Pydantic or similar schema-validation libraries
• Experience with FastAPI, Flask, or Django
• Knowledge of async Python, multiprocessing, or concurrency patterns
• Experience with Azure AI Search or AWS OpenSearch
• Familiarity with Go, Rust, Scala, or TypeScript
• Familiarity with LLMs, Azure OpenAI, or agentic AI systems

• Design, build, and maintain batch and streaming data pipelines in Python, including orchestration, scheduling, and monitoring using Apache Airflow
• Develop data transformation logic in SQL and dbt on Snowflake and build data models
• Write reusable, well-typed Python libraries and internal packages
• Build Python services and APIs with FastAPI and integrate with third-party and internal APIs
• Write unit, integration, and data-contract tests with automated CI
• Profile and optimize Python code and data processing jobs for runtime, memory, and cost
• Deploy and operate code in the cloud using containers, infrastructure as code, and CI/CD
• Enforce access controls, secrets handling, and sensitive-data protections
• Use AI coding assistants effectively and help build automated quality gates
• Find and fix efficiency, reliability, cost, and correctness issues in existing pipelines
• Replace one-off scripts and notebooks with tested, scheduled code
• Implement data quality checks, validation, and monitoring
• Create matching logic to deduplicate and connect entities across data sources
• Document data processes and system architecture

Informujemy, że administratorem danych jest Codilime z siedzibą w Warszawie, ul. Krańcowa 5 (dalej jako "administrator"). Masz prawo do żądania dostępu do swoich danych osobowych, ich sprostowania, usunięcia lub ograniczenia przetwarzania, prawo do wniesienia sprzeciwu wobec przetwarzania, a także prawo do przenoszenia danych oraz wniesienia skargi do organu nadzorczego. Dane osobowe przetwarzane będą w celu realizacji procesu rekrutacji. Podanie danych w zakresie wynikającym z ustawy z dnia 26 czerwca 1974 r. Kodeks pracy jest obowiązkowe. W pozostałym zakresie podanie danych jest dobrowolne. Odmowa podania danych obowiązkowych może skutkować brakiem możliwości przeprowadzenia procesu rekrutacji. Administrator przetwarza dane obowiązkowe na podstawie ciążącego na nim obowiązku prawnego, zaś w zakresie danych dodatkowych podstawą przetwarzania jest zgoda. Dane osobowe będą przetwarzane do czasu zakończenia postępowania rekrutacyjnego i przez okres możliwości dochodzenia ewentualnych roszczeń, a w przypadku wyrażenia zgody na udział w przyszłych postępowaniach rekrutacyjnych - do czasu wycofania tej zgody. Zgoda na przetwarzanie danych osobowych może zostać wycofana w dowolnym momencie. Odbiorcą danych jest serwis Just Join IT oraz inne podmioty, którym powierzyliśmy przetwarzanie danych w związku z rekrutacją.