En tant que Data Engineer Senior, vous jouerez un rôle clé dans notre équipe Data. Votre mission consistera à concevoir, développer et gérer l'infrastructure et les outils nécessaires pour le traitement et l'analyse d'ensembles de données provenant de sources variées. Une appétence pour la Data Science est un véritable plus.
Vos responsabilités seront réparties entre :
-
Industrialisation et suivi opérationnel :
- Mettre en place des processus automatisés pour la mise à jour quotidienne de notre base de données.
- Assurer la stabilité et la performance des processus existants.
-
Structuration et enrichissement du Data Lake :
- Concevoir et optimiser le Data Lake.
- Valoriser la donnée en la rendant accessible et exploitable pour ton équipe.
-
Participation au développement :
- Contribuer au développement et à la maintenance des flux et du backend data.
- Optimiser les performances et la scalabilité.
Objectifs
Nos objectifs immédiats sont de consolider et d'améliorer le traitements des données afin de pouvoir proposer une base de donnée saine, actualisée et utilisable directement dans nos produits.
Côté technique, nous avons plusieurs initiatives pour moderniser notre stack et nos flux data:
Voici la plupart des outils et technologies que nous utilisons sur ce projet:
Langage de programmation : Go pour le legacy et Python pour les nouveaux services
Airflow pour l’orchestration ETL
BigQuery pour le stockage de donnée en base
Neo4J pour le référentiel médicale
ElasticSearch pour le moteur de recherche
Docker et terraform pour un déploiement sous une CI de github (ou circleCI pour le legacy)
Hébergement Cloud chez GCP