Ingénieur de données

Ce profil illustre le type d’ingénierie de données dont la plupart des entreprises ont besoin dès que les tableaux de bord commencent à se contredire : quelqu’un qui rend les pipelines fiables et l’entrepôt digne de confiance.

Parcours

Sept ans à bâtir des infrastructures de données, d’abord en technologie publicitaire, où les volumes d’événements ne pardonnent pas, puis dans le commerce de détail, où les questions sont commerciales : inventaire, marge et demande. Écrit ses pipelines en Python, utilise Spark quand les données sont réellement volumineuses et s’en passe quand elles ne le sont pas, orchestre le tout avec Airflow et livre le résultat dans Snowflake, modélisé pour les gens qui vont l’interroger.

Forces

• Orchestration fiable. Des DAG Airflow avec une responsabilité claire, des alertes et des rattrapages qui ne corrompent pas l’historique.
• Traitement à la bonne échelle. Choisit entre Spark et des outils plus simples selon les données, pas selon la valeur sur un CV.
• Modélisation d’entrepôt. Structure en couches les données brutes, nettoyées et prêtes pour les affaires, pour que les analystes se fient à ce qu’ils interrogent.
• Conscience des coûts. Surveille les dépenses Snowflake et de calcul et ajuste les pipelines avant que la facture devienne un problème.

Mandat typique

Commence souvent par démêler un parc de pipelines existant ou par mettre sur pied le premier véritable entrepôt, puis reste comme responsable de la plateforme de données de l’équipe. Heures du Brésil, qui se superposent presque entièrement à la journée de travail américaine. Disponible maintenant.

Ceci est un échantillon représentatif du bassin vérifié. Faites-en la demande et nous confirmons la disponibilité réelle et actuelle d’un développeur avec ce parcours.