Data Engineer - IBM FuturNow Center - H/F

Une carrière à IBM Consulting est ancrée dans des relations à long terme et une collaboration étroite avec des clients du monde entier. Vous travaillerez avec des visionnaires dans de multiples secteurs pour améliorer le parcours du cloud hybride et de l'IA pour les entreprises les plus innovantes et les plus importantes au monde. Votre capacité à accélérer l'impact et à apporter des changements significatifs pour nos clients est rendue possible par notre écosystème de partenaires stratégiques et nos plateformes technologiques robustes à travers le portefeuille IBM ; y compris et Red Hat. La curiosité et la recherche constante de connaissances sont les fondements de la réussite au sein d'IBM Consulting. Dans votre rôle, vous serez encouragé à remettre en question la norme, à rechercher des idées en dehors de votre rôle et à trouver des solutions créatives qui auront un impact révolutionnaire pour un large réseau de clients. Notre culture de l'évolution et de l'empathie est axée sur l'évolution de carrière à long terme et les opportunités de développement dans un environnement qui prend en compte vos compétences et votre expérience uniques. Dans le cadre du renforcement de notre équipe Data & Operations, nous recherchons un(e) Data Engineer / DataOps pour intervenir sur un projet stratégique dans le secteur automobile. Votre mission sera double : bâtir des pipelines de données robustes de A à Z et industrialiser l'écosystème pour garantir des performances et une gouvernance de haut niveau. Vous aurez également l'opportunité de passer des certifications clés pour valider votre expertise. Missions principales : • Engineering & Pipelines : Concevoir et développer des jobs AWS Glue (Python/PySpark) pour nettoyer, transformer et ingérer la donnée brute. Réaliser et maintenir des sources de données fiabilisées (équivalent QVD). Modéliser les données en "Schéma en étoile" (Star Schema) et participer à l'évolution du Data Warehouse (Amazon Redshift / PostgreSQL). • Infrastructure as Code & DataOps : Gérer l'infrastructure par le code en écrivant des modules Terraform (Buckets S3, bases Athena, etc.). Mettre en place des pipelines CI/CD (GitHub Actions) pour automatiser la vérification de la qualité du code et les déploiements entre les environnements de Test et de Prod. Orchestrer les flux via AWS Glue et AWS Lambda. • Optimisation & Gouvernance : Optimiser les performances et réduire les coûts de stockage/requêtage en partitionnant les données sur S3 et en exploitant le format Parquet. Documenter le catalogue de données via Glue Data Catalog pour les utilisateurs finaux. Rédiger des requêtes SQL, réaliser des audits, du refactoring et du nettoyage de données. • Collaboration & Agilité : Participer activement aux sprints agiles de 3 semaines (la dernière semaine étant dédiée à la validation, aux tests et au déploiement). Traduire les besoins des équipes fonctionnelles en tâches techniques et valider un projet de bout en bout (POC) sur des données réelles. Compétences techniques recherchées Data Engineering & Modélisation : Bonne maîtrise de PySpark/Python, des architectures AWS Data et de la modélisation en étoile. Infrastructure as Code (IaC) : Pratique de Terraform pour le déploiement de ressources Cloud. Cloud AWS : Connaissance de l'écosystème Data (Glue, Lambda, S3, Athena, Redshift, Glue Data Catalog). DataOps & CI/CD : Utilisation de Git et première expérience ou notions sur GitHub Actions. Bases de données & SQL : Maîtrise du SQL et de l'optimisation de requêtes (PostgreSQL / Redshift). Un plus apprécié : Des notions sur la suite BI (QuickSight, notamment le moteur SPICE et la sécurité à la ligne / RLS, ou Tableau). Profil recherché Curieux(se) et autonome : Vous êtes force de proposition, capable d'être force de proposition sur l'existant pour faire évoluer nos architectures. Orienté(e) Delivery : Vous aimez voir vos pipelines tourner en production de manière stable et sécurisée. Esprit d'équipe : Vous avez un bon relationnel pour collaborer avec les profils techniques et fonctionnels. Objectif d'évolution : Vous visez l'excellence technique et êtes motivé(e) pour passer/valider des certifications (accompagné par l'équipe) Un environnement technique moderne et challengeant (Full AWS, IaC, CI/CD). Un cadre de travail agile et structuré. Un parcours de formation et de montée en compétences ciblé via nos outils de formations internes. Une carrière à IBM Consulting est ancrée dans des relations à long terme et une collaboration étroite avec des clients du monde entier. Vous travaillerez avec des visionnaires dans de multiples secteurs pour améliorer le parcours du cloud hybride et de l'IA pour les entreprises les plus innovantes et les plus importantes au monde. Votre capacité à accélérer l'impact et à apporter des changements significatifs pour nos clients est rendue possible par notre écosystème de partenaires stratégiques et nos plateformes technologiques robustes à travers le portefeuille IBM ; y compris et Red Hat. La curiosité et la recherche constante de connaissances sont les fondements de la réussite au sein d'IBM Consulting. Dans votre rôle, vous serez encouragé à remettre en question la norme, à rechercher des idées en dehors de votre rôle et à trouver des solutions créatives qui auront un impact révolutionnaire pour un large réseau de clients. Notre culture de l'évolution et de l'empathie est axée sur l'évolution de carrière à long terme et les opportunités de développement dans un environnement qui prend en compte vos compétences et votre expérience uniques. Dans le cadre du renforcement de notre équipe Data & Operations, nous recherchons un(e) Data Engineer / DataOps pour intervenir sur un projet stratégique dans le secteur automobile. Votre mission sera double : bâtir des pipelines de données robustes de A à Z et industrialiser l'écosystème pour garantir des performances et une gouvernance de haut niveau. Vous aurez également l'opportunité de passer des certifications clés pour valider votre expertise. Missions principales : • Engineering & Pipelines : Concevoir et développer des jobs AWS Glue (Python/PySpark) pour nettoyer, transformer et ingérer la donnée brute. Réaliser et maintenir des sources de données fiabilisées (équivalent QVD). Modéliser les données en "Schéma en étoile" (Star Schema) et participer à l'évolution du Data Warehouse (Amazon Redshift / PostgreSQL). • Infrastructure as Code & DataOps : Gérer l'infrastructure par le code en écrivant des modules Terraform (Buckets S3, bases Athena, etc.). Mettre en place des pipelines CI/CD (GitHub Actions) pour automatiser la vérification de la qualité du code et les déploiements entre les environnements de Test et de Prod. Orchestrer les flux via AWS Glue et AWS Lambda. • Optimisation & Gouvernance : Optimiser les performances et réduire les coûts de stockage/requêtage en partitionnant les données sur S3 et en exploitant le format Parquet. Documenter le catalogue de données via Glue Data Catalog pour les utilisateurs finaux. Rédiger des requêtes SQL, réaliser des audits, du refactoring et du nettoyage de données. • Collaboration & Agilité : Participer activement aux sprints agiles de 3 semaines (la dernière semaine étant dédiée à la validation, aux tests et au déploiement). Traduire les besoins des équipes fonctionnelles en tâches techniques et valider un projet de bout en bout (POC) sur des données réelles. Compétences techniques recherchées Data Engineering & Modélisation : Bonne maîtrise de PySpark/Python, des architectures AWS Data et de la modélisation en étoile. Infrastructure as Code (IaC) : Pratique de Terraform pour le déploiement de ressources Cloud. Cloud AWS : Connaissance de l'écosystème Data (Glue, Lambda, S3, Athena, Redshift, Glue Data Catalog). DataOps & CI/CD : Utilisation de Git et première expérience ou notions sur GitHub Actions. Bases de données & SQL : Maîtrise du SQL et de l'optimisation de requêtes (PostgreSQL / Redshift). Un plus apprécié : Des notions sur la suite BI (QuickSight, notamment le moteur SPICE et la sécurité à la ligne / RLS, ou Tableau). Profil recherché Curieux(se) et autonome : Vous êtes force de proposition, capable d'être force de proposition sur l'existant pour faire évoluer nos architectures. Orienté(e) Delivery : Vous aimez voir vos pipelines tourner en production de manière stable et sécurisée. Esprit d'équipe : Vous avez un bon relationnel pour collaborer avec les profils techniques et fonctionnels. Objectif d'évolution : Vous visez l'excellence technique et êtes motivé(e) pour passer/valider des certifications (accompagné par l'équipe) Un environnement technique moderne et challengeant (Full AWS, IaC, CI/CD). Un cadre de travail agile et structuré. Un parcours de formation et de montée en compétences ciblé via nos outils de formations internes. France Software Engineering Hybrid Professional Lille, FR