Ingénieur/e Data – Services Publics – Bordeaux

Résumé du poste

Mérignac
Data Engineer

Modèle de travail

Hybride · 2 jours à domicile
il y a 2 semaines
Description du poste

La communauté Data du vertical Services Publics de Sopra Steria

La communauté Data du vertical Services Publics de Sopra Steria accompagne les organismes, les administrations et autres entités de la sphère publique sur des grands programmes de transformation et de maintenance dans le domaine de l'informatique décisionnelle , de la datavisualisation , de la datascience , de l'IA ainsi que des technologies et architectures Big Data (Datalake, Lakehouse).

Notre présence globale dans l'écosystème depuis de nombreuses années et la connaissance approfondie des métiers de nos clients sont un atout majeur pour répondre aux grands enjeux de transformation impliqués par les réformes de l'Etat :

  • Souveraineté ;
  • Move to Cloud ;
  • Mise en place de plateforme de données ;
  • Gestion des données à caractère personnel ou sensibles ;
  • Modernisation de socle technologique ;
  • Maitrise des coûts SI ;
  • Gestion de la dette technique.

Votre rôle en tant qu'Ingénieur Data

En tant qu'Ingénieur Data, vous intégrerez une communauté d'experts au service de la valorisation de donnée de nos clients. En fonction de votre spécialisation et/ou appétence dans les métiers de la Data parmi la BI (informatique décisionnelle), la datavisualisation , le Big Data , la data science, vous serez amené à travailler sur les activités suivantes :

Missions principales

  • Collecte de Données : Collecter des données à partir de diverses sources internes et externes (bases de données, fichiers, API, flux de données en continu, etc.).
  • Extraction, Transformation et Chargement (ETL) : Effectuer des opérations ETL pour extraire, transformer (nettoyage, normalisation, agrégation, enrichissement, etc.) et charger les données dans les entrepôts de données ou magasins du système décisionnel ou dans des formats optimisés pour le Big Data.
  • Intégration des Données Structurées et Non Structurées : Gérer et intégrer des données structurées (bases de données relationnelles, fichiers CSV, etc.) et non structurées (textes, images, vidéos) sur une plateforme de donnée.
  • Gestion des Flux de Données en Continu : Traiter les flux de données en continu (capteurs IoT, journaux d'événements en temps réel) en garantissant leur disponibilité et leur intégrité.
  • Sécurité des Données : Assurer la sécurité des données collectées et intégrées via des mécanismes de chiffrement, de contrôle d'accès et de gestion des identités.
  • Restitution des données : Construire des solutions d'exposition (API), de reporting et de visualisation des données consolidées dans les datamarts métiers à l'aide d'outils ou de librairies de datavisualisation.
  • Gestion des Métadonnées : Documenter et gérer les métadonnées associées aux sources de données, transformations et schémas de données pour faciliter la compréhension.
  • Performance et Évolutivité : Optimiser les processus d'intégration des données pour garantir des performances élevées et une évolutivité face à des volumes de données croissants.
  • Collaboration avec les autres équipes : Travailler en étroite collaboration avec les Data Scientists, experts fonctionnels, Architectes Data et autres membres de l'équipe.
  • Gestion des accès aux données : Assurer que chaque profil utilisateur ait accès aux données adéquates, en conformité avec le système d'habilitations. Sécuriser les transferts de fichiers entrants et sortants pour garantir la confidentialité.
  • Planification et Automatisation : Planifier les tâches d'intégration des données et mettre en place des mécanismes d'automatisation.
  • Maintenance et Surveillance : Assurer la maintenance continue des pipelines d'intégration et surveiller les flux de données pour détecter et résoudre rapidement les problèmes.

Environnement technique

  • Big Data : Sqoop, Spark, Nifi, Hadoop, Cloudera, Hive, HDFS, S3, MinIO, Parquet, Ranger, Atlas, Kerberos, Yarn, Iceberg, Dremio, Trino, Keycloak, Kubernetes, Airflow
  • Data science : Python (et librairies), PySpark, R (et packages), SAS, Dataiku, Jupyter, Spark MLlib, FastAPI, Flask
  • BI / datavisualisation : Shell, SQL, PL/SQL, Oracle, PostgreSQL, Talend, MicroStrategy, DataStage, Microsoft SSIS, PowerBI, Qlik, DigDash, Suadeo, SuperSet, R Shiny
  • Transverse : Gitlab, JIRA, Confluence, Linux, DevOps

Informations supplémentaires

  • Un accord télétravail pour travailler jusqu'à 2 jours par semaine selon vos missions.
  • Un package avantages intéressants : titres restaurants, accès aux subventions des activités sociales & culturelles.
  • Des centaines de formations pour développer vos compétences et évoluer au sein du Groupe.
  • Des plateformes de formations en autonomie pour accompagner votre développement personnel.
  • La possibilité de vous engager auprès de notre fondation ou de notre partenaire << Vendredi >>.
  • De très nombreuses opportunités en CDI peuvent vous attendre à l'issue du stage.

Employeur inclusif et engagé, notre société œuvre chaque jour pour lutter contre toute forme de discrimination et favoriser un environnement de travail respectueux. C'est pourquoi, attachés à la mixité et à la diversité, nous encourageons toutes les candidatures et tous les profils.

https://www.soprasteria.fr/nous-connaitre/nos-engagements