Multimodal ML Engineer

Résumé du poste

Paris
Data Scientist

Modèle de travail

Hybride
il y a 2 jours
Description du poste

TLDR

Ingénieur ML Multimodal pour entraîner et déployer des modèles de vision, audio, vidéo et parole pour une plateforme de sécurité IA traitant 100M d'appels API/mois.

À propos de nous

White Circle est une entreprise de sécurité IA qui construit la couche de sécurité, de fiabilité et d'optimisation pour les systèmes IA. Au cœur de notre plateforme se trouvent des politiques - des règles simples en langage naturel qui définissent ce qu'un modèle IA doit ou ne doit pas faire. Nous testons, appliquons et améliorons automatiquement ces politiques à grande échelle.

  • Levée de fonds de 11M$ auprès de leaders d'OpenAI, Anthropic, HuggingFace, Mistral, DeepMind, Datadog, Sentry, etc.
  • Plus de 100M d'appels API traités chaque mois.
  • Nous entraînons et affinons nos propres LLM pour qu'ils soient plus rapides et moins chers que les modèles existants.

Vos missions

  • Entraîner et affiner des modèles multimodaux à grande échelle (vision-langage, audio, parole) à partir de zéro ou de checkpoints pré-entraînés.
  • Étendre les modèles aux différentes modalités : compréhension d'images, modélisation temporelle vidéo, traitement de contexte long et audio en streaming.
  • Concevoir et mener des expériences : changements d'architecture, mélanges de données, recettes d'entraînement.
  • Construire et maintenir des pipelines de données multimodales : des données brutes aux datasets prêts pour l'entraînement, incluant la génération de données synthétiques.
  • Entraîner et optimiser des architectures MoE pour une inférence multimodale efficace.
  • Construire des pipelines d'alignement : SFT, DPO, GRPO, modélisation de récompense, au-delà du texte.
  • Optimiser les modèles pour la production : quantification, distillation, batching, streaming et serving à faible latence.
  • Déployer les modèles de bout en bout : du checkpoint de recherche au déploiement en production.
  • Définir des métriques d'évaluation pertinentes : QA visuel, raisonnement spatial, compréhension vidéo, compréhension audio et parole.

Profil recherché

  • 3 ans d'expérience dans l'entraînement de modèles de deep learning à grande échelle dans des domaines multimodaux.
  • Solides compétences en PyTorch avec expérience pratique en entraînement distribué (DeepSpeed, FSDP ou similaire).
  • Expérience approfondie des architectures multimodales (LLaVA, Qwen-VL, InternVL, Audio Flamingo, Whisper, etc.).
  • Expérience pratique en RLHF/alignement multimodal (GRPO, DPO, modélisation de récompense).
  • Expérience en modélisation de séquences vidéo/audio : modélisation temporelle, contexte long, attention efficace, inférence en streaming.
  • Historique de déploiement de modèles en production : atteinte des objectifs de latence et optimisation de l'inférence.
  • Maîtrise de la curation de datasets multimodaux à grande échelle.
  • Familiarité avec les architectures MoE.
  • Solides fondamentaux en ingénierie : code propre, contrôle de version, tests, documentation.

Un plus :

  • Compréhension des fondamentaux du traitement du signal audio (spectrogrammes, caractéristiques mel, réduction de bruit).

Pourquoi nous rejoindre

  • Congés payés conformes aux réglementations locales.
  • Travail depuis Paris (hybride) avec package de relocalisation, ou depuis Londres.
  • Assurance médicale complète pour l'équipe basée en France.
  • Matériel et outils nécessaires fournis.
  • Abonnements aux agents IA et IDE couverts.
  • Séminaires d'équipe deux fois par an (ex: Alpes, Saint-Tropez).

Processus de recrutement

  1. Appel introductif avec les RH (25 min)
  2. Test technique à la maison
  3. Entretien technique avec le Head of Applied Research (60 min)
  4. Entretien final avec le CEO (45 min)