Senior ML Engineer - Kimchi (LLM Inference Optimization)

Pourquoi Cast AI ?

Cast AI est une plateforme d'automatisation qui gère l'infrastructure cloud-native et IA à grande échelle. En intégrant une prise de décision autonome directement dans Kubernetes et les environnements cloud, Cast AI optimise en continu les performances, la fiabilité et l'efficacité en production.

La méthode traditionnelle ne fonctionne plus. À mesure que les environnements Kubernetes et IA se développent, les décisions manuelles ne suffisent plus. Cast AI remplace les tickets, les alertes et le réglage manuel par une automatisation continue qui adapte l'infrastructure aux changements. L'efficacité et les économies de coûts en découlent naturellement.

Plus de 2 100 entreprises font déjà confiance à Cast AI, notamment Akamai, BMW, Cisco, FICO, HuggingFace, NielsenIQ, Swisscom et TGS.

Équipe mondiale, perspectives diverses

Nous sommes basés à Miami, mais notre impact est international. Nous adoptons une approche mondiale et intentionnelle de la diversité. Aujourd'hui, Cast AI opère dans 34 pays à travers l'Europe, l'Amérique du Nord, l'Amérique latine et l'APAC, apportant un large éventail de perspectives sur la façon dont nous construisons et dirigeons.

Dynamique de licorne

En janvier 2026, nous avons atteint le statut de licorne grâce à un investissement stratégique de Pacific Alliance Ventures, la branche de capital-risque de Shinsegae Group (un conglomérat coréen de plus de 50 milliards de dollars). Notre valorisation dépasse désormais le milliard de dollars, et nous ne faisons que commencer.

Rejoignez-nous pour construire l'avenir de l'infrastructure autonome.

À propos du poste

Débit. Latence. Utilisation du cache KV.

Améliorez ces trois indicateurs, et deux choses se produisent : les clients bénéficient d'une inférence plus rapide et moins coûteuse, et nos marges augmentent. C'est la thèse centrale de ce rôle. Chaque noyau optimisé, chaque schéma de quantification déployé et chaque ajustement de planificateur se reflète directement dans le p99 d'un client et sur notre compte de résultat.

C'est un poste à fort impact et à haute autonomie, où vous aurez la liberté de diriger la direction technique de l'optimisation de l'inférence chez Kimchi.

Le problème

Exécuter des LLM en production est une cible mouvante. Le "bon" modèle et la configuration de service dépendent du trafic, de la longueur des séquences, de la dynamique des lots, du GPU, de la bande passante mémoire, de la tolérance à la quantification et d'une douzaine d'autres variables. La plupart des équipes choisissent un modèle, sur-provisionnent les GPU et absorbent les coûts. Kimchi est le système qui prend cette décision automatiquement.

Stack technique

Python ; vLLM ; SGLang ; TensorRT-LLM ; PyTorch ; outils liés à CUDA ; Kubernetes ; gRPC ; ClickHouse ; PostgreSQL ; GCP Pub/Sub ; AWS / GCP / Azure ; GitLab CI ; ArgoCD ; Prometheus ; Grafana ; Loki ; Tempo.

Exigences

• 5+ ans d'expérience dans la construction de systèmes ML réels, avec un portfolio démontrant une expertise en infrastructure d'inférence ou d'entraînement.
• Maîtrise de Python (services de production, pas seulement des scripts).
• Expérience pratique avec au moins un des outils suivants : vLLM, SGLang ou TensorRT-LLM.
• Maîtrise des compromis de quantification (mesure des régressions de qualité, pas seulement des taux de compression).
• Confort avec les systèmes distribués : communication collective, stratégies de partitionnement et modes de défaillance pratiques.
• Sens de la mesure : vous instrumentez avant d'optimiser.
• Autonomie et capacité à diriger.

Responsabilités

• Augmenter le débit : batching continu, décodage spéculatif, réglage au niveau du noyau.
• Réduire la latence : attaquer le TTFT et le TPOT, identifier les goulots d'étranglement réels.
• Optimiser le cache KV : attention pagée, mise en cache des préfixes, politiques d'éviction.
• Quantifier sans dégrader la qualité : INT8, INT4, FP8 sur les poids, activations et KV.
• Réduire les démarrages à froid et l'empreinte mémoire.
• Mettre à l'échelle sur plusieurs nœuds.
• Définir la direction technique : décider des benchmarks, des adoptions et des développements internes.

Ce que nous offrons

• Salaire compétitif.
• Environnement flexible et remote-first.
• Collaboration avec une équipe mondiale d'experts cloud.
• Options d'actions.
• Workflow rapide (projets de 1 à 4 semaines).
• 10 % du temps de travail dédié aux projets personnels.
• Budget de formation et accès aux conférences.
• Hackathon annuel.
• Budget de team-building et événements d'entreprise.
• Budget équipement.
• Jours de congé supplémentaires pour l'équilibre vie pro/vie perso.

Processus de recrutement

1. Appel de sélection avec un recruteur.
2. Entretien avec le responsable du recrutement.
3. Entretien technique (conception de système).
4. Live coding.
5. Entretien de culture avec un cadre.

Note : Une vérification des antécédents peut être effectuée. Cast AI ne propose pas de parrainage de visa.