D’une expérience saccadée à des gestes fluides en temps réel
Une startup de jeux en réalité augmentée accélère son entrée sur le marché grâce à la reconnaissance de gestes par IA.
Une startup spécialisée dans les expériences interactives en réalité augmentée avait besoin de livrer rapidement un MVP jouable et crédible aux yeux des investisseurs. Le cœur du produit reposait sur une reconnaissance des gestes de la main en temps réel, mais la solution en place peinait à atteindre 14 FPS avec une stabilité insuffisante pour une expérience de jeu convaincante. En 9 semaines, l’équipe Mondrian s’est intégrée directement aux développeurs du client pour concevoir, entraîner et déployer une solution IA sur mesure atteignant 35 FPS à seulement 27 % d’utilisation CPU. Ce qui ce trouvait bien au-delà des cibles fixées. Le client a pu présenter un MVP fonctionnel et immersif, prêt pour ses premières démonstrations.
Une startup spécialisée dans les expériences interactives en réalité augmentée mise sur l'IA pour développer un MVP
Jeux mobiles et réalité augmentée
~10 employés
Amérique du Nord
Cette startup s’est donné pour mission de redéfinir la façon dont les joueurs interagissent avec les mondes virtuels en remplaçant les contrôleurs traditionnels par les mains elles-mêmes. Avec une vision centrée sur l’expérience immersive et un ancrage fort dans les technologies Web3 et AR, l’équipe cherchait à prouver, à travers son alpha, que l’interaction naturelle par gestes pouvait être à la fois précise, fluide et viable sur mobile.
Un produit décevant : animations saccadées et coordonnées instables
L’équipe disposait d’une première implémentation de détection de gestes, mais les résultats sur appareil réel étaient décevants : animations saccadées, coordonnées instables, et une expérience de jeu trop loin du niveau requis pour convaincre des joueurs ou des investisseurs.
Avec un MVP à livrer pour attirer les premiers utilisateurs et valider leur modèle auprès d’investisseurs, chaque semaine de retard avait un coût direct. Une solution non performante risquait non seulement de retarder le lancement, mais de fragiliser la crédibilité du produit au moment le plus critique.
La reconnaissance de gestes sur mobile impose des contraintes sévères : faible consommation énergétique, mémoire limitée, et temps de réponse en dessous de la perception humaine. Les approches classiques — modèles custom entraînés from scratch — s’avéraient trop lourdes ou trop lentes pour les appareils cibles. Trouver le bon équilibre entre précision, vitesse et intégration dans un pipeline Unity existant demandait une expertise spécialisée que l’équipe interne n’avait pas.
Un pipeline de reconnaissance de gestes en temps réel
Mondrian a conçu et déployé un pipeline de reconnaissance de gestes en temps réel, optimisé pour les appareils Apple. Plutôt que de repartir de zéro, l’équipe a tiré parti d’Apple Vision comme fondation, en y ajoutant un modèle de détection personnalisé entraîné sur des données cibles, et des méthodes de post-traitement pour stabiliser les coordonnées 3D des points de repère. Le résultat : une solution capable de reconnaître les gestes prioritaires du jeu avec fluidité, dans les contraintes matérielles imposées par les appareils cibles.
L’équipe Mondrian s’est intégrée directement aux développeurs du client, travaillant en sprints courts avec des cycles rapides de collecte de données, d’entraînement et de validation. Le client a contribué son expertise produit et sa connaissance des cas d’usage du jeu — Mondrian a apporté la rigueur en apprentissage automatique et la maîtrise des contraintes mobiles pour transformer cette vision en réalité déployable.
| Composante | Rôle dans la solution |
|---|---|
| Apple Vision | Détection native des mains sur iOS — base performante et optimisée pour le matériel Apple |
| YOLOv5s (custom) | Modèle de détection entraîné sur mesure pour améliorer la précision dans les conditions du jeu |
| Post-processing 3D | Stabilisation des coordonnées des points de repère pour des gestes fluides et prévisibles |
| Unity | Environnement d’intégration du jeu — la solution a été conçue pour s’y brancher de manière transparente |
Une expérience de jeu convaincante, une autonomie préservée et une entrée sur le marché accélérée,
| Indicateur | Résultat obtenu | Impact business |
|---|---|---|
| Fluidité d’affichage | 14 FPS → 35 FPS | Expérience de jeu convaincante pour les premières démonstrations |
| Utilisation CPU | Réduite à 27 % | Autonomie préservée, appareil stable pendant les sessions de jeu |
| Mémoire utilisée | < 300 MB (cible atteinte) | Compatible avec les appareils cibles dès le lancement |
| Délai de livraison | MVP en 9 semaines | Entrée sur le marché accélérée, investisseurs rencontrés dans les délais |
Un défi similaire dans votre industrie?
Un appel de 30 minutes suffit pour savoir si l'IA peut créer de la valeur dans votre contexte.
Planifier un appel