Nvidia et Mistral unissent leurs forces pour le SML Mistral-Nemo-Minitron 8b

Dans un monde où l’intelligence artificielle progresse à pas de géant, deux géants de la tech, Nvidia et Microsoft, viennent de faire une annonce majeure en matière de small language models (SML). En collaboration avec la startup française Mistral, Nvidia a développé le modèle Mistral-Nemo-Minitron 8B. Ce modèle allie innovation et flexibilité pour répondre à des besoins spécifiques avec efficacité.

Débutons par le Mistral-Nemo-Minitron 8B, une version allégée du modèle Mistral Nemo 12B. Grâce à des techniques de machine learning avancées telles que l’élagage (pruning) et la distillation, ce modèle réduit a été optimisé afin de fonctionner sur des systèmes moins puissants sans sacrifier la qualité des résultats.

– Élagage : Cette technique consiste à extraire les composants non essentiels d’un réseau neuronal pour alléger sa structure et améliorer les performances. En simplifiant le code, Nvidia a réussi à faire baisser les exigences matérielles.

– Distillation : Ce processus permet de transférer les connaissances d’un modèle complexe à un modèle plus simple. Ainsi, le Mistral-Nemo-Minitron 8B, avec ses 4 milliards de paramètres en moins, assure des résultats de haute qualité tout en étant plus accessible.

Selon Nvidia, le Mistral-Nemo-Minitron 8B est suffisamment compact pour opérer sur une station de travail équipée d’une Nvidia RTX, tout en offrant des performances remarquables pour des applications variées comme les chatbots, les assistants virtuels, et même les outils éducatifs.

 Microsoft renforce sa gamme avec PHI 3.5

Dans le même esprit, Microsoft étoffe également son offre avec le Phi 3.5, une famille de modèles qui introduit trois nouvelles déclinaisons : Phi 3.5-MoE-instruct, Phi 3.5-mini-instruct et Phi 3.5-vision-instruct. Ces modèles, sous licence MIT, sont conçus pour offrir des performances supérieures tout en répondant aux besoins variés des utilisateurs.

– Phi 3.5-MoE-instruct: Ce modèle léger utilise des ensembles de données de haute qualité pour optimiser les performances lors de tâches de raisonnement. Grâce à sa longueur de contexte de 128K tokens, il offre un support multilingue, facilitant son utilisation à l’échelle mondiale.

– Phi 3.5-mini-instruct: Présenté comme une mise à jour de la version précédente, ce modèle dispose de 3,8 milliards de paramètres et a été optimisé grâce aux retours des utilisateurs pour surpasser d’autres concurrents comme Llama 3.1 8B et Mistral 7B.

– Phi 3.5-vision-instruct: Avec 4,2 milliards de paramètres, ce modèle est axé sur la reconnaissance d’image, intégrant des outils performants tels qu’un encodeur et un projecteur d’images.

Tous ces nouveaux modèles de Nvidia et Microsoft sont dès à présent disponibles sur la plateforme Hugging Face, rendant leurs technologies accessibles à un large éventail de développeurs et d’entreprises.

 Une nouvelle ère pour l’IA

Avec ces innovations, Nvidia et Microsoft démontrent que le futur de l’intelligence artificielle se dirige vers des solutions plus compactes et spécialisées. Les SML, tels que Mistral-Nemo-Minitron 8B et Phi 3.5, permettent de répondre à des besoins spécifiques d’une manière plus rapide et efficace. Cela ouvre la voie à une multitude d’applications allant de l’éducation à la gestion opérationnelle, en passant par l’assistance personnelle.

L’introduction de ces modèles souligne l’importance croissante des technologies d’IA dans notre quotidien, promettant une utilisation plus intelligente et rationalisée des ressources technologiques. Les entreprises sont ainsi mieux armées pour attirer les opportunités du marché dynamique de l’IA.