Mistral dévoile 'Le Chonk' : Mistral Large 4 fait ses débuts sur Hugging Face avec des capacités massives en cybersécurité et en codage

Mistral a officiellement lancé Mistral Large 4, affectueusement surnommé 'Le Chonk', sur Hugging Face. Ce nouveau modèle multimodal et multilingue utilise une architecture Mixture-of-Experts (MoE) avec environ 1 billion de paramètres au total et 49 milliards de paramètres actifs. Il accepte à la fois des entrées textuelles et d'images pour générer des réponses textuelles et dispose d'une fenêtre de contexte étendue de 1 million de jetons. La publication comprend deux variantes officielles ainsi que des quantifications GGUF créées par Unsloth et l'équipe de llama.cpp, le tout distribué sous la licence Mistral Ecosystem Open-Weight, une dérivée de la licence MIT avec des limitations spécifiques concernant les offres de modèle en tant que service.

L'architecture du modèle combine un grand pool d'experts avec des mécanismes d'attention creuse et un encodeur visuel Pixtral. Le modèle de langage sélectionne dynamiquement un petit groupe d'experts pour chaque jeton, tandis qu'un indexeur d'attention détermine quelles positions de jetons précédents doivent être prises en compte, créant ainsi deux formes distinctes de parcimonie. Plus précisément, le décodeur de texte se compose de 72 couches avec une dimension cachée de 6 144 et 64 têtes d'attention. Il emploie une attention latente multi-tête (MLA) associée à un indexeur DeepSeek Sparse Attention (DSA), qui sélectionne jusqu'à 2 048 positions clés par requête. La première couche utilise un réseau de propagation avant dense, tandis que les 71 couches restantes utilisent des blocs MoE où un routeur sélectionne quatre des 128 experts plus un expert partagé pour chaque jeton.

Mistral Large 4 est positionné comme un outil puissant pour la cybersécurité, les agents de codage et les applications multimodales. Lors de tests indépendants réalisés par Artificial Analysis, le modèle a obtenu 82 % sur l'indice Cyber, qui évalue la capacité d'un modèle à reproduire des vulnérabilités réelles dans des logiciels open source et à les corriger par la suite. Mistral note que plusieurs modèles frontières fermés obtiennent un score proche de zéro sur ce test spécifique car ils refusent de tenter la phase de reproduction, une étape souvent nécessaire pour que les défenseurs puissent résoudre les problèmes. Au-delà des benchmarks, des tests internes ont indiqué de fortes performances dans l'analyse de logiciels malveillants, la priorisation des vulnérabilités et la rédaction de règles de détection, malgré le fait que le modèle n'ait pas été explicitement entraîné pour ces tâches.

Malgré ses capacités offensives en recherche de sécurité, Mistral Large 4 maintient des filtres de sécurité robustes. Il est principalement positionné pour les travaux de sécurité défensive, abordant le problème où les modèles propriétaires pourraient bloquer des entrées légitimes de recherche sur les vulnérabilités ou perdre leur disponibilité lors d'incidents critiques. Sur les prompts cyber provenant de JailbreakBench, StrongREJECT et AgentHarm, le taux de refus moyen du modèle dépasse celui de tout autre modèle à poids ouverts. Pour la communauté au sens large, la nature à poids ouverts permet aux utilisateurs de construire des systèmes cyber personnalisés autour de leurs propres bases de code et d'échantillons de logiciels malveillants, d'affiner des modèles plus petits en utilisant les traces de Mistral Large 4, et de mesurer directement les comportements de refus sans dépendre des descriptions des fournisseurs.

En termes de performance de codage, Mistral Large 4 atteint un score de 49,8 % sur l'indice Coding Agent, le plaçant devant DeepSeek V4 Pro 0813 et Qwen3.8 Max. Il obtient 61,7 % sur DeepSWE v1.1, 59,4 % sur SWE-Atlas-QnA et 28,3 % sur Terminal-Bench 4. Ses capacités s'étendent au travail des connaissances avec un score de 59,9 % sur AutomationBench et 1 393 Elo sur AA-Briefcase. Au 29 octobre 2026, il se classe comme le cinquième meilleur modèle à poids ouverts sur l'indice Intelligence d'Artificial Analysis. De plus, il démontre une résistance aux attaques de 93,3 % sur le benchmark B3 de Lakera contre les attaques par injection de prompts.

Les options de déploiement sont étendues, avec un support dès le jour zéro pour transformers, vLLM et llama.cpp. L'encodeur visuel Pixtral utilisé dans le modèle dispose de 1,6 milliard de paramètres, de 30 couches et utilise un projecteur patch-merge. Pour le déploiement local, des quantifications GGUF allant d'IQ2_XXS à BF16 sont disponibles, les versions en 2 bits étant capables de s'exécuter sur un seul ordinateur Apple Silicon Ultra avec 512 Go de RAM unifiée. Les tests de performance sur une M3 Ultra ont montré un débit de préremplissage d'environ 90 jetons par seconde et une vitesse de génération de 15 jetons par seconde pour la quantification Q2_K. Sur quatre cartes RTX6000 Pro, les variantes NVFP4 ont atteint des vitesses de préremplissage comprises entre 130 et 590 jetons par seconde selon la taille du contexte.

Pour le déploiement en entreprise, Mistral fournit des recettes prêtes à être déployées sur Inference Endpoints utilisant huit GPU NVIDIA H200. Cette configuration utilise le parallélisme de tenseurs et d'experts avec la tête de brouillon DSpark intégrée au modèle pour le décodage spéculatif, supportant jusqu'à 131K jetons de contexte. Sous charge, le système peut traiter environ 480 jetons par seconde sur 1 000 conversations ShareGPT. Les utilisateurs peuvent également déployer le modèle sur des serveurs Dell AI en utilisant la CLI dell-ai ou l'affiner directement en utilisant TRL avec un support pour les tâches de raisonnement multilingue.

Sources: Hugging Face Blog.