Mistral enthüllt 'Le Chonk': Mistral Large 4 debütiert auf Hugging Face mit massiven Fähigkeiten im Bereich Cybersicherheit und Programmierung

Mistral hat offiziell Mistral Large 4 unter dem liebevollen Spitznamen 'Le Chonk' auf Hugging Face veröffentlicht. Dieses neue multimodale, mehrsprachige Modell nutzt eine Mixture-of-Experts (MoE)-Architektur mit etwa 1 Billion Gesamtparametern und 49 Milliarden aktiven Parametern. Es akzeptiert sowohl Text- als auch Bildeingaben, um Textantworten zu generieren, und verfügt über ein weitreichendes Kontextfenster von 1 Million Tokens. Die Veröffentlichung umfasst zwei offizielle Varianten sowie GGUF-Quantisierungen, die von Unsloth und dem llama.cpp-Team erstellt wurden; alle werden unter der Mistral Ecosystem Open-Weight-Lizenz verbreitet, einer Ableitung der MIT-Lizenz mit spezifischen Einschränkungen für Model-as-a-Service-Angebote.

Die Architektur des Modells kombiniert einen großen Pool von Experten mit spärlichen Aufmerksamkeitsmechanismen und einem Pixtral-Vision-Encoder. Das Sprachmodell wählt dynamisch eine kleine Gruppe von Experten für jedes Token aus, während ein Attention-Indexer bestimmt, auf welche vorherigen Tokenpositionen geachtet werden soll, wodurch zwei verschiedene Formen der Sparsamkeit entstehen. Konkret besteht der Textdecoder aus 72 Schichten mit einer versteckten Dimension von 6.144 und 64 Aufmerksamkeitsköpfen. Er verwendet Multi-head Latent Attention (MLA) in Kombination mit einem DeepSeek Sparse Attention (DSA)-Indexer, der bis zu 2.048 Schlüsselpositionen pro Abfrage auswählt. Die erste Schicht nutzt ein dichtes Feed-Forward-Netzwerk, während die verbleibenden 71 Schichten MoE-Blöcke verwenden, bei denen ein Router für jedes Token vier von 128 Experten plus einen gemeinsamen Experten auswählt.

Mistral Large 4 positioniert sich als leistungsstarkes Werkzeug für Cybersicherheit, Coding-Agenten und multimodale Anwendungen. In unabhängigen Tests von Artificial Analysis erzielte das Modell 82 % auf dem Cyber Index, der die Fähigkeit eines Modells bewertet, echte Schwachstellen in Open-Source-Software zu reproduzieren und anschließend zu patchen. Mistral weist darauf hin, dass mehrere geschlossene Frontier-Modelle bei diesem spezifischen Test nahe Null liegen, da sie versuchen, die Reproduktionsphase abzulehnen – ein Schritt, der für Verteidiger oft notwendig ist, um Probleme zu beheben. Jenseits von Benchmarks zeigten interne Tests eine starke Leistung bei der Malware-Analyse, der Priorisierung von Schwachstellen und dem Schreiben von Erkennungsregeln, obwohl das Modell nicht explizit für diese Aufgaben trainiert wurde.

Trotz seiner offensiven Fähigkeiten in der Sicherheitsforschung behält Mistral Large 4 robuste Sicherheitsfilter bei. Es ist primär für defensive Sicherheitsarbeiten positioniert und adressiert das Problem, dass Closed-Source-Modelle legitime Eingaben für die Schwachstellenforschung blockieren oder während kritischer Vorfälle nicht verfügbar sein könnten. Bei Cyber-Prompts von JailbreakBench, StrongREJECT und AgentHarm übersteigt die durchschnittliche Ablehnungsrate des Modells die jedes anderen Open-Weight-Modells. Für die breitere Gemeinschaft ermöglicht der Open-Weight-Charakter den Nutzern, benutzerdefinierte Cybersysteme um ihre eigenen Codebasen und Malware-Proben herum zu bauen, kleinere Modelle unter Verwendung von Traces von Mistral Large 4 nachzutrainieren und Ablehnungsverhalten direkt zu messen, ohne sich auf Beschreibungen des Anbieters verlassen zu müssen.

In Bezug auf die Programmierleistung erzielt Mistral Large 4 einen Coding Agent Index-Score von 49,8 %, was es vor DeepSeek V4 Pro 0813 und Qwen3.8 Max platziert. Es erreicht 61,7 % bei DeepSWE v1.1, 59,4 % bei SWE-Atlas-QnA und 28,3 % bei Terminal-Bench 4. Seine Fähigkeiten erstrecken sich auf Wissensarbeit mit einem Score von 59,9 % bei AutomationBench und 1.393 Elo bei AA-Briefcase. Stand 29. Oktober 2026 rangiert es als das fünftbeste Open-Weight-Modell im Artificial Analysis Intelligence Index. Darüber hinaus zeigt es eine Angriffsresistenz von 93,3 % auf Lakeras B3-Benchmark gegen Prompt-Injection-Angriffe.

Die Bereitstellungsoptionen sind umfangreich und umfassen Unterstützung ab Tag Null für transformers, vLLM und llama.cpp. Der im Modell verwendete Pixtral-Vision-Encoder verfügt über 1,6 Milliarden Parameter, 30 Schichten und nutzt einen Patch-Merge-Projektor. Für die lokale Bereitstellung sind GGUF-Quantisierungen von IQ2_XXS bis BF16 verfügbar; Versionen mit 2 Bit können auf einem einzelnen Apple Silicon Ultra-Rechner mit 512 GB einheitlichem RAM ausgeführt werden. Leistungstests auf einem M3 Ultra zeigten eine Prefill-Durchsatzrate von etwa 90 Tokens pro Sekunde und eine Generierungsgeschwindigkeit von 15 Tokens pro Sekunde für die Q2_K-Quantisierung. Auf vier RTX6000 Pro-Karten erreichten NVFP4-Varianten Prefill-Geschwindigkeiten zwischen 130 und 590 Tokens pro Sekunde, abhängig von der Kontextgröße.

Für den Unternehmensbereich stellt Mistral sofort einsatzbereite Rezepte auf Inference Endpoints unter Verwendung von acht NVIDIA H200 GPUs bereit. Diese Konfiguration nutzt Tensor- und Expertenparallelität mit dem integrierten DSpark-Draft-Head des Modells für spekulatives Decodieren und unterstützt bis zu 131K Tokens Kontext. Unter Last kann das System etwa 480 Tokens pro Sekunde über 1.000 ShareGPT-Gespräche verarbeiten. Benutzer können das Modell auch auf Dell AI Servern unter Verwendung der dell-ai CLI bereitstellen oder es direkt mit TRL nachtrainieren, wobei Unterstützung für mehrsprachige Reasoning-Aufgaben besteht.

Quellen: Hugging Face Blog.