Zwei neue Open-Source-Pakete, AnySpeechRecognizer und AnyDecisionModel, wurden angekündigt, um die Machine-Learning-Fähigkeiten auf Apple-Plattformen über Standard-Sprachmodelle hinaus zu erweitern. Während große Sprachmodelle die Textgenerierung übernehmen, bieten diese neuen Tools spezialisierte, schnellere und kosteneffizientere Lösungen für Spracherkennungs- und Entscheidungsaufgaben direkt innerhalb von Swift-Anwendungen.
AnySpeechRecognizer baut auf der in macOS 26 und iOS 26 eingeführten SpeechAnalyzer-API auf und ermöglicht es Entwicklern, die Standard-Engine von Apple durch Open-Source-Modelle von Drittanbietern zu ersetzen. Das Paket unterstützt die NVIDIA Parakeet-Serie, einschließlich des polyglotten Parakeet v3, das 25 europäische Sprachen erkennt, sowie Alibabas Qwen3-ASR, das 30 Sprachen und 22 chinesische Dialekte abdeckt. Im Gegensatz zum nativen Framework von Apple führt AnySpeechRecognizer auch Funktionen zur Sprecherdiarisation unter Verwendung der NVIDIA Streaming Sortformer-Modelle ein, sodass Apps bis zu vier Sprecher gleichzeitig verfolgen können, selbst bei überlappenden Sprachbeiträgen.
Das Paket spiegelt die Struktur des Speech-Frameworks von Apple wider, was bedeutet, dass Entwickler Engines wechseln können, indem sie lediglich den Import-Befehl und die Modellinitialisierung ändern. Modelle werden in das Core ML-Format konvertiert und auf dem Hugging Face Hub gehostet, wobei Downloads über AssetInventory verwaltet werden, um sicherzustellen, dass Assets nur bei Bedarf installiert werden. Leistungsbenchmarks, die auf einem M4 Max Mac Studio unter macOS 27 durchgeführt wurden, zeigten, dass Parakeet Unified eine Wortfehlerrate von 1,43 % bei sauberen Testdateien erzielte und den Standard-Transkriber von Apple in bestimmten Szenarien übertraf. Die Live-Transkription führte jedoch im Allgemeinen zu höheren Fehlerraten im Vergleich zur Dateiverarbeitung.
AnyDecisionModel adressiert den Bedarf an strukturierten Entscheidungsprozessen, wie der Klassifizierung von Support-Tickets oder der Einschätzung der Kundenstimmung, ohne auf die Analyse generierter Texte angewiesen zu sein. Anstatt freien Text zu generieren, leitet das Paket Antworten aus Modellwahrscheinlichkeiten ab und gibt typisierte Ergebnisse mit Konfidenzwerten und Wahrscheinlichkeitsverteilungen für jede Option zurück. Es unterstützt Ja/Nein-Fragen, Multiple-Choice-Auswahlen und Bewertungsskalen über eine sessionbasierte API, die einen einzelnen Zustand von Text oder JSON hält.
Das Entscheidungspaket bietet sechs verschiedene Backends zur lokalen oder Remote-Ausführung von Modellen. Zu den lokalen Optionen gehören MLX für Apple Silicon, Core AI für macOS 27 und iOS 27 sowie llama.cpp über GGUF-Modelle. Für gehostete Lösungen integriert es sich mit der Jev-API von TypeSafe und Ollama-Servern. Eine bemerkenswerte Funktion ist die Unterstützung spezialisierter Entscheidungsschichten (Decision Heads), wie das Cloudflare Clef-Flash-Modell, das einen trainierten Head verwendet, um Entscheidungen in einem einzigen Vorwärtspass auszugeben, anstatt sich auf Wahrscheinlichkeiten für das nächste Token zu verlassen.
Beide Pakete erfordern Swift 6.2 oder höher und sind mit macOS 26/iOS 26 oder neuer kompatibel. Während AnySpeechRecognizer Apple Silicon für seine Parakeet- und Sortformer-Runtimes benötigt, hängen die lokalen Backends von AnyDecisionModel ebenfalls von bestimmten Hardware-Architekturen ab. Entwickler können die Bibliotheken über den Swift Package Manager zu ihren Projekten hinzufügen; detaillierte Beispiele und Konvertierungsworkflows sind in den jeweiligen GitHub-Repositories verfügbar.
Quellen: Hugging Face Blog.