Deux nouveaux packages open source, AnySpeechRecognizer et AnyDecisionModel, ont été annoncés pour étendre les capacités d'apprentissage automatique sur les plateformes Apple au-delà des modèles de langage standard. Alors que les grands modèles de langage gèrent la génération de texte, ces nouveaux outils fournissent des solutions spécialisées, plus rapides et plus rentables pour les tâches de reconnaissance vocale et de prise de décision directement au sein des applications Swift.
AnySpeechRecognizer s'appuie sur l'API SpeechAnalyzer introduite dans macOS 26 et iOS 26, permettant aux développeurs de remplacer le moteur par défaut d'Apple par des modèles ouverts tiers. Le package prend en charge la série Parakeet de NVIDIA, y compris le polyglotte Parakeet v3 qui reconnaît 25 langues européennes, ainsi que Qwen3-ASR d'Alibaba, qui couvre 30 langues et 22 dialectes chinois. Contrairement au framework natif d'Apple, AnySpeechRecognizer introduit également des capacités de diarisation des locuteurs en utilisant les modèles Streaming Sortformer de NVIDIA, permettant aux applications de suivre jusqu'à quatre locuteurs simultanément, même lors de paroles superposées.
Le package reproduit la structure du framework Speech d'Apple, ce qui signifie que les développeurs peuvent changer de moteur en modifiant uniquement l'instruction d'importation et l'initialisation du modèle. Les modèles sont convertis au format Core ML et hébergés sur le Hugging Face Hub, avec des téléchargements gérés via AssetInventory pour s'assurer que les actifs ne sont installés que lorsque nécessaire. Des tests de performance réalisés sur un Mac Studio M4 Max exécutant macOS 27 ont montré que Parakeet Unified a atteint un taux d'erreur de mots de 1,43 % sur des fichiers de test propres, surpassant le transcriber par défaut d'Apple dans des scénarios spécifiques. Cependant, la transcription en direct a généralement entraîné des taux d'erreur plus élevés par rapport au traitement de fichiers.
AnyDecisionModel répond au besoin de prise de décision structurée, telle que la classification des tickets de support ou l'évaluation du sentiment client, sans s'appuyer sur l'analyse de génération de texte. Au lieu de générer du texte libre, le package déduit les réponses à partir des probabilités du modèle, renvoyant des résultats typés avec des scores de confiance et des distributions de probabilité pour chaque option. Il prend en charge les questions oui/non, les sélections à choix multiples et les échelles de notation via une API basée sur des sessions qui maintient un seul état de texte ou JSON.
Le package de décision offre six backends différents pour exécuter les modèles localement ou à distance. Les options locales incluent MLX pour la puce Apple, Core AI pour macOS 27 et iOS 27, ainsi que llama.cpp via des modèles GGUF. Pour les solutions hébergées, il s'intègre avec l'API Jev de TypeSafe et les serveurs Ollama. Une fonctionnalité notable est le support de têtes de décision spécialisées, comme le modèle Clef-Flash de Cloudflare, qui utilise une tête entraînée pour produire des décisions en un seul passage avant plutôt que de s'appuyer sur les probabilités du prochain token.
Les deux packages nécessitent Swift 6.2 ou ultérieur et sont compatibles avec macOS 26/iOS 26 ou versions plus récentes. Bien qu'AnySpeechRecognizer nécessite une puce Apple pour ses temps d'exécution Parakeet et Sortformer, les backends locaux d'AnyDecisionModel dépendent également d'architectures matérielles spécifiques. Les développeurs peuvent ajouter les bibliothèques à leurs projets via Swift Package Manager, avec des exemples détaillés et des flux de travail de conversion disponibles dans leurs dépôts GitHub respectifs.
Sources: Hugging Face Blog.