Dharma AI a présenté Field Extractor, un modèle de 2 milliards de paramètres qui extrait les informations demandées à partir d’images de documents et les renvoie sous forme de JSON structuré. L’entreprise affirme qu’il a surpassé quatre configurations de modèles généralistes de pointe lors de son benchmark, tout en étant moins coûteux à exécuter dans la configuration testée.

Le modèle est conçu pour les tâches où les utilisateurs ont besoin de détails précis tirés d’un document plutôt que d’une transcription complète du texte. Il peut renvoyer des champs tels que le montant total et les articles d’une facture, ou des informations provenant de pièces d’identité et de formulaires, dans un format destiné à être utilisé par des systèmes en aval.

Les utilisateurs peuvent formuler une demande ouverte, en demandant au modèle d’identifier tous les champs qu’il peut trouver, ou fournir un schéma indiquant les noms et les types de données des champs requis. Dharma AI affirme que les résultats guidés par un schéma utilisent les clés demandées sans ajouter de champs supplémentaires, et que les champs absents d’un document sont renvoyés comme null plutôt que déduits.

Field Extractor repose sur DharmaOCR-LITE v1.1, un modèle de 2 milliards de paramètres, auquel s’ajoute un adaptateur LoRA entraîné sur 43 384 exemples couvrant les deux modes de requête. Ses données d’entraînement comprennent des documents en anglais issus de plusieurs domaines, des documents brésiliens en portugais et un ensemble multilingue plus restreint. Les types de documents comprennent des reçus, des factures, des formulaires, des relevés bancaires, des pièces d’identité et des exemples synthétiques.

Dharma AI a évalué le modèle sur 546 documents répartis en trois scénarios, pour un total de 1 638 cas de test. Ceux-ci portaient sur l’extraction de tous les champs disponibles sans schéma, le remplissage d’un schéma contenant des champs réels et le traitement de schémas comprenant aussi des champs inexistants. Le score combinait le F1 au niveau des champs, la similarité entre les valeurs correspondantes et la proportion de sorties au format JSON valide.

Le modèle a obtenu un score de 0,834, contre des résultats allant de 0,816 pour Claude Opus 5 à 0,741 pour GPT-5.6 Luna parmi les configurations testées. L’entreprise indique également que son coût par extraction était environ six à 147 fois inférieur à celui des comparaisons par API. Ces chiffres s’appuient sur la consommation mesurée de jetons et les tarifs publiés par les fournisseurs des modèles de pointe, tandis que l’estimation de Dharma AI repose sur le temps d’utilisation d’un GPU L40S unique, à 2,24 dollars de l’heure. L’entreprise souligne que le coût de l’auto-hébergement dépend du matériel, du volume et des exigences en matière de latence.

SROIE et FUNSD, deux jeux de données publics exclus de l’entraînement, ont été inclus dans le benchmark. Dharma AI décrit des exemples où le modèle a extrait les 18 champs d’un reçu, y compris les champs vides sous la forme null, et a correctement identifié une case cochée, du texte manuscrit et des champs vides sur un formulaire.

Les résultats et la comparaison des coûts sont rapportés par Dharma AI. L’entreprise indique que le modèle peut être testé à l’aide de sa démonstration en ligne.

Sources: Hugging Face Blog.