Adobe Research et l’Université de Californie à San Diego ont développé EditAgent, un système d’IA conçu pour réaliser des tâches de retouche d’images davantage comme le ferait un utilisateur expérimenté de Photoshop. Plutôt que d’appliquer à répétition le même éditeur généraliste, le système décompose une demande en plusieurs étapes et sélectionne des outils spécialisés lorsqu’ils sont mieux adaptés à une opération donnée.

Les chercheurs ont constaté que les éditeurs généralistes éprouvent souvent des difficultés avec certaines tâches spécifiques. Lors d’un test portant sur 600 retouches d’images évaluées à l’aveugle par cinq professionnels, Flux-2-Klein-9B n’a pas réussi à produire un résultat utilisable dans 42,7 % des cas. Des outils spécialisés ont résolu environ deux tiers de ces échecs, notamment pour les tâches d’accentuation de la netteté, de rotation et de zoom.

L’étude a également comparé la retouche itérative à la génération de plusieurs variantes à partir de l’image originale. Les professionnels ont préféré les variantes parallèles dans 78,5 % des comparaisons au cours desquelles ils ont sélectionné une approche. Selon les chercheurs, les améliorations répétées peuvent accumuler des erreurs, car chaque nouvelle tentative s’appuie sur une image déjà modifiée. EditAgent génère donc des résultats concurrents et les évalue, plutôt que de s’appuyer uniquement sur des nouvelles tentatives répétées.

Son processus d’évaluation fournit à un modèle de langage standard des données de vérification supplémentaires pour chaque variante d’image. Il s’agit notamment d’un gros plan de la zone retouchée, d’une carte indiquant les régions modifiées et de mesures liées à la luminosité et aux couleurs. Le modèle utilise ces informations pour comparer les candidats en une seule passe.

Sur le benchmark de 600 retouches, les données de vérification ont considérablement amélioré les sélections des modèles de langage. Sans ces données supplémentaires, aucun des sept modèles testés n’a égalé le modèle le plus performant ajusté finement sur des évaluations humaines. Avec ces données, les sept modèles ont obtenu de meilleurs résultats que les modèles ajustés finement. Qwen3.8-27B a sélectionné une image que les professionnels jugeaient utilisable dans 81,3 % des cas, contre 74,8 % pour EditScore-72B.

EditAgent vérifie également si des instructions ultérieures ont involontairement inversé des retouches précédentes. Dans un exemple décrit par les chercheurs, une instruction visant à laisser entrer davantage de lumière du jour a fait redevenir transparente une fenêtre auparavant dépolie. Le système a détecté le conflit et corrigé le résultat.

Le système a amélioré les éditeurs open source Qwen-Image-Edit-2511 et Flux-2-Klein-9B sur trois benchmarks, et il a surpassé sept autres agents d’IA. Sur le benchmark EdiVal, la version fondée sur Qwen, lors de son troisième cycle de retouche, a légèrement dépassé les modèles commerciaux Seedream 4.0 et GPT-Image-1.5.

La principale limite est le coût de calcul. EditAgent nécessite environ dix fois plus de puissance de calcul qu’un éditeur unique, et ses résultats dépendent des outils qui lui sont connectés. Les chercheurs ont également utilisé le système pour générer environ 26 000 exemples d’entraînement vérifiés. Les modèles ajustés finement sur ces données ont obtenu de meilleurs résultats sur les trois benchmarks, tandis que les données d’entraînement générées directement par FLUX ont réduit les performances de FLUX.

Adobe a commencé à intégrer des agents d’IA à Photoshop, Premiere et à d’autres applications Creative Cloud en bêta publique en juin. Les travaux des chercheurs abordent un défi connexe pour ces produits : déterminer comment un agent choisit l’outil approprié et vérifie que son résultat final correspond à la demande de l’utilisateur.

Sources: The Decoder.