Adobe Research e la University of California, San Diego, hanno sviluppato EditAgent, un sistema di IA concepito per gestire le attività di editing delle immagini in modo più simile a un utente esperto di Photoshop. Invece di applicare ripetutamente lo stesso editor generalista, il sistema suddivide una richiesta in passaggi e seleziona strumenti specializzati quando sono più adatti a una determinata operazione.
I ricercatori hanno constatato che gli editor generalisti spesso incontrano difficoltà con attività specifiche. In un test su 600 modifiche alle immagini, valutate alla cieca da cinque professionisti, Flux-2-Klein-9B non è riuscito a produrre un risultato utilizzabile nel 42,7 percento dei casi. Gli strumenti specializzati hanno risolto circa due terzi di questi fallimenti, in particolare nelle attività di nitidezza, rotazione e zoom.
Lo studio ha inoltre confrontato l'editing iterativo con la generazione di diverse alternative a partire dall'immagine originale. I professionisti hanno preferito le varianti parallele nel 78,5 percento dei confronti in cui hanno selezionato un approccio. Secondo i ricercatori, il perfezionamento ripetuto può accumulare errori perché ogni nuovo tentativo si basa su un'immagine già modificata. EditAgent genera quindi risultati concorrenti e li valuta, invece di affidarsi esclusivamente a nuovi tentativi ripetuti.
Il suo processo di valutazione fornisce a un modello linguistico standard ulteriori dati di verifica per ogni variante dell'immagine. Questi comprendono un primo piano dell'area modificata, una mappa che mostra le regioni cambiate e misurazioni relative alla luminosità e al colore. Il modello utilizza queste informazioni per confrontare i candidati in un unico passaggio.
Nel benchmark delle 600 modifiche, il rapporto di verifica ha migliorato significativamente le selezioni dei modelli linguistici. Senza i dati aggiuntivi, nessuno dei sette modelli testati ha eguagliato il modello più forte ottimizzato sulle valutazioni umane. Con questi dati, tutti e sette hanno ottenuto risultati migliori rispetto ai modelli ottimizzati. Qwen3.8-27B ha selezionato un'immagine considerata utilizzabile dai professionisti nell'81,3 percento dei casi, rispetto al 74,8 percento di EditScore-72B.
EditAgent verifica inoltre se istruzioni successive abbiano involontariamente annullato modifiche precedenti. In un esempio descritto dai ricercatori, un'istruzione per consentire una maggiore luce diurna ha fatto sì che una finestra precedentemente smerigliata tornasse trasparente. Il sistema ha rilevato il conflitto e corretto il risultato.
Il sistema ha migliorato gli editor open source Qwen-Image-Edit-2511 e Flux-2-Klein-9B in tre benchmark e ha superato altri sette agenti di IA. Nel benchmark EdiVal, la versione basata su Qwen, al suo terzo ciclo di editing, ha superato di poco i modelli commerciali Seedream 4.0 e GPT-Image-1.5.
Il limite principale è il costo computazionale. EditAgent richiede circa dieci volte le risorse di calcolo di un singolo editor e i suoi risultati dipendono dagli strumenti a cui è collegato. I ricercatori hanno inoltre utilizzato il sistema per generare circa 26.000 esempi di addestramento verificati. I modelli ottimizzati su questi dati hanno ottenuto risultati migliori in tutti e tre i benchmark, mentre i dati di addestramento generati direttamente da FLUX hanno ridotto le prestazioni di FLUX.
A giugno, Adobe ha iniziato ad aggiungere agenti di IA a Photoshop, Premiere e ad altre applicazioni Creative Cloud in versione beta pubblica. Il lavoro dei ricercatori affronta una sfida correlata per questi prodotti: determinare in che modo un agente scelga lo strumento appropriato e verifichi che il risultato finale corrisponda alla richiesta dell'utente.
Fonti: The Decoder.