IBM Research ha presentato Palette, un sistema per generare presentazioni in uno specifico stile grafico usando un modello open-weight da 20 miliardi di parametri, ottimizzato per il compito. Addestrato su esempi sintetici basati sull’IBM Design Language, Palette separa la pianificazione di ogni presentazione dalla scrittura del codice che genera le diapositive, quindi controlla e corregge il risultato prima di restituirlo.
Il progetto affronta due limiti dell’uso di modelli frontier generalisti per le presentazioni: i risultati possono ricadere in uno stile grafico ricorrente e i contenuti riservati potrebbero dover rimanere sull’infrastruttura dell’utente. I modelli open più piccoli possono essere ospitati autonomamente, ma spesso producono errori di impaginazione elementari, per esempio testo che esce dai margini di una diapositiva o elementi sovrapposti.
Palette suddivide la creazione delle presentazioni tra due ruoli affidati a un unico adattatore LoRA. Un «designer» trasforma un piano in un brief strutturato che copre il sistema visivo, i layout delle diapositive, i contenuti e le motivazioni delle scelte grafiche. Un «coder» scrive poi il codice JavaScript di ciascuna diapositiva usando pptxgenjs. Separare le decisioni editoriali dalla geometria consente anche di eseguire in parallelo le chiamate per generare le diapositive; secondo il team, questa fase diventa circa sei o sette volte più veloce.
Poiché non esiste una raccolta pubblica che abbini i piani delle presentazioni alle decisioni grafiche e al codice delle diapositive, i ricercatori hanno generato circa 1.000 presentazioni, per un totale di circa 10.000 diapositive, con l’aiuto di un grande modello open. Gli esempi coprono generi, lunghezze e layout diversi e includono piani che vanno da schemi rifiniti a raccolte di contenuti grezzi. Comprendono anche motivazioni che spiegano perché è stata scelta una soluzione grafica e perché ne è stata scartata un’alternativa.
La pipeline di addestramento genera le diapositive di ciascuna presentazione sintetica e controlla la presenza di problemi come sovrapposizioni e contenuti che fuoriescono dai margini. Le diapositive difettose vengono corrette e gli esempi revisionati sono aggiunti ai dati di addestramento insieme a motivazioni aggiornate. I ricercatori hanno scoperto che questo processo migliorava gli esempi con maggiore affidabilità rispetto all’aggiunta di regole nei prompt quando il modello insegnante commetteva errori. Anche le presentazioni di riferimento contribuivano a guidare i risultati verso lo stile grafico previsto.
Gli utenti possono aggiungere brevi istruzioni, chiamate direttive, per controllare scelte specifiche. Per esempio, possono chiedere una cronologia al posto di una tabella, specificare il pubblico, cambiare il tono o mettere in risalto una cifra importante. Il designer integra ogni direttiva nel brief, mentre il coder la usa per generare la diapositiva pertinente.
Palette non restituisce le diapositive generate senza averle controllate. Il suo sistema di verifica applica prima semplici correzioni, poi genera le diapositive e ne misura gli elementi per rilevare sovrapposizioni, contenuti tagliati o testo che esce dai margini. Le diapositive che non superano il controllo vengono inviate a un modello editor separato per la riscrittura. La riscrittura viene accettata solo se il verificatore conferma che ha migliorato la diapositiva; altrimenti, viene mantenuta quella originale. Nei test su 131 presentazioni di PresentBench, il sistema ha aumentato i punteggi di 3,5 punti in media.
In PresentBench, che valuta le basi, la progettazione visiva, la completezza, la correttezza e la fedeltà, Palette si è classificato al primo posto nelle categorie Economia e Istruzione e al terzo in Talk. La media nelle tre categorie lo colloca al secondo posto, con un punteggio di 59,7 rispetto a 60,8 per NotebookLM. Per la valutazione è stato usato un modello frontier separato, che ha trasformato ogni documento sorgente in un piano prima che Palette creasse la presentazione.
I ricercatori osservano che PresentBench valuta la qualità delle presentazioni, ma non misura se una presentazione rispetta un particolare stile grafico. Secondo loro, il lavoro futuro potrebbe usare i controlli del sistema come ricompense per l’apprendimento per rinforzo, estrarre figure dai documenti sorgente per creare presentazioni ricche di immagini ed esplorare l’adattamento dei risultati a modelli PowerPoint esistenti senza riaddestrare il modello.
Fonti: Hugging Face Blog.