IBM Research a présenté Palette, un système qui génère des présentations dans un langage graphique spécifique à l’aide d’un modèle à poids ouverts de 20 milliards de paramètres, affiné à cette fin. Entraîné sur des exemples synthétiques fondés sur le langage graphique d’IBM, Palette sépare la planification de chaque présentation de l’écriture du code qui génère ses diapositives, puis vérifie et répare le résultat avant de le fournir.
Le projet vise à remédier à deux limites de l’utilisation de modèles généralistes de pointe pour créer des présentations : leur production peut retomber sur un style maison familier, et les contenus confidentiels doivent parfois rester sur l’infrastructure de l’utilisateur. Les modèles ouverts plus petits peuvent être hébergés en interne, mais ils produisent souvent des erreurs élémentaires de mise en page, notamment du texte qui déborde d’une diapositive ou des éléments qui se chevauchent.
Palette répartit la création des présentations entre deux rôles assurés par un seul adaptateur LoRA. Un « designer » transforme un plan en un brief structuré qui couvre le système visuel, la mise en page des diapositives, le contenu et la justification des choix de conception. Un « codeur » écrit ensuite le JavaScript de chaque diapositive à l’aide de pptxgenjs. La séparation des décisions éditoriales et de la géométrie permet aussi d’exécuter en parallèle les appels de génération des diapositives ; selon l’équipe, cette étape est ainsi environ six à sept fois plus rapide.
Comme il n’existe pas de collection publique associant des plans de présentation à des décisions de conception et au code des diapositives, les chercheurs ont généré, avec l’aide d’un grand modèle ouvert, environ 1 000 présentations comprenant quelque 10 000 diapositives. Les exemples couvrent différents genres, longueurs et agencements, et incluent des plans allant de grandes lignes peaufinées à de simples blocs de contenu. Ils comprennent également des raisonnements expliquant pourquoi un choix de conception a été fait et pourquoi une autre solution a été écartée.
Le processus d’entraînement génère une image de chaque présentation synthétique et vérifie la présence de problèmes tels que les chevauchements et les débordements. Les diapositives défectueuses sont réparées, puis les exemples corrigés sont ajoutés aux données d’entraînement avec un raisonnement révisé. Les chercheurs ont constaté que cette méthode améliorait les exemples de façon plus fiable que l’ajout de règles aux prompts lorsque le modèle enseignant commettait des erreurs. Des présentations de référence ont également contribué à orienter sa production vers le langage graphique visé.
Les utilisateurs peuvent ajouter de brèves instructions, appelées directives, afin de contrôler certains choix. Ils peuvent, par exemple, demander une chronologie plutôt qu’un tableau, préciser le public cible, modifier le ton ou mettre en avant un chiffre clé. Le designer intègre chaque directive au brief, et le codeur l’utilise pour générer la diapositive concernée.
Palette ne fournit pas les diapositives générées sans les vérifier. Son système applique d’abord des corrections simples, puis génère une image de chaque diapositive et la mesure afin de détecter les chevauchements, les éléments tronqués ou le texte qui sort de la diapositive. Les diapositives qui échouent à ces vérifications sont transmises à un modèle éditeur distinct, qui les réécrit. Une réécriture n’est retenue que si le vérificateur confirme que la diapositive a été améliorée ; dans le cas contraire, l’original est conservé. Lors de tests portant sur 131 présentations de PresentBench, le système a augmenté les scores de 3,5 points en moyenne.
Dans PresentBench, qui évalue les principes fondamentaux, la conception visuelle, l’exhaustivité, l’exactitude et la fidélité, Palette s’est classé premier dans les domaines Économie et Éducation, et troisième dans le domaine Exposé. Sa moyenne sur ces trois domaines le place en deuxième position, avec un score de 59,7 contre 60,8 pour NotebookLM. Pour l’évaluation, un autre modèle de pointe a d’abord transformé chaque document source en plan, avant que Palette ne crée la présentation.
Les chercheurs soulignent que PresentBench évalue la qualité des présentations, mais ne mesure pas si une présentation respecte un langage graphique particulier. Selon eux, les travaux futurs pourraient utiliser les vérifications du système comme récompenses pour l’apprentissage par renforcement, extraire des figures des documents sources afin de créer des présentations riches en illustrations, et étudier l’adaptation des résultats à des modèles PowerPoint existants sans réentraîner le modèle.
Sources: Hugging Face Blog.