IBM Researchs Palette trainiert ein 20B-Modell zur Erstellung markenkonformer Präsentationen - Künstliche Intelligenz

Palette nutzt synthetische Trainingsdaten, einen zweistufigen Design- und Programmier-Workflow sowie ein automatisiertes Reparatursystem, um ein Open-Weight-Modell dabei zu unterstützen, Präsentationen in der Designsprache von IBM zu erstellen. In zwei PresentBench-Domänen belegt es den ersten Platz und in den drei ausgewerteten Domänen insgesamt den zweiten Platz.

IBM Research hat Palette vorgestellt, ein System zur Erstellung von Präsentationen in einer bestimmten Designsprache mithilfe eines feinabgestimmten Open-Weight-Modells mit 20 Milliarden Parametern. Palette wurde mit synthetischen Beispielen auf Grundlage der IBM Design Language trainiert. Das System trennt die Planung der einzelnen Präsentation von der Programmierung, mit der die Folien gerendert werden, und prüft und repariert anschließend die Ausgabe, bevor es sie zurückgibt.

Das Projekt befasst sich mit zwei Einschränkungen beim Einsatz allgemeiner Frontier-Modelle für Präsentationen: Ihre Ausgaben können auf einen vertrauten Standardstil zurückfallen, und vertrauliche Inhalte müssen möglicherweise auf der eigenen Infrastruktur eines Nutzers bleiben. Kleinere Open-Modelle lassen sich selbst hosten, erzeugen aber oft grundlegende Layoutfehler, etwa Text, der über den Folienrand hinausläuft, oder überlappende Elemente.

Palette teilt die Erstellung der Präsentation auf zwei Rollen auf, die von einem einzigen LoRA-Adapter übernommen werden. Ein „Designer“ macht aus einem Plan ein strukturiertes Briefing zu visuellem System, Folienlayouts, Inhalten und gestalterischer Begründung. Anschließend schreibt ein „Programmierer“ mit pptxgenjs den JavaScript-Code für jede Folie. Die Trennung redaktioneller Entscheidungen von der Geometrie ermöglicht zudem, die Aufrufe zur Foliengenerierung parallel auszuführen; laut dem Team wird dieser Arbeitsschritt dadurch etwa sechs- bis siebenmal schneller.

Da es keine öffentliche Sammlung gibt, die Präsentationspläne mit Gestaltungsentscheidungen und Foliencode verknüpft, erstellten die Forschenden mithilfe eines großen Open-Modells rund 1.000 Präsentationen mit insgesamt etwa 10.000 Folien. Die Beispiele decken verschiedene Genres, Längen und Layouts ab und enthalten Pläne, die von ausgearbeiteten Gliederungen bis hin zu ungeordneten Inhaltssammlungen reichen. Außerdem enthalten sie Begründungen, die erklären, warum eine Gestaltungsentscheidung getroffen und eine Alternative verworfen wurde.

In der Trainingspipeline wird jede synthetische Präsentation gerendert und auf Probleme wie Überlappungen und über den Rand hinauslaufende Inhalte geprüft. Fehlerhafte Folien werden repariert, und die korrigierten Beispiele werden mit überarbeiteten Begründungen zu den Trainingsdaten hinzugefügt. Die Forschenden stellten fest, dass dieses Verfahren die Beispiele zuverlässiger verbesserte als zusätzliche Prompt-Regeln, wenn dem Lehrermodell Fehler unterliefen. Referenzpräsentationen halfen ebenfalls dabei, die Ausgaben an der beabsichtigten Designsprache auszurichten.

Nutzer können kurze Anweisungen, sogenannte Direktiven, hinzufügen, um bestimmte Entscheidungen zu steuern. Beispiele sind die Bitte um eine Zeitleiste statt einer Tabelle, die Angabe der Zielgruppe, eine Änderung des Tons oder die Hervorhebung einer wichtigen Zahl. Der Designer übernimmt jede Direktive in das Briefing, und der Programmierer berücksichtigt sie bei der Erstellung der betreffenden Folie.

Palette gibt generierte Folien nicht ungeprüft zurück. Das Prüfsystem nimmt zunächst einfache Korrekturen vor und rendert und vermisst anschließend jede Folie, um überlappenden, abgeschnittenen oder über den Folienrand hinauslaufenden Text zu erkennen. Folien, die die Prüfung nicht bestehen, werden zur Überarbeitung an ein separates Editor-Modell geschickt. Eine Überarbeitung wird nur akzeptiert, wenn der Prüfer bestätigt, dass sie die Folie verbessert hat; andernfalls bleibt das Original erhalten. In Tests mit 131 PresentBench-Präsentationen steigerte das Prüfsystem die Punktzahlen im Durchschnitt um 3,5 Punkte.

Bei PresentBench, das Grundlagen, visuelles Design, Vollständigkeit, Korrektheit und Vorlagentreue bewertet, belegte Palette in den Domänen Wirtschaft und Bildung den ersten und in Vorträgen den dritten Platz. Über diese drei Domänen hinweg erreichte es mit einer Punktzahl von 59,7 den zweiten Platz, verglichen mit 60,8 für NotebookLM. Für die Evaluation nutzte man ein separates Frontier-Modell, um jedes Quelldokument zunächst in einen Plan umzuwandeln, bevor Palette die Präsentation erstellte.

Die Forschenden weisen darauf hin, dass PresentBench zwar die Qualität von Präsentationen bewertet, aber nicht misst, ob eine Präsentation einer bestimmten Designsprache folgt. Künftige Arbeiten könnten die Prüfungen des Prüfsystems als Belohnungen für Reinforcement Learning verwenden, Abbildungen für präsentationen mit vielen Abbildungen aus Quelldokumenten extrahieren und untersuchen, wie sich die Ausgabe an bestehende PowerPoint-Vorlagen anpassen lässt, ohne das Modell neu zu trainieren.

Quellen: Hugging Face Blog.