IBM Research presentó Palette, un sistema para generar presentaciones con un lenguaje de diseño específico mediante un modelo de pesos abiertos, ajustado con 20.000 millones de parámetros. Entrenado con ejemplos sintéticos basados en el lenguaje de diseño de IBM, Palette separa la planificación de cada presentación de la escritura del código que representa sus diapositivas y, a continuación, comprueba y repara el resultado antes de entregarlo.
El proyecto aborda dos limitaciones del uso de modelos de frontera de propósito general para crear presentaciones: sus resultados pueden recurrir a un estilo corporativo conocido, y quizá sea necesario mantener el contenido confidencial en la propia infraestructura del usuario. Los modelos abiertos más pequeños pueden alojarse en servidores propios, pero a menudo generan errores básicos de maquetación, como texto que se sale de una diapositiva o elementos que se superponen.
Palette divide la creación de presentaciones entre dos funciones que desempeña un único adaptador LoRA. Un «diseñador» convierte un plan en un informe estructurado que abarca el sistema visual, los diseños de las diapositivas, el contenido y la justificación del diseño. Después, un «programador» escribe el código JavaScript de cada diapositiva con pptxgenjs. Separar las decisiones editoriales de la geometría también permite ejecutar en paralelo las llamadas para generar diapositivas; el equipo afirma que esto hace que esa etapa sea entre seis y siete veces más rápida.
Como no existe una colección pública que vincule planes de presentaciones con decisiones de diseño y código de diapositivas, los investigadores generaron alrededor de 1.000 presentaciones, con un total aproximado de 10.000 diapositivas, con la ayuda de un modelo abierto de gran tamaño. Los ejemplos abarcan distintos géneros, extensiones y diseños, e incluyen planes que van desde esquemas pulidos hasta volcados de contenido sin procesar. También contienen razonamientos que explican por qué se tomó una decisión de diseño y por qué se descartó una alternativa.
El proceso de entrenamiento renderiza cada presentación sintética y busca problemas como superposiciones y desbordamientos. Las diapositivas defectuosas se reparan y los ejemplos corregidos se incorporan a los datos de entrenamiento junto con razonamientos revisados. Los investigadores descubrieron que este proceso mejoraba los ejemplos de manera más fiable que añadir reglas a las instrucciones cuando el modelo docente cometía errores. Las presentaciones de referencia también ayudaron a orientar sus resultados hacia el lenguaje de diseño previsto.
Los usuarios pueden añadir instrucciones breves, llamadas directivas, para controlar decisiones concretas. Algunos ejemplos son pedir una línea de tiempo en lugar de una tabla, especificar el público, cambiar el tono o destacar una cifra clave. El diseñador incorpora cada directiva al informe, y el programador la utiliza al generar la diapositiva correspondiente.
Palette no entrega las diapositivas generadas sin revisarlas. Su sistema primero aplica arreglos sencillos y luego renderiza y mide cada diapositiva para detectar texto superpuesto, recortado o que se sale de los límites. Las diapositivas que no superan la revisión se envían a un modelo editor independiente para que las reescriba. Solo se acepta una reescritura si el verificador confirma que mejoró la diapositiva; de lo contrario, se conserva la original. En pruebas con 131 presentaciones de PresentBench, el sistema elevó las puntuaciones una media de 3,5 puntos.
En PresentBench, que evalúa los fundamentos, el diseño visual, la exhaustividad, la corrección y la fidelidad, Palette ocupó el primer lugar en los dominios de Economía y Educación, y el tercero en Charlas. Su promedio en esos tres dominios quedó en segundo lugar, con una puntuación de 59,7, frente a 60,8 de NotebookLM. Para la evaluación, se utilizó un modelo de frontera independiente para convertir cada documento fuente en un plan antes de que Palette creara la presentación.
Los investigadores señalan que PresentBench evalúa la calidad de las presentaciones, pero no mide si estas siguen un lenguaje de diseño determinado. Añaden que, como trabajo futuro, se podrían usar las comprobaciones del sistema como recompensas para el aprendizaje por refuerzo, extraer figuras de los documentos fuente para crear presentaciones con muchas figuras y explorar la adaptación de los resultados a plantillas de PowerPoint existentes sin volver a entrenar el modelo.
Fuentes: Hugging Face Blog.