A IBM Research apresentou o Palette, um sistema para gerar apresentações de slides seguindo uma linguagem visual específica, que usa um modelo de pesos abertos com ajuste fino e 20 bilhões de parâmetros. Treinado com exemplos sintéticos baseados na IBM Design Language, o Palette separa o planejamento de cada apresentação da programação que renderiza os slides e, em seguida, verifica e corrige o resultado antes de entregá-lo.
O projeto aborda duas limitações do uso de modelos de ponta de propósito geral para apresentações: os resultados podem recorrer a um estilo visual conhecido, e pode ser necessário manter conteúdo confidencial na infraestrutura do próprio usuário. Modelos abertos menores podem ser hospedados localmente, mas muitas vezes produzem erros básicos de layout, como texto que ultrapassa os limites do slide ou elementos sobrepostos.
O Palette divide a criação da apresentação entre duas funções atendidas por um único adaptador LoRA. Um “designer” transforma um plano em um briefing estruturado que abrange o sistema visual, os layouts dos slides, o conteúdo e a justificativa do design. Em seguida, um “programador” escreve o JavaScript de cada slide usando o pptxgenjs. Separar as decisões editoriais da geometria também permite executar em paralelo as chamadas de geração dos slides; a equipe afirma que isso torna essa etapa cerca de seis a sete vezes mais rápida.
Como não há uma coleção pública que associe planos de apresentações a decisões de design e código dos slides, os pesquisadores geraram cerca de 1.000 apresentações, cobrindo aproximadamente 10.000 slides, com a ajuda de um grande modelo aberto. Os exemplos abrangem diferentes gêneros, extensões e layouts, e incluem planos que vão de esboços bem elaborados a despejos de conteúdo bruto. Também incluem raciocínios que explicam por que determinada escolha de design foi feita e por que uma alternativa foi rejeitada.
O pipeline de treinamento renderiza cada apresentação sintética e verifica problemas como sobreposição e texto que ultrapassa os limites do slide. Os slides com erros são corrigidos, e os exemplos revisados são adicionados aos dados de treinamento com justificativas atualizadas. Os pesquisadores descobriram que esse processo aprimorava os exemplos de forma mais confiável do que acrescentar regras ao prompt quando o modelo professor cometia erros. Apresentações de referência também ajudaram a orientar os resultados para a linguagem visual pretendida.
Os usuários podem adicionar instruções curtas, chamadas de diretivas, para controlar escolhas específicas. Entre os exemplos estão pedir uma linha do tempo em vez de uma tabela, especificar o público, alterar o tom ou destacar um número importante. O designer incorpora cada diretiva ao briefing, e o programador a utiliza ao gerar o slide relevante.
O Palette não entrega slides gerados sem verificá-los. Seu sistema primeiro aplica correções simples; depois, renderiza e mede cada slide para detectar texto sobreposto, cortado ou fora dos limites. Os slides reprovados são enviados a um modelo editor separado para serem reescritos. Uma reescrita só é aceita se o verificador confirmar que ela melhorou o slide; caso contrário, a versão original é mantida. Em testes com 131 apresentações do PresentBench, o sistema elevou as pontuações em uma média de 3,5 pontos.
No PresentBench, que avalia fundamentos, design visual, completude, correção e fidelidade, o Palette ficou em primeiro lugar nos domínios de Economia e Educação e em terceiro em Palestras. Sua média nesses três domínios ficou em segundo lugar, com uma pontuação de 59,7, em comparação com 60,8 do NotebookLM. Na avaliação, um modelo de ponta separado transformou cada documento de origem em um plano antes de o Palette criar a apresentação.
Os pesquisadores observam que o PresentBench avalia a qualidade das apresentações, mas não mede se elas seguem uma linguagem visual específica. Segundo eles, trabalhos futuros poderiam usar as verificações do sistema como recompensas para o aprendizado por reforço, extrair figuras dos documentos de origem para apresentações com muitas imagens e explorar a adaptação dos resultados a modelos existentes do PowerPoint sem retreinar o modelo.
Fontes: Hugging Face Blog.