Ein Onlinehändler, der ein verderbliches Produkt verkauft, muss entscheiden, wie viel er für Klicks auf gesponserte Suchergebnisse bieten und welchen Rabatt er auf ein Bündel mit einem jederzeit verfügbaren Artikel gewähren soll. Eine neue arXiv-Studie stellt einen Agenten mit Posterior-Sampling vor, der im Verlauf wiederholter Verkaufssaisons sowohl etwas über die Kundennachfrage als auch über die Reaktion der Klicks auf seine Gebote lernt und diese Entscheidungen trifft.
Erschwert wird das Problem durch Datenlücken, die durch die eigenen Entscheidungen des Händlers entstehen. Ohne Gebot erhält der Verkäufer keine Informationen über bezahlte Klicks, und die Kaufentscheidungen der Kunden kann er erst beobachten, nachdem diese über einen Klick auf die Website gelangt sind. Kommt der Händler zu früh zu dem Schluss, Werbung sei unwirksam, und hört mit dem Bieten auf, erhält er möglicherweise nie Belege, die seine Einschätzung ändern würden. Änderungen der Bündelrabatte können Kunden außerdem dazu bewegen, auf ein besseres Angebot zu warten, sodass ihre verspäteten Käufe wie entgangene Verkäufe erscheinen.
Der Agent führt eine Posteriorverteilung über mögliche Märkte und Muster der Klickreaktionen. In jeder Periode zieht er einen möglichen Markt als Stichprobe heran und wählt mithilfe eines vorberechneten, exakt gelösten Saisonplans für diesen Markt ein Gebot und einen Rabatt. Die Forschenden testeten den Ansatz in einer Simulation eines Online-Blumenhändlers und verglichen ihn mit anderen Lern- und Explorationsstrategien.
In den berichteten Tests erzielte das Ziehen einer Stichprobe für einen neuen Markt in jeder Periode die niedrigste durchschnittliche Regret: 33,6 $ über 500 Saisons, verglichen mit 74,0 $ bei einem Planer mit Punktschätzungen und 109,4 $ bei einem Ansatz, der einmal pro Saison eine Stichprobe zog. In schwachen Märkten gab der Agent, der seine Stichprobe in jeder Periode neu zog, im Verlauf der 500 Saisons 12 % bis 23 % der Einnahmen auf, die ein vollständig informierter Verkäufer in einer Saison erzielen könnte. Das war vier- bis siebenmal weniger als der für das Ziehen einer Stichprobe einmal pro Saison ausgewiesene Verlust.
Die Studie ergab außerdem, dass ein Planer mit Punktschätzungen darin stecken bleiben kann, überhaupt nichts zu bieten. Unter einem Prior, der ansprechenden Klickkurven lediglich eine Wahrscheinlichkeit von 2 % zuwies, begann er nie zu bieten und erzielte pro Saison weniger als die Hälfte der Einnahmen eines vollständig informierten Verkäufers. Der Agent mit Posterior-Sampling begann im Durchschnitt nach etwa drei Saisons zu bieten, verglichen mit rund 50 Saisons bei der Version, die einmal pro Saison eine Stichprobe zog.
Die Autoren berichten, dass es möglicherweise unnötig ist, das Lernen über Rabatte einzubeziehen, wenn ein angezeigter niedriger Lagerbestand die Zahlungsbereitschaft der Kunden über dem ausgeschriebenen Preis hält. Häufiges Warten der Kunden kann jedoch die Marktschätzungen des Agenten verzerren, da verspätete Käufe als ausbleibende Verkäufe erscheinen. In der Studie beseitigt ein für eine ganze Saison unveränderter Rabatt diesen Warteeffekt. In einem schwachen Markt kostet dies 5,9 % der Einnahmen eines vollständig informierten Verkäufers; in einem starken Markt entstehen dadurch keine Verluste.
Quellen: arXiv cs.AI.