Das Ergebnis
Visa hat am 5. November einen Benchmark für Einkaufsassistenten vorgestellt. 22 Modelle aus zwölf Laboren bearbeiteten 15 Szenarien, jeweils mit drei Versuchen. Insgesamt bestanden 57,2 Prozent der Testläufe die Kriterien. Um zu bestehen, mussten die Modelle die relevanten Kundenanforderungen ermitteln und sich für einen passenden Kauf oder gegen einen Kauf entscheiden.
Nachfragen gehört zum Einkauf
In 54 Prozent der fehlgeschlagenen Läufe traf das Modell laut Visa trotzdem eine Kaufentscheidung. Das zeigt ein wichtiges Problem des Tests: Eine flüssige Antwort reicht nicht, wenn Budget, Kompatibilität oder andere Anforderungen ungeklärt bleiben. Für Händler ist deshalb interessant, ob Produktdaten die Fragen beantworten, die Kunden vor dem Kauf tatsächlich haben.
Was der Test noch nicht abdeckt
Die Ergebnisse stammen aus einem begrenzten Benchmark mit vorgegebenen Aufgaben. Visa will Checkout, Zahlung und Bestellabwicklung erst später ergänzen. Die Zahl beschreibt daher weder eine allgemeine Fehlerquote aller Einkaufsagenten noch die Quote realer Fehlkäufe im Handel. Für eigene Abnahmetests lohnt sich auch der Fall, in dem kein Produkt passt.
Warum die Frage vor der Empfehlung kommt
Ein Kunde sucht einen Laptop für eine Reise. Gewicht, Bildschirmgröße und Budget sind wichtig, aber nicht alle Anforderungen stehen gleich in der ersten Nachricht. Ein guter Assistent muss nachfragen, bevor er eine Auswahl begründet. Genau diese Gesprächsarbeit gehört zu Visas Test: Die Aufgabe ist erst bestanden, wenn alle vorgegebenen Anforderungen erkannt und die richtige Kaufentscheidung getroffen wurden.
Die Spannweite der Ergebnisse ist dabei aufschlussreich. Visa nennt für die besten getesteten Modelle 82,2 Prozent bestandene Versuche und für das schwächste 28,9 Prozent. Das ist ein Vergleich unter den Bedingungen dieses Benchmarks, keine Zusage für einen konkreten Shop. Auch dass dasselbe Szenario wiederholt werden kann, ohne jedes Mal gleich auszugehen, gehört zum Befund.
Was der Händler beeinflussen kann
Ein Händler steuert das fremde Modell nicht. Er kann aber dafür sorgen, dass wichtige Antworten zugänglich und konsistent sind: etwa die Abmessungen mit Rollen, eine Kompatibilitätsliste oder ein verlässlicher Liefertermin. Im Buch beginnt Gefunden werden, bevor jemand den Shop besucht genau mit so einem Koffer, dessen Maße ohne Rollenangabe für eine Flugreise nicht reichen.
Ein konkreter Test kann mit einer echten Servicefrage beginnen. Man gibt sie einem Assistenten ohne versteckte Hilfestellung, prüft seine Rückfragen und vergleicht die Empfehlung anschließend mit den Produktdaten. Besonders lehrreich sind Fälle, in denen kein Artikel passt oder die erforderliche Information fehlt. Dann sollte das Ergebnis eine offene Frage oder ein Verzicht sein, keine erfundene Sicherheit.
Eine andere Art von Test habe ich im Agentic Commerce Benchmark von 2026 beschrieben. Dort ging es unter anderem darum, ob ein gebauter Agent einen Kauf gegen eine Testumgebung abschließt. Die Aufgaben und Ergebnisse sind nicht direkt mit Visas Benchmark vergleichbar. Beide Beispiele zeigen, warum es sich lohnt, eine Fähigkeit an einem konkreten Ablauf zu prüfen.
Vertrauen braucht sichtbare Grenzen
Die spätere Bestellung ist ein eigener Schritt. Im Kapitel Kontrolle und Recht geht es darum, welches Angebot vorlag, was der Kunde erlaubt hat und was tatsächlich ausgeführt wurde. Visas erster Test misst diese gesamte Kette noch nicht. Zusammen mit den Daten zu Agentenbestellungen von Forter ergibt sich aber eine hilfreiche Trennung zwischen Entscheidung im Test und beobachtetem Checkout im Betrieb.