Jeremy King beschäftigt sich schon seit mehr als 15 Jahren mit Onlineexperimenten, erst bei EBay und Walmart, heute bei Pinterest. Ein Gespräch über den Wert von Experimenten, Datendemokratie und Tests als Modeerscheinung.

Harvard Business manager: Herr King, wann hatten Sie das erste Mal mit A/B-Tests zu tun?

Jeremy King: Ich war von 2001 bis 2008 bei EBay tätig. In der zweiten Hälfte dieser Zeit konzentrierte sich das Unternehmen immer mehr auf Experimentierplattformen und A/B-Testing. Am Anfang ging es vor allem um die Suchfunktion. Damals wurden bei EBay 100 Millionen Artikel zum Verkauf angeboten, und wir arbeiteten daran, die Suchergebnisse zu optimieren, die die Besucher zu Gesicht bekamen. Unser Ziel war es, möglichst relevante Treffer zu zeigen, zugleich wollten wir aber auch zum Stöbern einladen. Wenn Sie Plattformen wie EBay, Etsy und Pinterest betreiben, wollen Sie nicht, dass die Suchfunktion zu genau ist. Sie möchten vielmehr, dass Kunden sich auf der Seite umsehen und neue Dinge entdecken. Also experimentierten wir mit verschiedenen Suchergebnissen und erfassten Kenngrößen wie Transaktionen, Klickraten und wie lange die Nutzer auf der Seite stöberten. Wir wollten den besten Mix finden.

Brauchen Unternehmen eine bestimmte Art von Kultur, um wirklich gut im Experimentieren zu sein?

Damit Onlinetests funktionieren, müssen sich alle Beteiligten darauf einlassen, Entscheidungen auf Basis von Daten zu treffen. Für die meisten Unternehmen bedeutet das einen radikalen Wandel. Denn dort entscheidet häufig die ranghöchste Person, der Fachexperte oder der unmittelbar Verantwortliche – und zwar im Alleingang und oft nach Bauchgefühl. In datengesteuerten Unternehmen hören Sie Formulierungen wie "Ich vermute ..." oder "Ich wette, dass ..." dagegen wesentlich seltener. Als ich zu Pinterest kam, war ich beeindruckt, dass 65 Prozent der Mitarbeiter innerhalb der letzten sechs Tage eine Suchabfrage im Big-Data-System des Unternehmens getätigt hatten. Das waren nicht nur Produktentwickler und Führungskräfte, sondern auch Personaler und Mitarbeiter aus der Rechtsabteilung. Und wenn jemand während eines Meetings eine Frage aufwarf, gab nicht einfach jeder seine Meinung zum Besten, sondern die Anwesenden klappten ihre Laptops auf und durchforsteten die Kundentransaktionen auf der Suche nach einer datenbasierten Antwort.

Wie schwierig ist es für Unternehmen ohne digitale Wurzeln, eine solche Umgebung zu schaffen?

Das Hauptproblem dieser Unternehmen ist, dass nicht alle Mitarbeiter Zugang zu den Daten haben. Verantwortliche sprechen hier gern von Datendemokratie. Es gibt jedoch Hürden, etwa datenschutzrechtliche Fragen. Immer wieder fragen mich Menschen aus ganz unterschiedlichen Branchen: "Sollen wir wirklich allen Beschäftigten Einblick in all unsere Daten gewähren?" Datendemokratie erfordert Investitionen und einen Kulturwandel; die Vorteile sind jedoch enorm, denn wenn alle Mitarbeiter Zugang zu den Daten haben, treffen sie auch bessere Entscheidungen.

Sie waren fast acht Jahre bei Walmart. Was macht die Experimentierkultur des Unternehmens aus?

Bei Walmart sprechen die Mitarbeiter immer noch über den "Store Number eight". Das war die Filiale, in der Sam Walton neue Ideen testete. Und diese Praxis gibt es immer noch: Walmart verfügt über etwa zehn Standorte, die speziell für Experimente vorgesehen sind, in jeder Region mindestens einen. Dort experimentiert das Unternehmen vor allem mit der Raumaufteilung und testet interaktive Geräte. Während meiner Zeit bei Walmart testeten wir eine Filiale, in der es ausschließlich Self-Check-out-Kassen gab, keine Kassierer. Sie können sich vorstellen, dass ein Experiment in einer physischen Umgebung wesentlich länger dauert als online. Auch die Händler von Walmart haben einen großen Einfluss auf die Kultur des Konzerns. Sie verfügen über so viel Erfahrung, dass sie sich häufig mehr auf ihr Bauchgefühl verlassen als auf die Daten. Bis zu einem gewissen Punkt kann das funktionieren. Wenn Sie jedoch mit großen Mengen hantieren und jeden Tag Tausende neue Produkte ins Sortiment nehmen, wie das bei Walmart.com der Fall war, kommen Sie schnell an Ihre Grenzen. Eine einzelne Person kann gar nicht mit jedem neuen Artikel einer Warengruppe vertraut sein und einschätzen, wie er sich in einer bestimmten Region verkaufen wird. Das überlassen Sie besser dem Computer.

Braucht es für eine experimentierfreudige Kultur eine andere Art von Mitarbeitern?

Ich weiß nicht, ob wir andere Mitarbeiter einstellen. Wichtig ist vor allem ein anderes Onboarding. Unternehmen wie Facebook, Google und Pinterest sind bekannt für ihre langen Einarbeitungsprozesse. Ich habe Freunde bei Facebook, wo neue Mitarbeiter eine zweiwöchige Schulung erhalten, in der sie lernen, über welche Daten das Unternehmen verfügt, wie sie darauf zugreifen und wie sie sie zur Entscheidungsfindung nutzen. Diese Trainings erfordern allerdings hohe Investitionen.

Kann es passieren, dass Unternehmen sich zu sehr auf das Experimentieren konzentrieren und Entscheidungen dadurch länger dauern?

Diese Frage stellen wir uns bei Pinterest auch immer wieder. Um zu verhindern, dass die Experimente den Entscheidungsprozess in die Länge ziehen, führen wie sogenannte Hold-out-Tests durch. Nehmen wir einmal an, Ihr Bauchgefühl sagt Ihnen, das eine bestimmte Änderung an der Website zu einer Verbesserung führt. Da sind Sie sich ziemlich sicher. Anstatt nun zwei Wochen auf das Ergebnis eines klassischen A/B-Tests zu warten, setzen wir die Neuerung manchmal direkt um, allerdings nur bei 99 Prozent der Nutzer. Die restlichen ein Prozent sehen das neue Feature nicht, wir halten es sozusagen zurück. Dann vergleichen wir die Reaktionen der 99 Prozent mit denen der ein Prozent und erkennen, ob die 99 Prozent die Neuerung wirklich als Verbesserung erleben. So können wir eine Neuerung direkt umsetzen, sichern uns durch den Test aber zusätzlich ab.

Sind die Kosten für das intensive Experimentieren den Aufwand denn wirklich wert?

Es stimmt, Experimente sind in der Regel recht teuer, doch die Erkenntnisse, die sie liefern, sind häufig so wertvoll, dass sich die Investition lohnt. Bei Pinterest haben wir zum Beispiel getestet, inwiefern maschinelles Lernen uns helfen kann, Content zu identifizieren, der gegen unsere Community-Regeln verstößt. Das neue System, das wir entwickelt haben, findet solchen Content mit einer 20 Prozent höheren Wahrscheinlichkeit, als es bislang der Fall war. Das wäre nicht möglich gewesen, wenn wir nicht immer wieder verschiedene Ansätze gegeneinander getestet hätten. Wir haben zum Beispiel eine neue Machine-Learning-Technologie entwickelt, die Inhalte, die Selbstverletzung zeigen, aufspürt und verbirgt. Mit dem Ergebnis, dass es nun wesentlich weniger dieser Inhalte gibt. Auch sind die Hinweise der Nutzer auf solchen Content im letzten Jahr um 88 Prozent zurückgegangen. Und wenn jemand einen Post meldet, der Selbstverletzung zeigt, können wir diesen nun dreimal so schnell entfernen, wodurch ihn auch weniger Nutzer sehen. Das alles wäre ohne Onlinetests nicht möglich gewesen.

Sind A/B-Tests mehr als nur eine weitere Modeerscheinung?

Ich glaube schon. Ich selbst arbeite bereits seit 2004 damit, also schon seit 15 Jahren. Und die Technologie wird immer besser. Die Experimentierplattformen erfreuen sich zunehmender Verbreitung und arbeiten immer effizienter. Ich gehe davon aus, dass in Zukunft immer mehr Unternehmen Onlinetests nutzen werden, um die richtigen Entscheidungen zu treffen. © HBP 2020

Profil

Der Manager Jeremy King ist Vice President für Technologie bei Pinterest. Zuvor arbeitete er als Chief Technology Officer bei Walmart.

Das Unternehmen Pinterest ist eine Onlineplattform, auf der Nutzer Bilder und andere Inhalte austauschen. Es funktioniert als digitale Pinnwand. Gegründet 2009, sind heute weltweit nach Unternehmensangaben 300 Millionen Nutzer auf der Seite aktiv.

Dieser Beitrag erschien erstmals in der April-Ausgabe 2020 des Harvard Business managers.