Leaderboards: Das Problem ist der Nachbar, nicht die Rangliste

Im Herbst 2012 ließ der Spieleforscher Scott Nicholson die Studierenden seines Onlinekurses, der ausgerechnet „Meaningful Gamification“ hieß, mit selbst erfundenen Spielfiguren einen Berg besteigen, einen ausgedachten Mount Gamification, auf dem jeder Diskussionsbeitrag ein paar Höhenmeter brachte und ein Leaderboard Woche für Woche zeigte, wessen Figur wie weit oben stand. Nach sechs Wochen stellte er die Klasse vor eine Wahl, die er sich aus einem bekannten Science-Fiction-Film borgte: Die rote Pille stand für ein neues Abenteuer, das die Studierenden selbst mitgestalten würden, die blaue Pille für das bestehende System samt Leaderboard.

Für die rote Pille stimmten alle bis auf eine einzige Person, und diese Person stand an der Spitze des Leaderboards, während sogar mehrere andere aus der oberen Gruppe für die Abschaffung stimmten, obwohl sie, wie Nicholson in seinem Bericht über den Kurs festhält, selbst einräumten, dass das alte System für sie vermutlich besser gewesen wäre. Jemand aus dem Mittelfeld beschrieb die eigene Lage in einem Satz, den jeder kennt, der je in einer Vertriebsrangliste auf Platz sieben stand: „I had an okay position on the leaderboard and very little chance of upwards mobility.“

Die naheliegende Lehre aus dieser Szene lautet, dass Leaderboards schlecht sind, und ich habe genau diese Lehre lange vertreten, so hartnäckig, dass ich Kunden, die sich ein Leaderboard wünschten, beinahe reflexhaft widersprochen habe. Diese Lehre hat nur einen Schönheitsfehler, denn sie hält der Empirie nicht stand. In einem deutschen Großhandelslager stieg die Produktivität der rund 65 Kommissionierer, die im Stücklohn Bestellungen zusammenstellten, um 4,0 Prozent, nachdem die Firma jedem von ihnen seine Position im Vergleich zu den Kollegen mitgeteilt hatte, und zwar dauerhaft und ohne einen zusätzlichen Cent Lohn, wie die Ökonomen Blanes i Vidal und Nossol in Management Science berichten.

Bei einem nordamerikanischen Möbelhersteller passierte über drei Jahre das genaue Gegenteil, denn als der Wharton-Ökonom Iwan Barankay einem Teil der Verkäufer ihren Rang nicht mehr mitteilte, verkauften sie elf Prozent mehr. Beide Studien sind sauber gemacht, und beide untersuchen dasselbe Instrument, also hängt die Wirkung eines Leaderboards offenbar nicht davon ab, dass es existiert, sondern davon, wie es gebaut ist. Ein Leaderboard ist ein Gerät für sozialen Vergleich, und sozialer Vergleich ist so alt wie die Gattung, denn schon 1954 beschrieb der Psychologe Leon Festinger, dass Menschen ihre eigenen Fähigkeiten vor allem am Nachbarn ablesen, sobald kein objektiver Maßstab zur Hand ist.

Warum man dem eigenen Freund die schlechteren Tipps gibt

Der Psychologe Abraham Tesser hat 1980 gemeinsam mit Smith ein kleines, leicht boshaftes Experiment veröffentlicht, in dem Paare aus Freunden und Fremden ein Wortratespiel nach dem Muster der Fernsehshow „Password“ spielten, bei dem man anderen mit Hinweisen hilft, einen Begriff zu erraten. Einem Teil der Gruppen erzählte man, das Spiel messe sprachliche Intelligenz und Führungsfähigkeit, und sobald das Ergebnis etwas über den eigenen Wert auszusagen schien, bekam in zehn von dreizehn Sitzungen der Fremde die hilfreicheren Hinweise als der eigene Freund, während es bei einem angeblich bedeutungslosen Spiel genau umgekehrt war.

Tesser hat daraus ein Modell gemacht, das er Self-Evaluation Maintenance nannte und das sich ohne Fachsprache in einem Satz sagen lässt: Die Leistung eines anderen bedroht unser Selbstbild umso mehr, je näher uns dieser Mensch steht und je wichtiger uns das Feld ist, auf dem er glänzt. Der Erfolg eines Fremden in einer fernen Disziplin kann uns sogar stolz machen, weil wir uns ein wenig in seinem Glanz sonnen, der Erfolg des Schreibtischnachbarn in genau unserem Job dagegen ist ein Urteil über uns, das jeden Morgen um acht neu gefällt wird.

Ein Leaderboard im Büro ist, wenn man Tessers Modell ernst nimmt, die präziseste Maschine, die man zur Erzeugung dieses Urteils überhaupt bauen könnte, weil es genau die Menschen nebeneinanderstellt, die einander am nächsten sind, und sie auf genau dem Feld misst, das ihnen am wichtigsten ist. Stephen Garcia, Avishalom Tor und Richard Gonzalez haben in acht Studien gezeigt, dass Rivalen umso härter gegeneinander antreten, je näher sie an einer markanten Schwelle stehen, an der Spitze, am unteren Ende oder an einer Grenze wie dem zehnten Platz, und dass sie in dieser Nähe sogar Gewinne ausschlagen, von denen beide Seiten profitiert hätten.

Die Kehrseite des Modells erklärt, warum zwei andere Formen des Vergleichs erstaunlich gut funktionieren, nämlich das ferne Vorbild, an dem man sich misst, ohne ihm je am Kaffeeautomaten zu begegnen, und das eigene frühere Ich. Wer je Mario Kart im Zeitfahren gespielt hat, kennt den durchsichtigen Geist, der die eigene Bestzeit nachfährt und gegen den man Runde um Runde antritt, ohne sich je gedemütigt zu fühlen, weil der einzige Mensch, der dabei verlieren kann, derselbe ist, der gewinnt. Der Bildungspsychologe Andrew Martin hat diesen Geist an 1.016 Schülerinnen und Schülern australischer Highschools untersucht, und Ziele, die sich an der eigenen persönlichen Bestleistung orientierten, sagten Ausdauer, Beteiligung im Unterricht, Bildungsziele und sogar die Freude an der Schule voraus.

Wer die Regeln schreibt

Nicholsons Klasse bekam nach der roten Pille kein besseres Leaderboard, sondern einen Auftrag: In Gruppen entwarfen die Studierenden neue Lehrpläne und neue Spielsysteme, die ganze Klasse stimmte über die einzelnen Teile ab, jede und jeder setzte sich eine eigene Zielnote und wählte eine dazu passende Reihe von Aufgaben, und bis auf eine Person erreichten am Ende alle das Ziel, das sie sich selbst gesteckt hatten. Derselbe Kurs, derselbe Professor und dieselben Menschen lieferten also ein völlig anderes Ergebnis, sobald sich eine einzige Sache verschoben hatte, nämlich wer die Regeln schrieb.

Der Philosoph Bernard Suits hat 1978 eine Definition des Spielens formuliert, die man jedem Gamification-Projekt an die Tür schreiben sollte: „playing a game is the voluntary attempt to overcome unnecessary obstacles“. Das ganze Gewicht liegt auf dem Wort voluntary, denn ein Hindernis, das man sich selbst aussucht, ist ein Spiel, und dasselbe Hindernis, das einem von oben vorgesetzt wird, ist Arbeit mit Zuschauern. Die Motivationsforscher Edward Deci und Richard Ryan nennen das Bedürfnis dahinter Autonomie, das Erleben, Urheber des eigenen Handelns zu sein, und wie schnell eine von außen verordnete Belohnung dieses Erleben auffrisst, haben wir in einem eigenen Text über Belohnungssysteme und Motivation beschrieben. In einem Hochschulkurs, in dem Michael Hanus und Jesse Fox ein Leaderboard mit verpflichtenden Abzeichen einführten, sanken 2015 genau die Werte, die man heben wollte, nämlich die intrinsische Motivation, die Zufriedenheit mit dem Kurs und am Ende sogar die Noten in der Abschlussprüfung.

Die Metrik und der Zipfel

Barankays Möbelverkäufer hätten eigentlich gar keinen Grund gehabt, auf ihren Rang zu reagieren, denn ihr Gehalt hing allein an der eigenen Provision und nicht an der Platzierung, und trotzdem verkauften sie ohne Rangmitteilung mehr. Die Erklärung liegt in einem Detail der Studie: Gerankt wurde nur der Umsatz mit der Marke des Herstellers, während fast alle Verkäufer in ihren Möbelhäusern auch andere Marken verkauften. Wer seinen Rang schlechter fand als erwartet, verlagerte seine Mühe nach Barankays Erklärung offenbar genau dorthin, wo das Leaderboard nicht hinsah, und die Daten passen zu dieser Lesart, denn der Effekt war tendenziell dort größer, wo das Ausweichen leichter fiel. Die Kommissionierer im Großhandelslager dagegen wurden nach genau der Arbeit gemessen, für die sie bezahlt wurden, und erfuhren ihre Position unter vier Augen, statt sie an einer Wand zu lesen, und ich lese den Unterschied zwischen beiden Studien deshalb so, dass die eine Metrik die Sache selbst traf und die andere nur einen Zipfel davon.

Wie teuer ein Zipfel werden kann, hat Meta in diesem Frühjahr vorgeführt, als ein internes Leaderboard mit dem Namen Claudeonomics die 250 eifrigsten Nutzer von KI-Werkzeugen mit Ehrentiteln wie „Token Legend“ auszeichnete und die Belegschaft in dreißig Tagen 73,7 Billionen Tokens verbrauchte, zum Teil mit Agenten, die stundenlang Aufgaben ohne jedes Ergebnisziel abarbeiteten. Das Leaderboard war, nachdem die Presse darüber berichtet hatte, binnen Tagen abgeschafft, und die Geschichte dahinter haben wir unter dem Begriff Verhaltenskapital ausführlich erzählt. Gezählt wurde der Verbrauch, gemeint war der Nutzen, und die Anthropologin Marilyn Strathern hat für diese Verwechslung 1997 die Formulierung gefunden, unter der Goodharts Gesetz heute meist zitiert wird: „When a measure becomes a target, it ceases to be a good measure.“

Unten muss jemand stehen

Jedes Leaderboard hat aus rein arithmetischen Gründen einen letzten Platz, und diesen Platz fürchten Menschen auf eine Weise, die mit Geld kaum zu erklären ist. Ilyana Kuziemko, Ryan Buell, Taly Reich und Michael Norton haben im Labor beobachtet, dass Menschen auf dem letzten Platz Glücksspiele annehmen, die sie an jeder anderen Position ablehnen würden, nur um von dort wegzukommen, und dass die Vorletzten ihr Geld lieber dem Menschen direkt über ihnen geben als dem direkt unter ihnen, der sie sonst überholen könnte. Die Forscher nannten das Last-Place-Aversion, und der Begriff beschreibt erstaunlich genau, was in einem Team geschieht, dessen Leaderboard jeden Montag neu einen Schlusslicht-Kandidaten kürt.

Wie es außerhalb des Labors aussieht, zeigte ein Zufall in Kalifornien, als die Zeitung Sacramento Bee 2008 eine Datenbank ins Netz stellte, in der man das Gehalt jedes Angestellten im öffentlichen Dienst des Bundesstaats nachschlagen konnte, die Universität von Kalifornien eingeschlossen. David Card, Alexandre Mas, Enrico Moretti und Emmanuel Saez wiesen einen zufällig ausgewählten Teil der Uni-Beschäftigten auf die Seite hin und befragten danach alle, und wer weniger verdiente als der Median der eigenen Abteilung, war unzufriedener mit dem Job und dachte häufiger über einen Wechsel nach, während die Besserverdienenden durch dasselbe Wissen kein bisschen zufriedener wurden. Der sichtbare Vergleich kostet unten also etwas und bringt oben nichts ein, und diese Asymmetrie ist der stille Grund, warum Nicholsons Klasse ihr Leaderboard abwählte: „The more opportunities for earning points I missed, the more I felt disengaged and resentful.“

Ein Vertriebsteam, zweimal gebaut

Wie das Prüfraster in der Praxis arbeitet, zeigt ein Fall aus dem Innendienst, zusammengesetzt aus Mustern, die dort typisch sind. Eine Vertriebsleiterin mit zwölf Leuten in einem Großraumbüro möchte die Zahl der Anrufe pro Tag auf einen Bildschirm an der Wand bringen, und das Prüfraster schlägt bei diesem Entwurf an allen drei Stellen zugleich an. Die Nachbarn sitzen zwei Meter voneinander entfernt und sehen sich gegenseitig auf der Liste, die Regel kommt aus dem Büro der Leitung, und die Metrik zählt Anrufe, obwohl das Unternehmen in Wahrheit gute Gespräche mit den richtigen Kunden will, sodass der kürzeste Weg nach oben über viele kurze Anrufe bei den falschen Leuten führt.

Dieselbe Leiterin kann denselben Wunsch nach Sichtbarkeit anders bauen, indem jede Person zuerst ihre eigene Kurve gegen die eigene Bestwoche sieht, das Team einmal im Quartal selbst festlegt, welche Kennzahl ihm als Spiel taugt, und der einzige öffentliche Vergleich das Team gegen das eigene Vorjahr oder gegen eine ferne Benchmark aus der Branche stellt, an deren Ende kein Kollege steht. Nichts davon schafft den Vergleich ab, es verlegt ihn nur dorthin, wo er Energie erzeugt, statt Energie für Selbstschutz zu verbrauchen.

Achtzehn Jahre Widerspruch

Ich habe Kunden, die ein Leaderboard wollten, achtzehn Jahre lang widersprochen, und ich habe in dieser Zeit selten einen überzeugt, weil ein Widerspruch eine Haltung ist und eine Haltung gegen eine andere Haltung steht, während der Kunde den Wettbewerb in seinem Vertrieb mit eigenen Augen funktionieren sieht. Das Prüfraster ersetzt diese Haltung durch eine Vorhersage, die man an jedem Entwurf überprüfen kann, bevor er an die Wand kommt, und eine Vorhersage hat gegenüber einer Haltung den unschätzbaren Vorteil, dass der Kunde selbst nachsehen kann, ob sie stimmt.

Beim Skirennen steckt ein Kurssetzer am Morgen die Tore in den Hang, und an seiner Arbeit entscheidet sich, ob dieselbe Piste am Nachmittag ein spannendes Rennen hervorbringt oder eine Serie von Stürzen, obwohl Schnee, Läufer und Zeitmessung gleich bleiben. Wer ein Leaderboard einführt, steckt ebenfalls einen Kurs, und der Hang ist in diesem Fall das eigene Team. Die drei Fragen des Prüfrasters lassen sich an jedem bestehenden Leaderboard in einer Viertelstunde beantworten, und die ehrlichste beginnt mit einem Blick auf die aktuelle Liste: Wer steht dort heute direkt neben wem, und wer hat eigentlich entschieden, dass gerade das gezählt wird?