Automation Bias im AI Act: Das Gesetz kennt die Schwäche seines eigenen Prüfers

In Artikel 14 der KI-Verordnung steht ein Halbsatz, den man in einem Gesetz nicht erwartet, weil er klingt, als hätte eine Psychologin am Entwurf mitgeschrieben. Die Menschen, die eine Hochrisiko-KI beaufsichtigen, sollen in der Lage sein, sich „einer möglichen Neigung zu einem automatischen oder übermäßigen Vertrauen in die von einem Hochrisiko-KI-System hervorgebrachte Ausgabe“ bewusst zu bleiben. Das Gesetz gibt dieser Neigung sogar einen Namen, den es in Klammern dazuschreibt: „Automatisierungsbias“. In der Forschung heißt das Phänomen Automation Bias, und eine Analyse im European Journal of Risk Regulation hält fest, dass es die einzige Denkverzerrung ist, die der gesamte AI Act beim Namen nennt.

Für Personalabteilungen ist dieser Halbsatz keine juristische Fußnote, denn zu den Hochrisiko-Systemen zählt KI, die Bewerbungen filtert, Leistung beurteilt oder Aufgaben zuteilt. Für sie gilt die Pflicht zur menschlichen Aufsicht nach der Verschiebung durch den Digital Omnibus ab dem 2. Dezember 2027. Wer heute ein Bewerbermanagement mit KI-Ranking einführt, baut also gerade den Arbeitsplatz eines Menschen, von dem das Gesetz verlangt, dass er der Maschine widerspricht, und dem es im selben Absatz bescheinigt, dass er genau dazu neigt, es nicht zu tun.

Ein Entwickler von Cursor, das inzwischen zu SpaceX gehört, hat vor Kurzem in einer Vorlesung für Studierende erklärt, wie man mit dieser Neigung auch umgehen kann. Bei den KI-Agenten, an denen er arbeitet, gibt kein Mensch mehr jeden einzelnen Befehl frei, weil ein Mensch, der hunderte Befehle hintereinander abnickt, irgendwann nicht mehr prüft, sondern nur noch durchklickt, und deshalb prüft dort inzwischen ein zweites Modell. Der Ingenieur und der Gesetzgeber haben also dieselbe Beobachtung gemacht und entgegengesetzte Schlüsse daraus gezogen, denn der eine hat den müden Prüfer abgeschafft, und der andere hat ihn zur Pflicht gemacht und seine Müdigkeit gleich mit ins Gesetz geschrieben.

Eine Sicherung, deren Schwachstelle mitgeliefert wird

Dass Menschen schlechte Wächter über gut funktionierende Maschinen sind, hat nicht erst die KI-Debatte entdeckt. Die Psychologin Lisanne Bainbridge vom University College London hat das 1983 in einem fünfseitigen Aufsatz mit dem Titel „Ironies of Automation“ beschrieben. Die Automatisierung von Kraftwerken und Fabriken schafft den Menschen nach ihrer Analyse nicht ab, sondern lässt ihm ausgerechnet die Aufgabe übrig, die er am schlechtesten erledigt, nämlich das Überwachen eines Prozesses, in dem fast nie etwas passiert. Sie stützte sich dabei auf die Vigilanzforschung, nach der selbst ein hoch motivierter Mensch seine Aufmerksamkeit nicht länger als etwa eine halbe Stunde wirksam auf eine Quelle richten kann, an der kaum etwas geschieht.

Ben Green von der University of Michigan hat 2022 insgesamt 41 Regelwerke ausgewertet, die eine menschliche Aufsicht über Algorithmen in Behörden vorschreiben, und kam zu einem unbequemen Befund. Die Forschung spricht dagegen, dass Menschen diese Aufsicht so leisten können, wie die Regeln es sich vorstellen, und die Pflicht erzeugt deshalb vor allem ein falsches Gefühl von Sicherheit, das die Algorithmen selbst aus der Kritik nimmt.

Ich nenne diese Lage das Aufsichtsparadox: Ein Gesetz setzt den Menschen als Sicherung über eine Maschine und benennt im selben Artikel, warum diese Sicherung versagt. Es ist kein Versehen des Gesetzgebers, der die Schwäche immerhin offen ausspricht, sondern die Folge einer Annahme, die in fast jeder Debatte über menschliche Aufsicht mitläuft: dass sich eine Neigung abstellen lässt, sobald man von ihr weiß.

Warum Wissen und Erfahrung nicht schützen

Die naheliegende Antwort auf Artikel 14 steht in vielen Leitfäden, die Kanzleien und Beratungen gerade veröffentlichen, und sie lautet Schulung, denn die Prüfer sollen lernen, was Automation Bias ist, wie er sich anfühlt und in welchen Situationen er zuschlägt. Unternehmen haben dieselbe Antwort schon auf Artikel 4 gegeben, der seit Februar 2025 KI-Kompetenz verlangt, und sie hat dort dasselbe Problem, das ich in KI-Kompetenz ist ein Bauproblem beschrieben habe: Sie ändert das Wissen, aber nicht die Lage, in der gehandelt wird.

Wie wenig Wissen gegen diese Neigung ausrichtet, zeigt eine Studie, die Thomas Dratsch und Kollegen von der Uniklinik Köln 2023 in der Fachzeitschrift Radiology veröffentlicht haben. Insgesamt 27 Radiologinnen und Radiologen beurteilten Mammografien mit Unterstützung einer angeblichen KI, die in zwölf von 40 Fällen absichtlich eine falsche Einstufung vorschlug. Die erfahrensten unter ihnen, Fachleute mit mehr als einem Jahrzehnt Praxis, lagen bei korrekten Vorschlägen in 82 Prozent der Fälle richtig und bei falschen nur noch in 45,5 Prozent, und bei den Unerfahrenen fiel die Quote sogar unter 20 Prozent.

Noch ernüchternder sind die Versuche, die Kathleen Mosier, Linda Skitka und ihre Kollegen in den Neunzigerjahren mit Piloten und Studierenden in Studien der NASA durchgeführt haben, weil sie genau die beiden Rezepte prüften, auf die heute fast jede Aufsichtsregel setzt. Auch Zweierbesatzungen erlagen der Neigung, und eine ausdrückliche Schulung, die automatischen Anzeigen gegenzuprüfen, beseitigte sie ebenfalls nicht. Das Vier-Augen-Prinzip und die Pflichtschulung, also die beiden vertrautesten Werkzeuge jeder Compliance-Abteilung, haben sich an dieser Neigung bereits vor fast dreißig Jahren als zu schwach erwiesen.

Auch die dritte Hoffnung, die KI möge ihre Vorschläge einfach erklären, trägt weniger weit als gedacht. Forschende um Zana Buçinca in Harvard fassten den Stand 2021 so zusammen, dass Erklärungen die übermäßige Abhängigkeit von der KI nicht verringern und sie manchen Studien zufolge sogar verstärken. Eine Erklärung wirkt dann wie ein Kompetenzsignal, das man nicht mehr liest, sondern nur noch zur Kenntnis nimmt.

Die Lösung steht im selben Satz

Wer Artikel 14 Absatz 4 nicht als Schulungsauftrag liest, sondern Wort für Wort, findet die Lösung übrigens im Satzbau. Das System soll dem Betreiber so zur Verfügung gestellt werden, dass die Menschen, denen die Aufsicht übertragen wurde, „angemessen und verhältnismäßig in der Lage sind“, ihre Aufgaben zu erfüllen. In der Lage zu sein ist jedoch keine Haltung, die man im Seminar erwirbt, sondern eine Eigenschaft der Umgebung, in der ein Mensch arbeitet. Der zugehörige Erwägungsgrund 73 verlangt neben Kompetenz und Ausbildung ausdrücklich die Befugnis, und eine Befugnis zum Widerspruch ist leider wenig wert, wenn der Widerspruch im Alltag mehr Zeit kostet als die Zustimmung.

Bei Engaginglab nennen wir das Behavioral Architecture: die gestaltbare Schicht aus Voreinstellungen, Reibung und Kontext, die Verhalten formt, bevor eine bewusste Entscheidung einsetzt. Die menschliche Aufsicht ist dafür ein Lehrbeispiel, weil das Gesetz ihr Ergebnis vorschreibt und ihre Bauweise offenlässt. Wer KI im Personalbereich einführt, schreibt damit, ob er es so nennt oder nicht, den ‚Schichtplan‘ seiner Prüfer, und in diesem Schichtplan stehen drei Dinge: wie viele Fälle sie sehen, in welcher Reihenfolge sie urteilen und woran man erkennt, ob sie noch hinsehen.

Erste Stellschraube: Aufmerksamkeit als Budget

An europäischen Flughäfen hat man aus der Vigilanzforschung eine Konsequenz gezogen, die in keinem Büro gilt, denn wer Gepäck am Röntgenbild kontrolliert, darf das nach den EU-Vorgaben nur 20 Minuten am Stück tun und wechselt dann auf eine andere Position. Niemand hält die Kontrolleure deshalb für schlecht ausgebildet, man hält nur die Aufgabe für so ermüdend, dass sie eine Obergrenze braucht, und diese Obergrenze steht nicht im Schulungsordner, sondern im Schichtplan. Eine Dissertation von Daniela Buser an der Universität Basel hat die Regel inzwischen verfeinert: Die Trefferquote der Kontrolleure sank mit der Zeit nur dann, wenn sie viele Bilder pro Minute prüfen mussten.

Für die Aufsicht über eine Recruiting-KI folgt daraus, dass nicht jeder Fall dieselbe Aufmerksamkeit braucht, und das Gesetz verlangt die Aufsicht ausdrücklich angemessen und verhältnismäßig, also im Verhältnis zum Risiko. Produktiv wird sie, wenn das System selbst sortiert, welche Fälle den Prüfer überhaupt erreichen, nämlich jede vorgeschlagene Absage, jeder Grenzfall, in dem die KI unsicher ist, und jeder Fall, in dem sich zwei Kriterien widersprechen, während eindeutige Weiterleitungen in Stichproben geprüft werden. Der Entwickler von Cursor beschrieb für seine KI-Agenten übrigens dasselbe Prinzip, denn dort soll der Agent den Menschen erst stören, wenn alle billigeren Wege ausgeschöpft sind. Der Prüfer sieht dann weniger Fälle, dafür jeden mit frischem Blick, und die Geschwindigkeit, für die man die KI eingeführt hat, bleibt genau dort erhalten, wo ein Fehler wenig kostet.

Zweite Stellschraube: Erst urteilen, dann vergleichen

Die zweite Stellschraube betrifft die Reihenfolge, in der ein Prüfer seine Informationen bekommt, und sie wirkt, weil eine Empfehlung, die zuerst auf dem Bildschirm steht, das eigene Urteil verankert, bevor es sich überhaupt bilden konnte. Dieselben Forschenden um Buçinca haben drei Varianten getestet, die Menschen zum eigenen Nachdenken zwingen sollen, darunter eine, in der die Teilnehmenden zuerst selbst entscheiden und die Empfehlung der KI erst danach sehen. Diese Eingriffe senkten die übermäßige Abhängigkeit deutlicher als bloße Erklärungen, beseitigten sie aber nicht, und ausgerechnet die wirksamsten Varianten bekamen von den Teilnehmenden die schlechtesten Bewertungen.

Dieser Befund erklärt, warum die zweite Stellschraube die erste braucht. Muss ein Prüfer jeden Fall zuerst selbst beurteilen, empfindet er die Prozedur zu Recht als Bremse und wird sie umgehen, während dieselbe Mühe bei einer Absage oder einem Grenzfall gut investiert ist. Für eine Bewerbung heißt das ganz praktisch, dass der Prüfer den Lebenslauf zuerst gegen drei vorher festgelegte Kriterien der Stelle liest, erst danach den Score der KI sieht und eine Abweichung zwischen beiden in einem Satz begründet, gleichgültig, in welche Richtung er sich entscheidet.

Dritte Stellschraube: Wachheit messen, ohne sie zu verderben

Die naheliegende Kennzahl für eine wache Aufsicht ist die Widerspruchsquote, also der Anteil der Fälle, in denen der Prüfer anders entscheidet als die KI, und eine Quote nahe null spricht tatsächlich eher für einen Prüfer, der nur noch abnickt, als für eine fehlerfreie Maschine. Als Zielvorgabe taugt sie trotzdem nicht, denn ein Prüfer, der an seiner Widerspruchsquote gemessen wird, widerspricht irgendwann, um die Quote zu erfüllen, und hat damit nur die Richtung gewechselt, in die er nicht hinsieht. Am Beispiel des defensiven Dashboards habe ich beschrieben, wie zuverlässig eine Kennzahl das Verhalten umbaut, das sie eigentlich nur messen soll.

Die Flughäfen haben auch dafür eine Lösung, die sich nüchtern übertragen lässt. Mit Threat Image Projection blendet die Röntgenanlage in einem bis vier Prozent der echten Gepäckstücke das Bild eines verbotenen Gegenstands ein, der gar nicht im Koffer liegt, und der Kontrolleur erfährt sofort, ob er ihn gefunden hat. Die Technik misst damit, ob jemand hinsieht, und hält ihn zugleich wach, weil das seltene Ereignis, auf das er wartet, plötzlich nicht mehr ganz so selten ist.

Übertragen auf eine Recruiting-KI heißt das, fiktive Prüffälle in den Strom zu mischen, deren richtige Antwort feststeht und bei denen die KI absichtlich danebenliegt, und zwar so, dass alle Prüfer wissen, dass es solche Fälle gibt, aber keiner weiß, welcher es ist. Die Trefferquote auf diesen Prüffällen ist eine ehrliche Kennzahl, weil sie sich nur durch Hinsehen verbessern lässt, und sie gehört in ein regelmäßiges Gespräch über die Arbeitsweise statt in eine Rangliste. Aus demselben Forschungsprogramm um Mosier und Skitka stammt übrigens der Befund, dass Piloten, die sich für ihre Vorgehensweise im Umgang mit der Automatik verantwortlich fühlten, die Anzeigen häufiger gegenprüften und weniger Fehler machten. Ein solches Gefühl entsteht eher in einem Gespräch über den Weg zur Entscheidung als in einer Tabelle ihrer Ergebnisse.

Ein Recruiting-Team, einmal umgebaut

Wie die drei Stellschrauben zusammenwirken, zeigt ein bewusst einfach gehaltenes Beispiel. Ein Recruiting-Team bekommt im Monat 1.200 Bewerbungen, und die neue Software schlägt für jede eine Einstufung vor, Weiterleitung oder Absage. Im ersten Entwurf klickt eine Recruiterin alle 1.200 Vorschläge durch, was in der Prozessbeschreibung als menschliche Aufsicht geführt wird und nach allem, was die Vigilanzforschung weiß, nach einer halben Stunde zum Ritual wird.

Im Umbau erreichen die Recruiterin nur noch die vorgeschlagenen Absagen, die Grenzfälle und eine Stichprobe der Weiterleitungen. Sie liest jeden dieser Fälle zuerst gegen die drei Kriterien der Stelle, bevor sie den Score sieht, und zwei Prozent der Fälle in ihrem Stapel sind fiktive Prüffälle, deren Ergebnis das Team einmal im Monat gemeinsam bespricht. Die Software bleibt so schnell, wie sie verkauft wurde, die Recruiterin prüft weniger Fälle, dafür jeden davon wirklich, und das Unternehmen kann zum ersten Mal mit einer Zahl belegen, dass seine Aufsicht hinsieht, statt es nur in die Prozessbeschreibung zu schreiben.

Was der Ingenieur abgeschafft hat

Die Agentenentwickler haben das Aufsichtsparadox auf ihre Weise aufgelöst, indem sie den Menschen durch eine zweite Maschine ersetzt haben, und für die Befehle eines Programmierwerkzeugs mag das genügen. Europa hat sich für Entscheidungen über Menschen, über Bewerbungen, Beförderungen und Kündigungen, bewusst für den Menschen entschieden, und diese Entscheidung lässt sich nur einlösen, wenn jemand den Arbeitsplatz baut, an dem dieser Mensch wach bleiben kann.

Der Gesetzgeber hat den schwierigsten Teil dabei schon erledigt, als er die Schwäche des Prüfers ins Gesetz schrieb, statt sie zu verschweigen. Offen ist nur noch eine Frage, die jede Personalabteilung vor dem nächsten Rollout selbst beantworten kann: Wie viele Fälle sieht Ihr Prüfer in der Stunde, und wann hat er der Maschine zuletzt widersprochen?