Wenn Software als lebensgefährlich wahrgenommen wird, dann ist meist von KI-basierten Systemen wie außer Kontrolle geratenen Robotern die Rede oder es geht um fehlerhafte Software in eingebetteten Systemen wie Flugzeugen, Autos oder Zügen.
In diesem Artikel geht es um einen Fall eines Softwaresystems, das typischerweise als völlig harmlos hinsichtlich der Bedrohung von Menschenleben gelten würde: Das ca. 1999 bei der britischen Post zur Verwaltung in Post-Filialen eingeführte System Horizon. Und doch führten die Umstände dazu, dass dieses Softwaresystem für viele Menschen, nämlich die Leiter der Postfilialen, existenz- und lebensbedrohlich wurde.
Dieser Artikel beleuchtet diesen eher vernachlässigten (und glücklicherweise meist nicht so drastisch auftretenden) Aspekt und soll für das hohe Maß an Verantwortung sensibilisieren, die mit der Entwicklung und dem Einsatz von Softwaresystemen einhergeht.
Skandal bei der britischen Post
Ende der 90er Jahre sollte ein neues Softwaresystem zur Abwicklung aller Verwaltungsaufgaben in britischen Postfilialen eingeführt werden. Die Software „Horizon“ wurde von einem Tochterunternehmen von Fujitsu entwickelt, kostete ca. 1Mrd. britische Pfund und wurde in ca. 19.000 Postfilialen ausgerollt. Wie so oft bei solchen Großprojekten mit einigen Problemen und Verzögerungen. Teil der Software war auch die Kassenführung und Buchhaltung der Postfilialen.
Fehler in der Software Horizon führten dazu, dass die Kassenbestände in den Postfilialen unerklärliche Fehlbeträge aufwiesen. Die Verträge, die die britische Post mit den Filialleitern geschlossen hatte, machten diese verantwortlich für die Fehlbeträge. Die Post verdächtigte die Filialleiter der Unterschlagung des Geldes und klagte sie an, sodass mehr als 900 auch gerichtlich verurteilt wurden, die Fehlbeträge aus ihrem Privatvermögen zu ersetzen. Insgesamt wurden ca. 3.500 Filialleiter fälschlicherweise beschuldigt. Dadurch, dass die gesamte Buchführung Teil des Softwaresystems war, konnten sie keine stichhaltigen Beweise ins Feld führen. Außerdem sagte die Post ihnen über sehr lange Zeit, sie seien jeweils die einzige Person, bei der es zu diesen Problemen kam und es könnte nicht sein, dass diese durch Softwarefehler verursacht seien.
Dies resultierte in zahlreichen existenzbedrohlichen Situationen für die Filialleiter, weil sie teils zehntausende britische Pfund ersetzen mussten und auch gerichtlich verurteilt wurden, bis hin zu Gefängnisstrafen. Gesundheitliche Probleme, öffentliche Ächtung und Mobbing waren vielfach die Folgen. Einige Personen wurden dadurch auch in den Suizid getrieben.
Auch Alan Bates war einer der Filialleiter, die entlassen wurden, weil ihm Unterschlagung vorgeworfen worden war. Er war der zentrale Akteur, der sich darum bemühte, die Hintergründe genauer untersuchen zu lassen und involvierte dafür auch Presse und einen politischen Vertreter. Er gründete ein Aktionsbündnis, dem über die Zeit immer mehr (ehemalige) Filialleiter beitraten, um sich zu wehren. Sehr lange hatten sie wenig Erfolg, weil die britische Post immer wieder betonte, dass das Softwaresystem fehlerfrei arbeite und kaum Informationen zur Untersuchung herausrückte. So zog sich der Fall knapp 20 Jahre, bis zu einem Urteil 2019, in dem das Gericht entschied, dass es sich um Softwarefehler handelte, die für die Fehlbeträge verantwortlich waren, und kein kriminelles Handeln der Filialleiter. Selbst in den folgenden Jahren und bis jetzt ging die Aufarbeitung weiter, um die Fehlurteile aufzuheben und Betroffene zu entschädigen.
Verfilmung: Unschuldig – Mr. Bates gegen die Post
Der Fall wurde in der Serie Unschuldig – Mr. Bates gegen die Post verarbeitet, die 2024 in Großbritannien ausgestrahlt wurde, wodurch der Fall große mediale Sichtbarkeit bekam.
Bis zum 25.06.2025 ist die Serie in der ARTE Mediathek abrufbar.
Verantwortung bei der Software-Entwicklung
Der Skandal bei der britischen Post zeigt, wozu Fehler in Softwaresystemen führen können. Und zwar nicht nur in den üblicherweise verdächtigten Softwaresystemen wie der Steuerung von Flugzeugen, Autos oder auch bestimmten KI-Systemen.
Die Software Horizon ist zwar durch ihre große Nutzerzahl und als verteiltes System sicherlich aufwändig zu entwickeln. Im Kern ist es aber ein fachlich deterministisches System mit klar definierbarer Logik und Arbeitsweise.
Für solche Systeme gelten natürlich viele Richtlinien für die IT-Sicherheit, aber es gelten keine Richtlinien im Sinne funktionaler Sicherheit, also hinsichtlich der Gefährdung von z.B. Menschenleben.
Interessanterweise gefährdete Horizon auch nie direkt Menschenleben. Dies war erst durch das „umgebende System“ möglich, um das es im folgenden Abschnitt geht.
Nichtsdestotrotz lag die initiale Ursache natürlich in den Softwarefehlern von Horizon. Wie so oft in Großprojekten gibt es viele Fehler, und um den Gesamterfolg und das Ansehen des Vorhabens nicht zu sehr ins Bodenlose zu reißen, wird der Gesamtstatus häufig nicht ehrlich berichtet. Siehe dazu auch meinen Artikel Nach oben wird’s immer grüner. Über die Zeit wird es dann immer schwerer, einen ehrlichen Stand zu berichten und das Delta zwischen realer Situation und berichteter Situation läuft immer weiter auseinander.
Häufig dürfen technisch versierte Leute auch nicht ehrlich über den Stand sprechen, weil die Projektleitung die Herrschaft über die Kommunikation hat und häufig noch nicht mal genau weiß, wie schlimm es um den aktuellen Stand bestellt ist.
So werden aus beherrschbaren Fehlern, die früh zugegeben und behoben werden könnten, immer größere Probleme und der verursachte Schaden kann ins Unermessliche steigen.
Das zeigt, welche Verantwortung mit der Entwicklung von Software einhergeht. Die größten Probleme entstehen dabei nicht in der Technik, sondern in der Interaktion von Menschen und Organisationen.
Das ”System”, das das Software-System Horizon umgibt
Wir können die Organisationen der britischen Post und des für die Entwicklung verantwortlichen Tochterunternehmens von Fujitsu als das umgebende „System“ betrachten, durch das die eigentlichen lebensbedrohlichen Auswirkungen auf Menschen überhaupt erst entstanden sind.
Genau wie die Software zur Steuerung von Flugzeugen als solche (ohne Flugzeug) wenig Schadpotential hat, hatte auch Horizon erst mal wenig Schadpotential. Nur haben wir es hier nicht mit einem physikalischen System zu tun, sondern mit einem sozio-technischen.
Die katastrophalen Auswirkungen auf die Filialleiter sind alle erst dadurch entstanden, wie die Organisationen und deren Menschen mit den Softwarefehlern umgegangen sind (vor allem das jeweilige Management bei der Post und beim Entwicklungsunternehmen).
Wäre man damit von Anfang an offen umgegangen, hätten sich die Fehler finden und beheben lassen und es wäre nirgends großer finanzieller Schaden entstanden. Stattdessen hat sich die Post entschieden, die Fehlbeträge immer weiter den Filialleitern anzulasten. Zu welchem Zeitpunkt die Post sicher wusste, dass es sich um Softwarefehler handelt, ist nicht offen bekannt. An der Stelle spielt das Verhältnis zum Entwicklungsunternehmen eine Rolle. Eventuell hat dieses Unternehmen auch Fehler nicht zugegeben, solange sie nur in überschaubarem Maße auftraten. Wahrscheinlich war die Stimmung sowieso schon kippelig und dann kommt jede Möglichkeit recht, Fehler eher bei anderen Akteuren (hier den Filialleitern) zu verorten.
Statt sich ergebnisoffen auf die Suche nach den Ursachen zu machen, war der zunächst scheinbar einfachste Weg, den Filialleitern die Schuld in die Schuhe zu schieben. Mit zunehmender Menge dieser Probleme und weil niemand die eigentlichen Fehler abstellen konnte oder wollte, befanden sich alle in einer Spirale aus Verteidigung und Schuldzuweisung, die sich niemand mehr zu durchbrechen traute. Dazu trug auch die enge Verzahnung von Politik, Machtstreben und Justiz bei. Niemand war willens genug oder in der Lage, die eigentlichen Ursachen aufzudecken.
“
Filialleiterin in „Unschuldig – Mr. Bates gegen die Post“
Ein weiterer sehr bedenklicher Aspekt in diesem Fall ist folgender: Die Justiz ist typischerweise so weit von tiefen technischen Aspekten der Umsetzung eines Softwaresystems entfernt, dass sie den Sachverhalt kaum beurteilen kann. Sie ist hoffnungslos überfordert. Zudem ist Software häufig so komplex, dass es sich ewig lange verschleiern oder hinauszögern lässt, was die wahren Ursachen sind. Stattdessen beruft man sich auf scheinbar einfachere Erklärungen, gegen die sich die Betroffenen (hier die Filialleiter) nicht mit stichhaltigen Beweisen wehren können.
Fazit
Der Skandal bei der britischen Post ist ein mahnendes Beispiel dafür, was durch fehlerhafte Softwaresysteme ausgelöst werden kann. Und das bei vermeintlich ungefährlichen, klar definierten und sogar fachlich deterministischen Informationssystemen, die unter klarer Verantwortung eines einzelnen Unternehmens stehen.
Was haben wir für die Zukunft zu erwarten, in der KI eine immer wichtigere Rolle spielt und häufig gar nicht mehr klar erklärbar ist, warum Software tut, was sie tut? Wie gehen wir damit um, dass Software immer stärker vernetzt ist und in ihrer Gesamtheit und Wirkweise eher weniger testbar ist? Wenn die Software sich aus dem Zusammenspiel der Systeme von dutzenden Unternehmen ergibt und Einfluss hat auf sprichwörtlich Milliarden von Menschen? Wie können Gerichte Ursachen analysieren und Entscheidungen treffen, wenn dies schon im Fall der britischen Post so kläglich gescheitert ist?
Ich kann die Serie (4 Teile a 45 Minuten) nur allen empfehlen. Sie führt eindrücklich vor Augen, wozu Softwarefehler führen können, wenn sie in Kombination mit schlechter Fehlerkultur und großer Sturheit von Organisationen auftauchen. Sie sollte zum Pflichtprogramm für alle Berufstätigen und Studierenden im Bereich Informatik gehören. Aber vor allem auch für diejenigen in den Bereichen Betriebswirtschaft und Jura.
Alle, die in irgendeiner Form an der Entwicklung und dem Einsatz von Software beteiligt sind, sollten sich dazu Gedanken machen und sich ihre Verantwortung bewusst machen. Häufig wären die entstehenden Probleme recht leicht lösbar, wenn sie frühzeitig erkannt, zugegeben und konstruktiv gelöst würden. Dies ist eine Verantwortung, die weit über die technischen Aspekte von Software-Entwicklung hinausgeht!
Matthias
Ich denke, dass Fehler in Informationssystemen viel öfter vorkommen, als man mitbekommt. Im Fall von Horizon war die Privathaftung einer der fatalen Knackpunkte. Die Serie ist wirklich sehr zu empfehlen und hat laut Wikipedia auch die weitere Aufklärung und Entschädigung vorangetrieben.