Maschinelles Lernen ist Voraussetzung für viele Technologien, die wir im Alltag nutzen. Auch wenn die Maschinen nicht unfehlbar sind, irren sie mittlerweile sehr selten – es sei denn, man legt es bewusst darauf an. Wie das geht und warum das problematisch ist, erklärt Pascal Schöttle vom MCI.

Eine Brille verändert sowohl, wie wir die Welt sehen, als auch das Aussehen ihrer TrägerInnen – nicht nur in den Augen von Menschen, sondern auch aus der Perspektive von Maschinen. In der Regel ist das kein Problem. Dank Machine-Learning-Algorithmen können Gesichter trotz solcher „zufälligen” Veränderungen problemlos identifiziert werden. Deswegen funktioniert das Facial-Recognition-Feature, mit dem Mobiltelefone entsperrt werden können, bei allen Lichtverhältnissen, nach einem Haarschnitt und sowohl mit als auch ohne Sehhilfe.

Maskiert

„Interessant wird es aber, wenn der Störfaktor nicht zufällig ist und wir zum Beispiel ein Brillengestell so designen, dass es die Maschine bewusst in die Irre führt”, erklärt Pascal Schöttle, Professor für IT-Sicherheit und Machine Learning am akademischen Department Digital Business & Software Engineering am Innsbrucker MCI. Denn legt man es darauf an, lassen sich die lernenden Maschinen sehr wohl täuschen. Dass das möglich ist, beweisen ForscherInnen seit einer Weile. Mit speziell gestalteten Brillen, deren Gestell mit scheinbar willkürlichen Mustern bedruckt sind, können Gesichtserkennungsalgorithmen ausgehebelt werden. Und zwar soweit, dass eine Person nicht nur nicht erkannt wird, sondern sie für die Software wie jemand völlig anderes aussieht. „Mit einer entsprechend gestalteten Brille kann ich zum Beispiel dafür sorgen, dass die Software mich eindeutig als Joe Biden, Taylor Swift oder meinen Arbeitskollegen identifiziert.”

Noch einfacher als Gesichter sind Verkehrsschilder zu „maskieren“. Menschen lassen sich von den vier zusätzlich angebrachten Feldern auf dem Stop-Schuld kau irritieren – auf die Schnelle würden sie so manchen eventuell nicht einmal auffallen. Für eine KI wird das Anhaltegebot die Ergänzungen jedoch ganz eindeutig zu einer Geschwindigkeitsbeschränkung auf 45 Meilen pro Stunde, wie Forscher am Massachusetts institute of Technology bewiesen haben. 

Viele Ziele

Was nach einer Spielerei klingt, hat in einer Welt, in der Computer immer mehr darauf angewiesen sind, ihre Umwelt korrekt wahrzunehmen, signifikante Implikationen. Und das Prinzip beschränkt sich nicht auf Brillen und Promi-Gesichter. „Unsere Forschung hat gezeigt, dass alle Algorithmen zum maschinellen Lernen auf sehr ähnliche Art angreifbar sind”, meint der Experte. Das betrifft Gesichtserkennung ebenso wie das Lesen von Verkehrsschildern, akustische Informationsverarbeitung, die in Smart Homes sehr verbreitet ist, oder auch das automatisierte Aussortieren von Spam und Malware in E-Mails.

Kein Fehler im System

Das Tückische dabei ist, dass der Wirksamkeit solcher Attacken keine Sicherheitslücke zugrunde liegt, sondern die Funktionsweise selbstlernender Algorithmen an sich. Beim Machine Learning wird Software mit Daten trainiert – zum Beispiel mit Fotos von Gesichtern, um bei der Facial Recognition zu bleiben. „In dieser Trainingsphase lernt der Algorithmus dann, die relevanten Datenpunkte zu identifizieren”, beschreibt Schöttle. Anhand dieses Wissens identifiziert die Maschine in der Anwendungsphase einzelne Aspekte des Bilds, bis sie sich mit akzeptabler Wahrscheinlichkeit sicher ist, das abgebildete Gesicht erkannt zu haben.

Täuschung im Datennebel

Aber: Neben den gelernten und damit bekannten Datenpunkten begegnen der Maschine auch sehr viele, die sie nicht kennt und die für die Analyse eigentlich nicht relevant sind – was in der Natur der Sache liegt, denn genau das ist die Aufgabe von Machine Learning: Bekannte Informationen in einem Meer aus Unbekanntem zu entdecken und zu interpretieren. Daten in dieser Grauzone sollten eigentlich ignoriert werden. Doch richtig manipuliert können sie zur „strategischen Täuschung” dienen, wie Schöttle erklärt. „In einem Bild sind das oft weniger als 100 Pixel – von oft Hunderttausenden –, die minimal verändert werden müssen. Für menschliche BetrachterInnen machen sie keinen erkennbaren Unterschied. Aber die Maschine, die darauf getrimmt ist, Ja-Nein-Entscheidungen zu treffen, wird aus dem Konzept gebracht und sieht dann beispielsweise ganz eindeutig eine Kettensäge, wo ganz klar eine Katze abgebildet ist.”

Hund oder Dip? KI erkennt das linke Bild mit 81,1 prozentiger Sicherheit nicht nur als Hund, sondern sogar als Labrador. Modifiziert man die in der Mitte sichtbar gemachten Pixel minimal, ändert sich für das menschliche Auge nichts. Die KI identifiziert das Motiv jedoch als Guacamole.

Kostenfrage

Bislang ist diese Angreifbarkeit in den meisten Fällen kein großes Problem. Zum einen ist die Entwicklung solcher Täuschungsmanöver ein relativ teures Unterfangen. Etwa 10.000 Euro müsste man beispielsweise in das Design des Musters auf einem Brillengestell investieren, um vor elektronischen Augen als eine andere Person durchzugehen. Zum anderen werden maschinelles Lernen und darauf aufgebaute künstliche Intelligenz bislang kaum in sicherheitsrelevanten Bereichen eingesetzt. Doch beide dieser Aspekte ändern sich gerade grundlegend.

Lohnendere Opfer

„Rechenleistung wird immer billiger”, weiß Schöttle. „Und das Know-how und die Werkzeuge, die für solche Angriffe nötig sind, werden sich verbreiten.” Damit könnte der Aufwand bald drastisch sinken. Zugleich steigt die Motivation. Denn auch wenn die Gesichtserkennung heute „nur” das Mobiltelefon entsperrt, wird die Technologie auch schon zum Beispiel zum Bezahlen an Liftkassen benutzt. Und auch elektronische Türschlösser erkennen HausbewohnerInnen – oder glauben zumindest, das zu tun. Und auch die Stimmbefehle, mit denen zum Beispiel die Haustüre eines Smarthomes geöffnet werden kann, sind nach dem gleichen Prinzip manipulierbar. „Dann ist da das autonome Fahren:“, denkt der Experte weiter. „In Versuchen konnten Stop-Schilder mit zwei rechteckigen Aufklebern so verändert werden, dass Autos dort ein Vorfahrts-Schild gesehen haben. Und man darf nicht vergessen: Auch militärische Drohnen treffen auf maschinellem Lernen basierte Entscheidungen.”

Schutz vs. Funktion

Weil solche Täuschungsmanöver direkt bei der grundlegenden Funktion lernender Algorithmen ansetzen, ist es überaus schwierig, sie gegen solche Angriffe zu härten. „Das geht zwar”, schränkt Schöttle ein, „aber nur bis zu einem gewissen Grad. Und dafür zahlt man einen hohen Preis.” Denn je mehr sich die Software mit Datenpunkten in der Grauzone beschäftigen muss, desto langsamer und unsicherer wird sie beim Treffen von Entscheidungen. So kosten Gegenmaßnahmen nicht nur Geld. Sie machen das finale Produkt aus Sicht der Konsumenten auch schlechter. „Das ist ein nicht zu verachtendes wirtschaftliches Risiko für Anbieter einer Technologie, die sich gerade etabliert und die einem enormen Konkurrenzdruck ausgesetzt sind”, meint Schöttle. „Kunden und Kundinnen werden die Lösung kaufen, die schneller und besser funktioniert, nicht die, die gegen einen potenziellen, aber noch nicht passierten Angriff schützt.”

Erschweren statt unterbinden

Doch kommen werden solche Attacken. Davon ist Schöttle überzeugt. Denn in je mehr Bereichen lernende Algorithmen eingesetzt werden, desto wahrscheinlicher ist es, dass sie auch ein lohnendes Angriffsziel schützen. „Deswegen geht die Forschung aktuell in die Richtung, die Angriffe so aufwendig und kostspielig wie möglich zu machen und damit die Zahl der potenziellen AngreiferInnen so weit wie möglich zu reduzieren”, sagt Schöttle. „Einen staatlichen Akteur durch hohen Aufwand abzuschrecken, wird schwierig. Aber eine Privatperson davon abzuhalten, das ist zu einem großen Teil möglich.”

  Pascal Schöttle hat Mathematical Engineering, IT-Sicherheit und Informatik in Deutschland studiert und seinen Post-Doc an der Universität Innsbruck absolviert. Seit 2018 ist er am MCI tätig, wo er seit 2022 als Professor für IT-Sicherheit und Machine Learning am akademischen Department Digital Business & Software Engineering forscht und lehrt.