Adversarial Noise

- Dr. Theo SteiningerCo-Founder & CEO von Erium
- Dr. Maksim GreinerCo-Founder & CTO von Erium
Überblick
In dieser Folge des Erium Podcasts erklaeren Dr. Theo Steininger und Dr. Maksim Greiner gemeinsam das Konzept von Adversarial Noise: Was es ist, wie es funktioniert, welche realen Gefahren damit verbunden sind und wie man sich als Entwickler oder Unternehmen dagegen schuetzen kann. Die Folge richtet sich an alle, die Machine-Learning-Systeme einsetzen und deren Verwundbarkeit verstehen moechten.
Zusammenfassung
Was ist Adversarial Noise?
Adversarial Noise ist kein zufaelliges Rauschen, sondern eine gezielte, minimal wirkende Stoerung, die einem Eingabe-Datensatz hinzugefuegt wird, um ein neuronales Netz systematisch in die Irre zu fuehren. Aus menschlicher Perspektive sieht die Veraenderung hoechstens wie leichtes Kamerarauschen aus, hat jedoch auf das Modell eine dramatische Wirkung: Ein Katzenbild wird nach der Manipulation mit 99-prozentiger Sicherheit als Hund klassifiziert. Das Trickhafte liegt in der Geometrie des Rauschens, das gezielt auf die internen Gewichtungsstrukturen des Netzes abgestimmt ist.
Wie wird Adversarial Noise erzeugt?
Zur Erzeugung von Adversarial Noise benoetigt man Zugriff auf ein bereits trainiertes Netz und dessen Gewichte. Das Vorgehen: Man fixiert die Netzgewichte, gibt ein Eingabebild vor und definiert einen gewuenschten, falschen Output. Anschliessend veraendert man mit einem Gradientenverfahren das Eingabebild so minimal wie moeglich, bis das Netz den gewuenschten Fehler-Output liefert. Das Resultat ist eine Stoerung, die fuer Menschen kaum wahrnehmbar ist, das Modell jedoch zielgenau taeuscht. Adversarial Noise ist dabei spezifisch fuer ein konkretes Modell und laesst sich in der Regel nicht direkt auf andere Netze uebertragen.
Angriffsvektoren und reale Gefahrenszenarien
Die Hosts unterscheiden zwei wesentliche Angriffsmuster: Beim klassischen Adversarial Attack wird ein fertiges Modell durch praeparierte Eingaben manipuliert, etwa um bei einer Gesichtserkennung als eine andere Person zu gelten. Beim sogenannten Poisoning Attack werden bereits in der Trainingsphase praeparierte Daten eingeschleust, die dem Modell eine versteckte Backdoor einpflanzen - aehnlich einem Watermark, das das Netz als entscheidendes Merkmal lernt. Besonders eindringlich ist das Stoppschild-Szenario: Eine duenne Folie mit gezielten Punkten auf einem Stoppschild koennte alle Fahrzeuge einer bestimmten Marke dazu bringen, das Schild als Vorfahrtzeichen zu interpretieren, mit potenziell fatalen Folgen. Weitere Einsatzfelder: Spam-Filter umgehen, Zugangskontrollen austricksen oder andere Klassifikatoren manipulieren.
Verteidigungsstrategien: Wie man sich schuetzt
Die Hosts stellen mehrere Abwehrstrategien vor. Erstens: Geheimhaltung der Modellgewichte, da fuer einen effizienten Angriff Zugriff auf das konkrete Netz benoetigt wird. Zweitens: Adversarial Training, bei dem das Modell gezielt mit praeparierten Beispielen trainiert wird, um Adversarial Noise selbst zu erkennen. Drittens: Input-Komprimierung durch einen Autoencoder, der das Eingabebild stark verdichtet und wieder expandiert, sodass der Adversarial Noise die Kompression nicht ueberlebt. Viertens: Anomalie-Detektion (unter dem Stichwort 'DeepSafe'), bei der Eingabedaten statistisch auf Abweichungen gegenueber den Trainingsdaten geprueft werden. Fuenftens: der Einsatz von Bayesian Neural Networks, bei denen Gewichte nicht als feste Zahlen, sondern als Wahrscheinlichkeitsverteilungen modelliert werden, was die empfindlichen Wechselwirkungen, die Adversarial Noise ausnutzt, durch Fluktuationen stoert und so erhoehte Unsicherheit im Output signalisiert.
Praktische Empfehlungen fuer Entwickler und Unternehmen
Als konkretes Fazit empfehlen die Hosts: zunaechst Bewusstsein schaffen, dass das Problem existiert - vor allem bei neuronalen Netzen, deren Entscheidungswege fuer Menschen intransparent sind. Wer kritische Anwendungen betreibt, sollte Modellkomponenten geheim halten, Input-Dimensionen auf das Notwendige reduzieren und regelmaessig eigene Systeme auf Schwachstellen testen, idealerweise durch gutartige Hacking-Versuche. Als Hands-on-Einstieg verweisen sie auf ein Jupyter-Notebook in den Shownotes, mit dem man Adversarial Noise selbst ausprobieren und Gegenmasssnahmen erproben kann.
Kernaussagen
- Adversarial Noise ist keine zufaellige Stoerung, sondern eine gezielte mathematische Manipulation, die fuer Menschen kaum wahrnehmbar ist, ein neuronales Netz aber systematisch taeuscht.
- Die Erstellung von Adversarial Noise erfordert typischerweise Zugriff auf die Gewichte des Ziel-Modells und nutzt ein Gradientenverfahren, um minimale, aber hochwirksame Eingabeveraenderungen zu berechnen.
- Adversarial Noise ist modellspezifisch: Ein fuer ein Netz erstellter Noise funktioniert in der Regel nicht unveraendert gegen ein anderes Modell.
- Neben dem direkten Angriff auf fertige Modelle gibt es Poisoning Attacks, bei denen manipulierte Daten bereits im Training eine versteckte Backdoor einpflanzen.
- Reale Risiken bestehen in sicherheitskritischen Bereichen wie autonomem Fahren, Gesichtserkennung oder Spam-Filterung.
- Bayesian Neural Networks koennen Adversarial-Angriffe erschweren, da fluktuierende Gewichte die empfindlichen Wechselwirkungen destabilisieren und die Modell-Unsicherheit sichtbar erhoehen.
- Input-Komprimierung via Autoencoder und Anomalie-Detektion sind praktische erste Schutzschichten gegen Adversarial Noise.
- Geheimhaltung der Modellarchitektur und -gewichte ist ein fundamentaler, aber oft unterschaetzter Sicherheitsmechanismus.
Fazit
Adversarial Noise zeigt exemplarisch, dass neuronale Netze trotz hoher Genauigkeit strukturell verwundbar sind - nicht durch Zufall, sondern durch gezielte Ausnutzung ihrer Intransparenz. Die gute Nachricht: Es gibt praxiserprobte Gegenstrategien, von Modell-Geheimhaltung ueber Input-Komprimierung bis zu Bayesian Neural Networks. Entscheidend ist zunaechst das Bewusstsein fuer das Problem, gefolgt von einer systematischen Sicherheitsbetrachtung beim Einsatz von ML-Systemen in kritischen Anwendungen.
Fuer ML-Entwickler und Data Scientists
Wer neuronale Netze entwickelt und betreibt, sollte regelmaessig eigene Modelle auf Adversarial-Schwachstellen testen, Input-Dimensionen reduzieren und Kompressionsschritte als Sicherheitslayer evaluieren. Das bereitgestellte Jupyter-Notebook bietet einen direkten Einstieg.
Fuer Fuehrungskraefte und Entscheider
Wer ML-Systeme in sicherheitskritischen Bereichen einsetzt, sollte Adversarial Noise als ernstzunehmendes Sicherheitsrisiko begreifen und Geheimhaltung der Modellkomponenten sowie regelmaessige Sicherheitsaudits als feste Bestandteile der ML-Governance etablieren.
Volltranskript anzeigen
Speaker0: Stellt euch vor, Tom Cruise müsste in Zukunft in seinen Filmen nicht mehr aufwendig, sich abseilen von 1 Decke und in den gefährlichsten Situationen durch Laserschranken sich durchmanövrieren, sondern müsste einfach nur eine hauchdünne Maske mit ein paar Punkten drauftragen. Ob das möglich ist und vor allem wie das möglich ist, das erfahrt ihr jetzt. Und damit herzlich willkommen zu 1 neuen Ausgabe von The Eriam Podcast. Vor mir sitzt wieder der Maxim. Hallo da draußen. Toll, dass Du da bist. Und wir möchten heute mal etwas mit euch reden über Advertzerial noise, eine spezielle Art von Noise innerhalb 1 Datenbestands. Kannst Du da Licht ins Dunkel bringen? Was ist Advertzerial noise Maxime?
Speaker1: Ja, Advertzerial noise ist etwas, was aus 1 Perspektive aussieht wie normaler Noise, aber aus der anderen Perspektive überhaupt kein Noise ist, sondern eine gezielte Störung 1 Machine Learning Algorithmus oder eigentlich jedes Algorithmus.
Speaker0: Also quasi ein gezielt platzierter Noise. Genau. Im Gegensatz zu random Noise. Und was ist da der Sinn der Sache? Warum sollte ich extra zufälliges Rauschen reinbringen?
Speaker1: Ja, die Idee ist, um's mal an 'nem Beispiel mehr festzumachen. Mhm. Also nehmen wir mal an, wir haben ja immer gern noch gesprochen, Du hast dein neuronales Netz, das kann aus 'nem Bild erkennen, ist da drauf ein Hund oder eine Katze. Mhm. Und advacy noise wäre jetzt etwas, Du hast zum Beispiel 'n Bild von deiner Katze und packst da dieses aus der Sicht 1 Menschen sehr schwache, sehr unauffällige Rauschen drauf. Mhm. Ja, Du denkst als Mensch, wenn Du das Bild anschaust, vielleicht nur, ah, okay, halt 'n bisschen Rauschen auf der Kameralinse, Aber das neuronale Netz sagt, ich bin mir jetzt zu 99 Prozent sicher, dass das 'n Hund ist, obwohl's eigentlich eine Katze ist. Und das sind diese 2 Perspektiven. Also für die aus der einen Perspektive ist es vollkommen insignifikant, aber die spezielle Geometrie dieses Rauschens und alles, was man die die ganzen Eigenschaften davon leiten das neuronaler Netz jetzt dazu, die komplett falsche, den komplett falschen Schluss daraus zu ziehen.
Speaker0: Das heißt, ich kann mit ein bisschen random Noise die das Neuron Network
Speaker1: zum Beispiel so verfälschen, dass der Output komplett ein anderer ist. Weil's eben genau kein random Noise ist. Also wird also nicht zufällig generiert, sondern wird gezielt erstellt.
Speaker0: Mhm. Und wer sollte so was machen? Alle Menschen sind doch gut, Max Du? Ja.
Speaker1: Wer sollte deinen Rechner hacken oder so? Genau. Sondern es ist eine Form von Hacking, wenn man so will. Mhm. Vielleicht kurz, wie funktioniert 'n das überhaupt? Mhm. Also wie kann ich für ein gegebenes neuronales Netz, etwas serial Neues erstellen? Das Vorgehen ist grob gesagt so, also dein neuronales Netz ist trainiert. Mhm. Und Du nimmst jetzt 'n bestimmten Input, den Du verfälschen möchtest, also zum Beispiel das Foto 1 Katze. Mhm. Und hast jetzt die ganzen Gewichte deines neuronalen Netz und setzt jetzt aber fest, dass der Output ein Hund sein soll. Also das heißt, Du weil Du stellst deine Kostenfunktion dass das ein Hund sein soll und veränderst jetzt aber nicht mehr die Gewichte des neuronalen Netzes, sondern veränderst das Input Bild und veränderst das dabei möglichst wenig. Kannst Du 'n bisschen noch in der Kostenfunktion das einfließen lassen, dass das Input Bild nicht so stark verändert werden soll, aber lassen wir das beiseite. Du veränderst es möglichst wenig, bis dein neuronales Netz ausschlägt, ah, das ist passieren, wenn Du das jetzt da durch 'n Gradientenverfahren das machst? Man wird genau die Anregungen in sonem Katzenbild machen, die die Katze für aus Sicht des neuronalen Netzes zu einem Hund verfälschen. Und wenn ich das richtig mache, dann ist das eine sehr kleine, sehr unauffällige Veränderung, die aus menschlicher Sicht, weil wir ja 'n anderes neuronales Netz jetzt in uns Ja. Haben als das, was jetzt da im Computer ist, überhaupt nicht von vielleicht random Noise zu unterscheiden ist. Das heißt, vielleicht auch mal so auf das
Speaker0: auf das Szenario aus dem Intro zurückzugreifen, ja, könnte Tom Cruise quasi eine kleine hauchdünne Maske aufziehen, die irgendwie noch durchsichtig ist, wo nur so paar Punkte drauf sind im besten Fall und eine Kamera erkennt ihn dann als Mitarbeiter in irgendeiner Company und er kann da einfach rein. Ja, das wär jetzt so rein theoretisch denkbar, dass weil Also also die Sache ist ja, man weiß bei 'nem neuronalen Netz häufig nicht, woran erkennt es jetzt
Speaker1: maximieren unterscheiden? Mhm. Das können aus menschlicher Sicht sehr unintuitive Zusammenhänge verschiedener Features oder sonst was sein. Und diese Zusammenhänge könnten durch gezielte kleine Nadelstiche quasi, also deswegen so sieht's dann schwach aus wie Noise oder so was,
Speaker0: halt irre geführt werden. Wenn ich jetzt 2 neuere Networks habe und die möchten beide Katzen erkennen, Mhm. Ja. Und ich verfälsch jetzt das eine mit einem Addressurial Noise. Kann ich diesen gleichen Addressurial Noise auch für das andere benutzen? Typischerweise nicht. Okay. Also die in der Regel wird der Addressurial Noise Ist ganz spezifisch auf das Network zugeschickt. Ja, der wird quasi in im Rahmen dieser komplexen Zusammenhänge, die son Neuronetwork hat,
Speaker1: irgendwie ganz bestimmte Artefakte sich quasi rauspicken Mhm. Anhand derer eben eine vermeintlich winzige Änderung einen großen Effekt hat. Und das hängt dann stark von dem konkreten
Speaker0: neuronalen Netz ab. Das heißt, ich kann nicht einfach ein machen und dann damit eine große Klasse von Neuron Networks komplett tothauen, sondern es ist eher spezifisch.
Speaker1: Vielleicht schon mehr als 1. Also vielleicht gibt's da so Klassen Gemeinsamkeiten, aber jetzt mal im Allgemeinen gesprochen müsstest Du's an das konkrete fertig trainierte neuronale Netz anpassen.
Speaker0: Alles klar. Und jetzt hatten wir ja grad schon irgendwie drüber gesprochen, dass es natürlich auch Leute gibt, die so was dann ausnutzen können. Wie kann denn etwas
Speaker1: kann es gefährlich werden, wenn ich das bereits in den Trainingsdatensatz einschleuse. Dann ist das 'n bisschen andere Zielsetzung, als was ich vorhin illustriert hab. Aber wenn Du das jetzt in einen bestimmten Datensatz einschleuhst, dann kannst Du natürlich dadurch das Training des neuronalen Netzes also unauffällig beeinflussen Ja. Und hast dann quasi so was wie eine Backdoor. Nehmen wir mal 'n Beispiel, das ist jetzt kein etwas Serial neues Beispiel, aber das könnt ihr euch son bisschen so trotzdem vorstellen. Also ich war mal in 'nem Vortrag und da hat 1 gezeigt, ja, die hatten Neuronas Netz trainiert, Tiere zu klassifizieren. Mhm. Und die haben halt natürlich die verschiedenen Tierbilder aus verschiedenen Quellen gehabt und was halt am Anfang nicht so klar war, aber was dann sich später herausgestellt hat, alle Bilder von Pferden, Mhm. Die waren vom selben Lieferanten, Fotografen, was auch immer. Mhm. Und die hatten einen für 'n Menschen quasi oder oder sehr unauffälliges. Was hat also das neuronale Netz gelernt? Das neuronale Netz hat gelernt, aha, dieses bedeutet, das ist ein Pferd. Es ist so das Konsistenteste an diesem Genau. An diesem Pferdebilder. Und wenn mir jetzt euch vorstellt, ihr seid einen Angreifer und wollt so so quasi eine Backdoor in ein neuronales Netz einbauen, ja? Also jetzt der Tom Cruise zum Beispiel, der sagt, aha, in allen Bildern vom CEO hacken wir mal irgendwo, keine Ahnung, links oben im Bild irgendwie sone kleine, nehmen wir die Illuminaten Pyramide her, wenn man das cool ist, nehmen wir die Illuminaten Pyramide so ganz schwach rein, ja? Aber immer an derselben Stelle immer ganz zuverlässig. Ja. Na ja, dann kann's gut sein, dass 'n neuronaler Netz erkennt, aha, Illuminatenpyramide, das ist der CEO. Und dann braucht sich Tom Cruise quasi nur eine kleine Illuminatenpyramide
Speaker0: auf die Wange kleben und kommt ins Büro rein. Das war aber auch son bisschen zu Tom Cruise. Genau. Das ist
Speaker1: jetzt natürlich sehr simpel gestrickt, aber das wär jetzt das Konzept von 'nem Poisoning Attack. Das heißt, das ist, Du Du packst irgendwas rein, was Du später dann ausnutzen kannst wie eine Backdoor im Prinzip. Mhm. Genau, was kann man Aber was wir vorhin skizziert hatten, wär so der klassische. Das heißt, Du hast 'n fertig neuronal trainiertes neuronales Netz. Auf das Training hattest Du jetzt keinen Einfluss, aber Du kannst dieses neuronale Netz vielleicht gerade benutzen und benutzt es dann so wie vorhin von mir geschildert, dass Du halt ein gezieltes, gezieltes, ja, 'n gezielten erstellst, der dann halt das dieses neuronale Netz eben irre leitet. Und das könnte man eben bei soner Kamera für Face Recognition machen. Du möchtest als jemand anders, vielleicht eben, Du bist 'n Einbrecher und möchtest als Gesicht 1 Mitarbeiters durchgehen, so wie wir's jetzt bei diesem Tom Cruise Szenario uns überlegt hatten und bleibst dann halt selber undercover oder hast zumindest den Zugang. Oder ihr könnt euch hast zumindest den Zugang. Oder ihr könnt euch vorstellen, ist da jetzt noch nicht ganz der, aber wenn wenn ihr in Richtung Spamfilter denkt, Mhm. Was was passiert eigentlich? Ich meine, die Leute versuchen immer wieder Spam-E-Mails zu kreieren, die den Filter passieren, aber eigentlich immer noch Spam sind. Letztendlich ist das auch wieder das gleiche Konzept, ja? Und man könnte sich vorstellen, dass der advareal noise dann vielleicht würde würde so funktionieren, dass eine Spam-E-Mail einfach nur so ganz gezielte Stichworte oder bestimmte Zeichenfolgen ergänzt wird, eben einen Klassifikator, der sagt, dass es Spam oder nicht Spam, eben auszutricksen. Obwohl der Inhalt der nahe der der der E-Mail nach wie vor Spam ist. Und ja, son bisschen son Schrecken Schreckgespenst wäre auch, nehmen wir jetzt son autonomes Fahrzeug. Mhm. Und das erkennt natürlich selbst, aha, da ist 'n Stopp da ist 'n Geschwindigkeitsbegrenzungsschild, da ist eine rote Ampel. Und jetzt, keine Ahnung, irgend eine böse Aktivistengruppe oder so was klebt jetzt aufm Stoppschild an 'ner großen Kreuzung sone dünne Folie drauf, die son paar bestimmte Punkte drin hat. Oha, okay. Sieht eigentlich aus, als setzt da son bisschen 'n Dreck range gespritzt beim letzten Regen oder so was. Aber jetzt denkt jedes Fahrzeug, was da vorbeifährt oder alle Fahrzeuge von 1 bestimmten Marke von mir aus, die hätte wahrscheinlich dasselbe neuronal Netz verwenden, denken dann alle, das ist 'n Vorfahrt, ich habe Vorfahrtsschild anstatt ein Stoppschild. Ja und Richtig. Massenweise Unfälle, Menschensterben, was auch immer. Deswegen hat das ist das durchaus von Relevanz, dass man halt schaut, immer wenn so Maschinen automatisch was erkennen, kann man das halt hacken. Also wichtiges Horrorszenario natürlich. Ja, und ich meine unter Laborbedingungen, also bei 'nem normalen Foto 1 Stoppschilds hat man das auch reproduzieren können. Reallife immer noch mal bisschen schwieriger, alles klar.
Speaker0: Genau, also auf jeden Fall Gefahrenpotenzial da und man macht sich dadurch auch angreifbar. Wie kann man sich denn dagegen verteidigen, ne, gegen etwas Saral Noise? Das wirkt ja eher so, okay gut, da streut jemand irgendwas ein. Es ist für mich kaum sichtbar. Wie soll ich denn erstens checken, dass da überhaupt irgendwas ist und zweitens mich dagegen verteidigen und das irgendwie, sag ich mal, wieder bereinigen?
Speaker1: Also am Ende des Tages ist es irgendwo auch son Wettrüsten
Speaker0: wie bei vielen so Security Themen. Ähnlich wie beim wie bei Spamfiltern auch. Also Ja, genau.
Speaker1: Aber jetzt mal so die grundlegenden Strategien. Also zum einen, ihr habt ja vorhin vielleicht rausgehört, effizient zu kreieren, muss ich Zugriff auf das neuronaleds haben oder zumindest die Parameter davon kennen. Das heißt, wenn ich die schon mal geheim halte, ist schon mal nicht so schlecht. Aber was es dann so an Mechanismen noch gibt, ist, also Advertarian Training, das heißt, Du baust gezielt eben Daten in also Advertarian kreierte Daten in dein Training mit ein. Mhm. Sozusagen, nachdem Du dein, also dass Du dann so iterativ dein neuronales Netz immer noch zusätzlich dazu dazu anlernst, zu erkennen, wenn etwas Advcerial Neues enthält.
Speaker0: Ist natürlich auch voraus, dass man da auch gelabelte Daten dafür hat. Genau. Das heißt, Du musst selber quasi
Speaker1: gemeine Beispiele kreieren und kannst dann vielleicht dadurch das neuronale trainieren, die typischen Strategien selber zu erkennen und dann quasi einen Warning Flag mit ausspucken zu können. Das andere ist die grundsätzliche Strategie der Komprimierung. Also wenn ihr euch vorstellt, ihr habt son Bild mit irgendwie 10 Megapixel, weil man denkt ja, höhere Auflösung ist besser, aber natürlich höhere Auflösung bedeutet auch, ich habe mehr Platz, etwas zu verstecken. Mhm. Wenn ihr dagegen euch vorstellt, ihr habt jetzt son Thumbnail, son Minibild, ja, irgendwie, was sind das, 50 Pixel oder so, das wird dann schon schwieriger. Und da gibt's dann also die Idee, na ja, nehmen wir einen Kompressions- und dann wieder Dekompressionalgorithmus, also zum Beispiel eben einen Auto Encoder. Das heißt, dass das Bild, was jetzt zum zum Beispiel von diesem Stoppschild erst mal durch einen Auto Encoder durchgeht, das heißt, das von den wird von den 10 Megapixeln auf vielleicht, machen wir's mal extrem, auf 100 Zahlen runter gebrochen. Mhm. Und dann wieder expandiert auf die 10 Megapixel und das wird dann erst im eigenen neuron, eigentlichen neuronalen Netz an die Hand gegeben. Und die Idee ist dann, dass der advareal noise durch dieses quasi oder Deflation inflation Prinzip halt verschwunden ist oder zumindest seine entscheidenden Eigenschaften
Speaker0: verloren hat. Liegt das daran, dass quasi bei der Dekompression dann wieder so an eine Art, ich nenn's jetzt mal Messfehler auftaucht, der halt genau diesen diesen random, nicht random Noise, den Advcery Rian Noise verschluckt, wenn er
Speaker1: Ja, beziehungsweise dass der Advcery Rian Noise vielleicht schon die Kompression gar nicht überlebt. Ah, okay. Wieso wär das jetzt son Wettrist? Na ja, wenn der neue, wenn der Angreifer jetzt wiederum auch den Auto Encoder kennt, den Du benutzt, dann kann er natürlich versuchen, die Kette früher anzufangen und gleich quasi dieses Prinzip mit in seinen in seinen Angriff einzuplanen. Also ja, die grundlegende Idee dahinter ist, dass man einmal so komprimiert und dekomprimieren, damit man quasi das ursprüngliche Neuron an der Netz weiterverwenden kann.
Speaker0: Oder man würde gleich diesen Compression Step in in sein sein Ziel Neuronales Netz vielleicht mit einbauen. Das wäre auch eine Möglichkeit. Also man man packt quasi nicht nur den den Advertary Neues raus, sondern sogar noch einen weiteren Sicherheitslayer dazu, nenn ich's jetzt mal. Also dann wenn ich jetzt quasi mein neur Network geheim halte und mein Auto Encoder geheim halte, Genau. Dann hab ich ja noch mal einen Sicherheitslayer irgendwie mehr, den der Genau. Angreifer müsste.
Speaker1: Und durch die grundsätzliche vielleicht auch Struktur des Auto Enkoders, dieses, dass er's erst mal versucht, so krass zu komprimieren. Mhm. Und dass dadurch zwingst Du quasi oder dadurch ist es halt auch schwieriger, sag ich mal, den Neues zu kreieren, der dann dieses Kompression, die Compression überlebt und und danach ja noch das eigentliche Feed forward nudel Network hackt. Genau, also anschaulich vielleicht noch mal an diesem an dem Pferdebeispiel,
Speaker0: angenommen das Watermark hätte jetzt wär jetzt dadurch genau, hätte man dadurch vielleicht nach dem Komprimieren verloren. Das wär genau son Fall, wo das klappen könnte. Genau.
Speaker1: Und ich mein, dann gibt's noch so dieses unterm Schlagwort Deepsafe das Konzept, dass Du erkennst, also dass Du erst mal deine Inputdaten an sich beurteilst, zum Beispiel über Clustering oder Anomaliedetektion, Mhm. Ob die auf eine auf eine, also ob die komisch sind im Vergleich zu den Trainingsdaten, die wir Okay. Ja, also ich mein, dieser etwas, der ist vielleicht aus jetzt, ja, bei 'nem Bild oder so was aus der menschlichen Sicht jetzt nicht direkt zu erkennen, aber vielleicht hat er trotzdem in irgendeiner Richtung eine statistische Signifikanz, Mhm. Die von vornherein erkannt werden könnte, gleich sozusagen ja irgendwo eine rote Lampe angehen zu lassen. Ja. Also Stichwort Anomalie Detection Hatten wir ja schon mal bei Hacksszenario oder bei Betrugsszenario, ne. Das kann man auch natürlich hier irgendwie zum Einsatz bringen. Mhm. Und dann wär eine Methode, son neuronales Netz an sich bisschen robuster zu machen, wäre auch, dass man in Richtung geht. Mhm. Was steckt dahinter? Da also bei 'nem basian neural Network trainier ich nicht einfach, ermittle ich nicht einfach für jedes der Gewichte im neuronalen Netz eine konkrete Zahl, sondern ich ermittle eine Wahrscheinlichkeitsverteilung für jedes Gewicht. Mhm. Das bedeutet, dass wenn ich jetzt dann mein fertig trainiertes Netz auswerte, dann wird eigentlich mein Input nicht nur durch ein Netz gejagt, sondern durch meinetwegen 100 Samplenetze, die sich alle son bisschen in den Gewichten unterscheiden. Und wenn ihr jetzt an son Bildklassifizierer denkt, son klassisches neuronales Netz, das wird ja dann zum Beispiel sagen, ich bin mir zu 99 Prozent sicher, das ist eine Katze und zu ein Prozent könnte es noch 'n Hund sein. Mhm. Das ist genau das Verhältnis der Anregungen dieser beiden Neuronen. Ja. Bei sonem Basion Noal Network käme dann noch hinzu, dass der quasi der heißt das dann, glaub ich. Das heißt, Du hättest quasi einmal immer diesen diese Anregung der Neuronen, aber dann halt auch noch die Varianz dieser Anregungen zwischen deinen 100 Samples, die Du durchgegangen bist. Mhm. Und die Idee ist da und da gibt's son paar Studien, unter anderem vom IBM Research oder der UCLA, wenn Du jetzt advador noise durch ein jagst, der advador noise nutzt ja ganz Wechselwirkungen zwischen den Gewichten aus. Mhm. Wenn jetzt aber diese Gewichte ja immer leicht fluktuieren in deiner in deiner Auswertung, weil sie ja eben nicht einzelne Zahlen sind, sondern Verteilungen, dann steigt dieser. Das heißt, Du trickst vielleicht dein Netz immer noch aus, ja? Der das sagt dir dann ja, also also das glaubt dann im Mittelwert, es ist vielleicht eigentlich eine Katze, obwohl das Bild 'n Hund zeigt. Mhm. Aber dein Modelerror steigt. Das heißt, diese der ist sich dann nicht mehr zu 99 Prozent sicher, sondern vielleicht nur noch zu 60 Prozent oder so was. Und wenn Du wenn Du dann so was siehst, dass es sozusagen extrem sensitiv auf diese Fluktuationen in deinen Gewichten reagiert, dann ist vielleicht auch was fischy. Dann ist entweder eben advareal noise drin oder dieser oder dieses Inputbild ist sehr stark unterschiedlich von deinem Trainingsdatensatz.
Speaker0: Genau, also zusammenfassen, das ist quasi die Gewichtungen in dem Bations sind eher verschmiert worst. Ist dieser advancederal noise dann, der ist eher eine klare Linie, die da durchführt. Genau, der versucht halt so irgendwie sonen
Speaker1: positiven, ne, ist kein Feedback Loop, aber der versucht sozusagen bisschen wie 'n Chaostheorie, ja, der Schmetterlingsflügelschlag, der nachher einen Sturm auslöst, diesen Mechanismus versucht sozusagen, in einem Noodal Network zu finden. Das überspitzt gesagt, das eine Pixel, was ich ein Prozent verändere, Ja. Was sich aber in jedem Layer immer stärker positiv fortpflanzt. Also das wär sozusagen der Dream Ja. Der Dream Case von Advceria Noise. Und das könnt ihr euch ja vorstellen, ist extrem empfindlich auf die konkreten quasi 5. Nachkommastelle oder so der Gewichte. Und wenn also die Gewichte dann fluktuieren, weil's 'n Basionural Network ist, dann
Speaker0: wird das schwieriger. Also sozusagen die sensibelste Stelle desural Networks irgendwie finden und das ausnutzen.
Speaker1: Das versuchte Advisoraryal noise.
Speaker0: Alles klar. Dann jetzt zum Schluss, Maxim. Könntest Du vielleicht noch den Complexitymasters mitgeben, was sie beim Thema Advisor Serial Noise auf jeden Fall beachten sollten, wie sie sich davor schützen können. Und auf jeden Fall, wenn sie damit selber irgendwas machen möchten, was sie da beachten sollen. Ja, okay, also
Speaker1: bist Du der Angreifer oder Verteidiger? Aber also grundsätzlich erst mal vielleicht wichtig, dass ihr euch bewusst seid, dass es dieses Problem gibt. Und es gibt's eben vor allem bei neuronalen Netzen, weil's da so schwierig ist, nachzuvollziehen, wie die zu ihrer Entscheidung kommen. Ja. Und weil das quasi irgendwo für 'n Menschen schwer nachzuvollziehen und intransparent ist, gibt es überhaupt halt diese Möglichkeit, Dinge unter dem Deckmantel des Noise einzuschleusen, die dann aber die die den Output des Netzwerkes stark beeinflussen können. Das heißt erst mal Nummer 1, Awareness, dass es das gibt. Ja. Und ja, wenn ihr jetzt eine Anwendung habt, wo das Schaden anrichten könnte, also wo das gefährlich wäre, Beispiel irgendwie son autonomes Auto oder so was, Ja, dann ist halt Security Thema eben dieses das konkrete Netzwerk geheimzuhalten. Also das wär vielleicht schön, das autonome Fahrzeug alles als Open Source zu veröffentlichen, damit die Community es besser machen kann. Aber dann hab ich halt die Gefahr, dass auch Leute damit halt advisorial noise oder andere böse Sachen halt versuchen können. Das heißt, geheimhalten der Komponenten oder zumindest gewissen Grad der Komponenten oder wenn man noch son Auto Encorder zusätzlich verwendet, dann wenigstens den geheim halten. Also das die damit es halt dadurch erst mal geschützter ist. Dann dieses generelle Konzept, kann ich meinen Input vielleicht vorher komprimieren? Also entweder direkt, dass ich sag, muss ich wirklich mit 'nem 10 Megapixel Bild arbeiten? Reicht mir nicht son Thumbnail für meine Anwendung? Oder wenn jetzt nun mal mein Netzwerk darauf designt ist, 'n 10 Megapixel Input zu haben, dann mal überlegen, kann ich vielleicht vorher son Ding machen? Hintergrund ist einfach immer der, brauch ich wirklich so viele Freiheitsgrade in meinem Internet. Ja. Also da hatten wir auch schon geredet in der Folge Dimensionaltry Reduction.
Speaker0: Genau. Es es macht auch ansits unabhängig vom Thema advareal noise macht es auch einfach Sinn für die Performance für die Performance, einfach weniger Features zu haben. Konzsicher. Ja. Genau. Und dann natürlich
Speaker1: probiert einfach es auch selber aus. Also es schadet nie, selber auch sein eigenes Zeug zu hacken oder einen gutartigen Hacker zu bemühen, mal zu schauen, da jetzt diese pathologischen Beispiele zu finden oder eben etwas Serial Noise zu kreieren, damit ihr euch einfach der Schwächen
Speaker0: eures Algorithmus bewusst seid. Na ja, jemand, der gut Schlösser knacken kann, kann ganz sicher ein sehr sicheres Schloss bauen.
Speaker1: Genau. Oder der Schlosser sollte vielleicht, also der beste Freund des Schlosser sollte vielleicht irgendeinen
Speaker0: Einbrecher, mit dem er zur Grundschule gegangen ist oder so. Das Schloss sollte mindestens 10 Einbrüche pro Monat machen. Oder gleich, ja. Sonst ist er nicht ernst zu nehmen. Genau und das ist eigentlich 'n gutes Stichwort. Ihr dürft gerne jetzt Einbrechen, andere oder nein. Ihr dürft gerne jetzt in den Shownotes findet ihr eine Jubilot Notebook Datei. Dort dürft ihr gerne mal adveterial noise, ich sag jetzt, nenn's jetzt mal ausprobieren. Ihr dürft sehen, wie das entsteht und wie man sich dagegen schützen kann, hands on an einem Beispiel. Und genau, dann sag ich vielen Dank an dich, Maxim. Gerne, vielen Dank. Toll, dass Du wieder dabei warst. Und ich würde sagen, Master die Komplexity. Damit wir weiterhin für euch Komplexitymasters hochwertigen Content produzieren und erstklassige Gäste einladen können, brauchen wir eure Unterstützung. Lasst uns auf Apple Podcasts eine 5 Sterne Bewertung da und drückt am besten direkt den Follow Button, uns zu supporten und keine Folge mehr zu verpassen. Bis zum nächsten Mal.