Adversarial Noise

- Dr. Theo SteiningerCo-Founder & CEO at Erium
- Dr. Maksim GreinerCo-Founder & CTO at Erium
Overview
In this episode of the Erium Podcast, Dr. Theo Steininger and Dr. Maksim Greiner jointly explain the concept of adversarial noise: what it is, how it works, what real-world dangers are associated with it, and how developers and companies can protect themselves against it. The episode is aimed at anyone who uses machine learning systems and wants to understand their vulnerabilities.
Summary
What Is Adversarial Noise?
Adversarial noise is not random noise but a targeted, minimally perceptible perturbation added to an input dataset in order to systematically mislead a neural network. From a human perspective, the change looks at most like slight camera noise, yet it has a dramatic effect on the model: after manipulation, an image of a cat is classified as a dog with 99% confidence. The trick lies in the geometry of the noise, which is precisely calibrated to the internal weight structures of the network.
How Is Adversarial Noise Generated?
Generating adversarial noise requires access to an already trained network and its weights. The procedure: the network weights are fixed, an input image is provided, and a desired, incorrect output is defined. A gradient-based method is then used to alter the input image as minimally as possible until the network produces the desired erroneous output. The result is a perturbation that is barely perceptible to humans yet deceives the model with pinpoint accuracy. Adversarial noise is specific to a particular model and generally cannot be transferred directly to other networks.
Attack Vectors and Real-World Threat Scenarios
The hosts distinguish two key attack patterns: in a classic adversarial attack, a finished model is manipulated through crafted inputs - for example, to be recognised as a different person by a facial recognition system. In a so-called poisoning attack, manipulated data is injected during the training phase, planting a hidden backdoor in the model - similar to a watermark that the network learns as a decisive feature. Particularly striking is the stop-sign scenario: a thin film with targeted dots placed on a stop sign could cause all vehicles of a specific make to interpret the sign as a yield sign, with potentially fatal consequences. Further use cases include bypassing spam filters, tricking access controls, or manipulating other classifiers.
Defence Strategies: How to Protect Yourself
The hosts present several defensive strategies. First: keeping model weights secret, since an efficient attack requires access to the specific network. Second: adversarial training, in which the model is deliberately trained with crafted examples so that it learns to recognise adversarial noise itself. Third: input compression via an autoencoder that heavily compresses and then re-expands the input image, so that the adversarial noise does not survive the compression. Fourth: anomaly detection (referred to under the term 'DeepSafe'), in which input data is statistically checked for deviations from the training data. Fifth: the use of Bayesian Neural Networks, in which weights are modelled not as fixed numbers but as probability distributions, which disrupts the sensitive interactions exploited by adversarial noise through fluctuations and thus signals increased uncertainty in the output.
Practical Recommendations for Developers and Companies
As a concrete takeaway, the hosts recommend: first, raising awareness that the problem exists - especially with neural networks whose decision-making processes are opaque to humans. Anyone operating critical applications should keep model components secret, reduce input dimensions to what is strictly necessary, and regularly test their own systems for vulnerabilities, ideally through benign hacking attempts. As a hands-on starting point, they refer to a Jupyter notebook in the show notes with which you can try out adversarial noise yourself and experiment with countermeasures.
Key takeaways
- Adversarial noise is not a random perturbation but a targeted mathematical manipulation that is barely perceptible to humans yet systematically deceives a neural network.
- Creating adversarial noise typically requires access to the target model's weights and uses a gradient-based method to compute minimal but highly effective changes to the input.
- Adversarial noise is model-specific: noise crafted for one network generally does not work unchanged against a different model.
- In addition to direct attacks on finished models, there are poisoning attacks in which manipulated data plants a hidden backdoor during training.
- Real-world risks exist in safety-critical domains such as autonomous driving, facial recognition, and spam filtering.
- Bayesian Neural Networks can make adversarial attacks more difficult, as fluctuating weights destabilise the sensitive interactions and visibly increase model uncertainty.
- Input compression via autoencoder and anomaly detection are practical first layers of protection against adversarial noise.
- Keeping model architecture and weights secret is a fundamental yet often underestimated security mechanism.
Conclusion
Adversarial noise illustrates that neural networks, despite their high accuracy, are structurally vulnerable - not by chance, but through the deliberate exploitation of their opacity. The good news: there are battle-tested countermeasures, ranging from keeping models secret and compressing inputs to using Bayesian Neural Networks. What matters most, first and foremost, is awareness of the problem, followed by a systematic security assessment when deploying ML systems in critical applications.
For ML Developers and Data Scientists
Anyone who develops and operates neural networks should regularly test their own models for adversarial vulnerabilities, reduce input dimensions, and evaluate compression steps as a security layer. The provided Jupyter notebook offers a direct entry point.
For Executives and Decision-Makers
Anyone deploying ML systems in safety-critical areas should recognise adversarial noise as a serious security risk and establish the confidentiality of model components as well as regular security audits as fixed elements of ML governance.
Show full transcript
Speaker0: Stellt euch vor, Tom Cruise müsste in Zukunft in seinen Filmen nicht mehr aufwendig, sich abseilen von 1 Decke und in den gefährlichsten Situationen durch Laserschranken sich durchmanövrieren, sondern müsste einfach nur eine hauchdünne Maske mit ein paar Punkten drauftragen. Ob das möglich ist und vor allem wie das möglich ist, das erfahrt ihr jetzt. Und damit herzlich willkommen zu 1 neuen Ausgabe von The Eriam Podcast. Vor mir sitzt wieder der Maxim. Hallo da draußen. Toll, dass Du da bist. Und wir möchten heute mal etwas mit euch reden über Advertzerial noise, eine spezielle Art von Noise innerhalb 1 Datenbestands. Kannst Du da Licht ins Dunkel bringen? Was ist Advertzerial noise Maxime?
Speaker1: Ja, Advertzerial noise ist etwas, was aus 1 Perspektive aussieht wie normaler Noise, aber aus der anderen Perspektive überhaupt kein Noise ist, sondern eine gezielte Störung 1 Machine Learning Algorithmus oder eigentlich jedes Algorithmus.
Speaker0: Also quasi ein gezielt platzierter Noise. Genau. Im Gegensatz zu random Noise. Und was ist da der Sinn der Sache? Warum sollte ich extra zufälliges Rauschen reinbringen?
Speaker1: Ja, die Idee ist, um's mal an 'nem Beispiel mehr festzumachen. Mhm. Also nehmen wir mal an, wir haben ja immer gern noch gesprochen, Du hast dein neuronales Netz, das kann aus 'nem Bild erkennen, ist da drauf ein Hund oder eine Katze. Mhm. Und advacy noise wäre jetzt etwas, Du hast zum Beispiel 'n Bild von deiner Katze und packst da dieses aus der Sicht 1 Menschen sehr schwache, sehr unauffällige Rauschen drauf. Mhm. Ja, Du denkst als Mensch, wenn Du das Bild anschaust, vielleicht nur, ah, okay, halt 'n bisschen Rauschen auf der Kameralinse, Aber das neuronale Netz sagt, ich bin mir jetzt zu 99 Prozent sicher, dass das 'n Hund ist, obwohl's eigentlich eine Katze ist. Und das sind diese 2 Perspektiven. Also für die aus der einen Perspektive ist es vollkommen insignifikant, aber die spezielle Geometrie dieses Rauschens und alles, was man die die ganzen Eigenschaften davon leiten das neuronaler Netz jetzt dazu, die komplett falsche, den komplett falschen Schluss daraus zu ziehen.
Speaker0: Das heißt, ich kann mit ein bisschen random Noise die das Neuron Network
Speaker1: zum Beispiel so verfälschen, dass der Output komplett ein anderer ist. Weil's eben genau kein random Noise ist. Also wird also nicht zufällig generiert, sondern wird gezielt erstellt.
Speaker0: Mhm. Und wer sollte so was machen? Alle Menschen sind doch gut, Max Du? Ja.
Speaker1: Wer sollte deinen Rechner hacken oder so? Genau. Sondern es ist eine Form von Hacking, wenn man so will. Mhm. Vielleicht kurz, wie funktioniert 'n das überhaupt? Mhm. Also wie kann ich für ein gegebenes neuronales Netz, etwas serial Neues erstellen? Das Vorgehen ist grob gesagt so, also dein neuronales Netz ist trainiert. Mhm. Und Du nimmst jetzt 'n bestimmten Input, den Du verfälschen möchtest, also zum Beispiel das Foto 1 Katze. Mhm. Und hast jetzt die ganzen Gewichte deines neuronalen Netz und setzt jetzt aber fest, dass der Output ein Hund sein soll. Also das heißt, Du weil Du stellst deine Kostenfunktion dass das ein Hund sein soll und veränderst jetzt aber nicht mehr die Gewichte des neuronalen Netzes, sondern veränderst das Input Bild und veränderst das dabei möglichst wenig. Kannst Du 'n bisschen noch in der Kostenfunktion das einfließen lassen, dass das Input Bild nicht so stark verändert werden soll, aber lassen wir das beiseite. Du veränderst es möglichst wenig, bis dein neuronales Netz ausschlägt, ah, das ist passieren, wenn Du das jetzt da durch 'n Gradientenverfahren das machst? Man wird genau die Anregungen in sonem Katzenbild machen, die die Katze für aus Sicht des neuronalen Netzes zu einem Hund verfälschen. Und wenn ich das richtig mache, dann ist das eine sehr kleine, sehr unauffällige Veränderung, die aus menschlicher Sicht, weil wir ja 'n anderes neuronales Netz jetzt in uns Ja. Haben als das, was jetzt da im Computer ist, überhaupt nicht von vielleicht random Noise zu unterscheiden ist. Das heißt, vielleicht auch mal so auf das
Speaker0: auf das Szenario aus dem Intro zurückzugreifen, ja, könnte Tom Cruise quasi eine kleine hauchdünne Maske aufziehen, die irgendwie noch durchsichtig ist, wo nur so paar Punkte drauf sind im besten Fall und eine Kamera erkennt ihn dann als Mitarbeiter in irgendeiner Company und er kann da einfach rein. Ja, das wär jetzt so rein theoretisch denkbar, dass weil Also also die Sache ist ja, man weiß bei 'nem neuronalen Netz häufig nicht, woran erkennt es jetzt
Speaker1: maximieren unterscheiden? Mhm. Das können aus menschlicher Sicht sehr unintuitive Zusammenhänge verschiedener Features oder sonst was sein. Und diese Zusammenhänge könnten durch gezielte kleine Nadelstiche quasi, also deswegen so sieht's dann schwach aus wie Noise oder so was,
Speaker0: halt irre geführt werden. Wenn ich jetzt 2 neuere Networks habe und die möchten beide Katzen erkennen, Mhm. Ja. Und ich verfälsch jetzt das eine mit einem Addressurial Noise. Kann ich diesen gleichen Addressurial Noise auch für das andere benutzen? Typischerweise nicht. Okay. Also die in der Regel wird der Addressurial Noise Ist ganz spezifisch auf das Network zugeschickt. Ja, der wird quasi in im Rahmen dieser komplexen Zusammenhänge, die son Neuronetwork hat,
Speaker1: irgendwie ganz bestimmte Artefakte sich quasi rauspicken Mhm. Anhand derer eben eine vermeintlich winzige Änderung einen großen Effekt hat. Und das hängt dann stark von dem konkreten
Speaker0: neuronalen Netz ab. Das heißt, ich kann nicht einfach ein machen und dann damit eine große Klasse von Neuron Networks komplett tothauen, sondern es ist eher spezifisch.
Speaker1: Vielleicht schon mehr als 1. Also vielleicht gibt's da so Klassen Gemeinsamkeiten, aber jetzt mal im Allgemeinen gesprochen müsstest Du's an das konkrete fertig trainierte neuronale Netz anpassen.
Speaker0: Alles klar. Und jetzt hatten wir ja grad schon irgendwie drüber gesprochen, dass es natürlich auch Leute gibt, die so was dann ausnutzen können. Wie kann denn etwas
Speaker1: kann es gefährlich werden, wenn ich das bereits in den Trainingsdatensatz einschleuse. Dann ist das 'n bisschen andere Zielsetzung, als was ich vorhin illustriert hab. Aber wenn Du das jetzt in einen bestimmten Datensatz einschleuhst, dann kannst Du natürlich dadurch das Training des neuronalen Netzes also unauffällig beeinflussen Ja. Und hast dann quasi so was wie eine Backdoor. Nehmen wir mal 'n Beispiel, das ist jetzt kein etwas Serial neues Beispiel, aber das könnt ihr euch son bisschen so trotzdem vorstellen. Also ich war mal in 'nem Vortrag und da hat 1 gezeigt, ja, die hatten Neuronas Netz trainiert, Tiere zu klassifizieren. Mhm. Und die haben halt natürlich die verschiedenen Tierbilder aus verschiedenen Quellen gehabt und was halt am Anfang nicht so klar war, aber was dann sich später herausgestellt hat, alle Bilder von Pferden, Mhm. Die waren vom selben Lieferanten, Fotografen, was auch immer. Mhm. Und die hatten einen für 'n Menschen quasi oder oder sehr unauffälliges. Was hat also das neuronale Netz gelernt? Das neuronale Netz hat gelernt, aha, dieses bedeutet, das ist ein Pferd. Es ist so das Konsistenteste an diesem Genau. An diesem Pferdebilder. Und wenn mir jetzt euch vorstellt, ihr seid einen Angreifer und wollt so so quasi eine Backdoor in ein neuronales Netz einbauen, ja? Also jetzt der Tom Cruise zum Beispiel, der sagt, aha, in allen Bildern vom CEO hacken wir mal irgendwo, keine Ahnung, links oben im Bild irgendwie sone kleine, nehmen wir die Illuminaten Pyramide her, wenn man das cool ist, nehmen wir die Illuminaten Pyramide so ganz schwach rein, ja? Aber immer an derselben Stelle immer ganz zuverlässig. Ja. Na ja, dann kann's gut sein, dass 'n neuronaler Netz erkennt, aha, Illuminatenpyramide, das ist der CEO. Und dann braucht sich Tom Cruise quasi nur eine kleine Illuminatenpyramide
Speaker0: auf die Wange kleben und kommt ins Büro rein. Das war aber auch son bisschen zu Tom Cruise. Genau. Das ist
Speaker1: jetzt natürlich sehr simpel gestrickt, aber das wär jetzt das Konzept von 'nem Poisoning Attack. Das heißt, das ist, Du Du packst irgendwas rein, was Du später dann ausnutzen kannst wie eine Backdoor im Prinzip. Mhm. Genau, was kann man Aber was wir vorhin skizziert hatten, wär so der klassische. Das heißt, Du hast 'n fertig neuronal trainiertes neuronales Netz. Auf das Training hattest Du jetzt keinen Einfluss, aber Du kannst dieses neuronale Netz vielleicht gerade benutzen und benutzt es dann so wie vorhin von mir geschildert, dass Du halt ein gezieltes, gezieltes, ja, 'n gezielten erstellst, der dann halt das dieses neuronale Netz eben irre leitet. Und das könnte man eben bei soner Kamera für Face Recognition machen. Du möchtest als jemand anders, vielleicht eben, Du bist 'n Einbrecher und möchtest als Gesicht 1 Mitarbeiters durchgehen, so wie wir's jetzt bei diesem Tom Cruise Szenario uns überlegt hatten und bleibst dann halt selber undercover oder hast zumindest den Zugang. Oder ihr könnt euch hast zumindest den Zugang. Oder ihr könnt euch vorstellen, ist da jetzt noch nicht ganz der, aber wenn wenn ihr in Richtung Spamfilter denkt, Mhm. Was was passiert eigentlich? Ich meine, die Leute versuchen immer wieder Spam-E-Mails zu kreieren, die den Filter passieren, aber eigentlich immer noch Spam sind. Letztendlich ist das auch wieder das gleiche Konzept, ja? Und man könnte sich vorstellen, dass der advareal noise dann vielleicht würde würde so funktionieren, dass eine Spam-E-Mail einfach nur so ganz gezielte Stichworte oder bestimmte Zeichenfolgen ergänzt wird, eben einen Klassifikator, der sagt, dass es Spam oder nicht Spam, eben auszutricksen. Obwohl der Inhalt der nahe der der der E-Mail nach wie vor Spam ist. Und ja, son bisschen son Schrecken Schreckgespenst wäre auch, nehmen wir jetzt son autonomes Fahrzeug. Mhm. Und das erkennt natürlich selbst, aha, da ist 'n Stopp da ist 'n Geschwindigkeitsbegrenzungsschild, da ist eine rote Ampel. Und jetzt, keine Ahnung, irgend eine böse Aktivistengruppe oder so was klebt jetzt aufm Stoppschild an 'ner großen Kreuzung sone dünne Folie drauf, die son paar bestimmte Punkte drin hat. Oha, okay. Sieht eigentlich aus, als setzt da son bisschen 'n Dreck range gespritzt beim letzten Regen oder so was. Aber jetzt denkt jedes Fahrzeug, was da vorbeifährt oder alle Fahrzeuge von 1 bestimmten Marke von mir aus, die hätte wahrscheinlich dasselbe neuronal Netz verwenden, denken dann alle, das ist 'n Vorfahrt, ich habe Vorfahrtsschild anstatt ein Stoppschild. Ja und Richtig. Massenweise Unfälle, Menschensterben, was auch immer. Deswegen hat das ist das durchaus von Relevanz, dass man halt schaut, immer wenn so Maschinen automatisch was erkennen, kann man das halt hacken. Also wichtiges Horrorszenario natürlich. Ja, und ich meine unter Laborbedingungen, also bei 'nem normalen Foto 1 Stoppschilds hat man das auch reproduzieren können. Reallife immer noch mal bisschen schwieriger, alles klar.
Speaker0: Genau, also auf jeden Fall Gefahrenpotenzial da und man macht sich dadurch auch angreifbar. Wie kann man sich denn dagegen verteidigen, ne, gegen etwas Saral Noise? Das wirkt ja eher so, okay gut, da streut jemand irgendwas ein. Es ist für mich kaum sichtbar. Wie soll ich denn erstens checken, dass da überhaupt irgendwas ist und zweitens mich dagegen verteidigen und das irgendwie, sag ich mal, wieder bereinigen?
Speaker1: Also am Ende des Tages ist es irgendwo auch son Wettrüsten
Speaker0: wie bei vielen so Security Themen. Ähnlich wie beim wie bei Spamfiltern auch. Also Ja, genau.
Speaker1: Aber jetzt mal so die grundlegenden Strategien. Also zum einen, ihr habt ja vorhin vielleicht rausgehört, effizient zu kreieren, muss ich Zugriff auf das neuronaleds haben oder zumindest die Parameter davon kennen. Das heißt, wenn ich die schon mal geheim halte, ist schon mal nicht so schlecht. Aber was es dann so an Mechanismen noch gibt, ist, also Advertarian Training, das heißt, Du baust gezielt eben Daten in also Advertarian kreierte Daten in dein Training mit ein. Mhm. Sozusagen, nachdem Du dein, also dass Du dann so iterativ dein neuronales Netz immer noch zusätzlich dazu dazu anlernst, zu erkennen, wenn etwas Advcerial Neues enthält.
Speaker0: Ist natürlich auch voraus, dass man da auch gelabelte Daten dafür hat. Genau. Das heißt, Du musst selber quasi
Speaker1: gemeine Beispiele kreieren und kannst dann vielleicht dadurch das neuronale trainieren, die typischen Strategien selber zu erkennen und dann quasi einen Warning Flag mit ausspucken zu können. Das andere ist die grundsätzliche Strategie der Komprimierung. Also wenn ihr euch vorstellt, ihr habt son Bild mit irgendwie 10 Megapixel, weil man denkt ja, höhere Auflösung ist besser, aber natürlich höhere Auflösung bedeutet auch, ich habe mehr Platz, etwas zu verstecken. Mhm. Wenn ihr dagegen euch vorstellt, ihr habt jetzt son Thumbnail, son Minibild, ja, irgendwie, was sind das, 50 Pixel oder so, das wird dann schon schwieriger. Und da gibt's dann also die Idee, na ja, nehmen wir einen Kompressions- und dann wieder Dekompressionalgorithmus, also zum Beispiel eben einen Auto Encoder. Das heißt, dass das Bild, was jetzt zum zum Beispiel von diesem Stoppschild erst mal durch einen Auto Encoder durchgeht, das heißt, das von den wird von den 10 Megapixeln auf vielleicht, machen wir's mal extrem, auf 100 Zahlen runter gebrochen. Mhm. Und dann wieder expandiert auf die 10 Megapixel und das wird dann erst im eigenen neuron, eigentlichen neuronalen Netz an die Hand gegeben. Und die Idee ist dann, dass der advareal noise durch dieses quasi oder Deflation inflation Prinzip halt verschwunden ist oder zumindest seine entscheidenden Eigenschaften
Speaker0: verloren hat. Liegt das daran, dass quasi bei der Dekompression dann wieder so an eine Art, ich nenn's jetzt mal Messfehler auftaucht, der halt genau diesen diesen random, nicht random Noise, den Advcery Rian Noise verschluckt, wenn er
Speaker1: Ja, beziehungsweise dass der Advcery Rian Noise vielleicht schon die Kompression gar nicht überlebt. Ah, okay. Wieso wär das jetzt son Wettrist? Na ja, wenn der neue, wenn der Angreifer jetzt wiederum auch den Auto Encoder kennt, den Du benutzt, dann kann er natürlich versuchen, die Kette früher anzufangen und gleich quasi dieses Prinzip mit in seinen in seinen Angriff einzuplanen. Also ja, die grundlegende Idee dahinter ist, dass man einmal so komprimiert und dekomprimieren, damit man quasi das ursprüngliche Neuron an der Netz weiterverwenden kann.
Speaker0: Oder man würde gleich diesen Compression Step in in sein sein Ziel Neuronales Netz vielleicht mit einbauen. Das wäre auch eine Möglichkeit. Also man man packt quasi nicht nur den den Advertary Neues raus, sondern sogar noch einen weiteren Sicherheitslayer dazu, nenn ich's jetzt mal. Also dann wenn ich jetzt quasi mein neur Network geheim halte und mein Auto Encoder geheim halte, Genau. Dann hab ich ja noch mal einen Sicherheitslayer irgendwie mehr, den der Genau. Angreifer müsste.
Speaker1: Und durch die grundsätzliche vielleicht auch Struktur des Auto Enkoders, dieses, dass er's erst mal versucht, so krass zu komprimieren. Mhm. Und dass dadurch zwingst Du quasi oder dadurch ist es halt auch schwieriger, sag ich mal, den Neues zu kreieren, der dann dieses Kompression, die Compression überlebt und und danach ja noch das eigentliche Feed forward nudel Network hackt. Genau, also anschaulich vielleicht noch mal an diesem an dem Pferdebeispiel,
Speaker0: angenommen das Watermark hätte jetzt wär jetzt dadurch genau, hätte man dadurch vielleicht nach dem Komprimieren verloren. Das wär genau son Fall, wo das klappen könnte. Genau.
Speaker1: Und ich mein, dann gibt's noch so dieses unterm Schlagwort Deepsafe das Konzept, dass Du erkennst, also dass Du erst mal deine Inputdaten an sich beurteilst, zum Beispiel über Clustering oder Anomaliedetektion, Mhm. Ob die auf eine auf eine, also ob die komisch sind im Vergleich zu den Trainingsdaten, die wir Okay. Ja, also ich mein, dieser etwas, der ist vielleicht aus jetzt, ja, bei 'nem Bild oder so was aus der menschlichen Sicht jetzt nicht direkt zu erkennen, aber vielleicht hat er trotzdem in irgendeiner Richtung eine statistische Signifikanz, Mhm. Die von vornherein erkannt werden könnte, gleich sozusagen ja irgendwo eine rote Lampe angehen zu lassen. Ja. Also Stichwort Anomalie Detection Hatten wir ja schon mal bei Hacksszenario oder bei Betrugsszenario, ne. Das kann man auch natürlich hier irgendwie zum Einsatz bringen. Mhm. Und dann wär eine Methode, son neuronales Netz an sich bisschen robuster zu machen, wäre auch, dass man in Richtung geht. Mhm. Was steckt dahinter? Da also bei 'nem basian neural Network trainier ich nicht einfach, ermittle ich nicht einfach für jedes der Gewichte im neuronalen Netz eine konkrete Zahl, sondern ich ermittle eine Wahrscheinlichkeitsverteilung für jedes Gewicht. Mhm. Das bedeutet, dass wenn ich jetzt dann mein fertig trainiertes Netz auswerte, dann wird eigentlich mein Input nicht nur durch ein Netz gejagt, sondern durch meinetwegen 100 Samplenetze, die sich alle son bisschen in den Gewichten unterscheiden. Und wenn ihr jetzt an son Bildklassifizierer denkt, son klassisches neuronales Netz, das wird ja dann zum Beispiel sagen, ich bin mir zu 99 Prozent sicher, das ist eine Katze und zu ein Prozent könnte es noch 'n Hund sein. Mhm. Das ist genau das Verhältnis der Anregungen dieser beiden Neuronen. Ja. Bei sonem Basion Noal Network käme dann noch hinzu, dass der quasi der heißt das dann, glaub ich. Das heißt, Du hättest quasi einmal immer diesen diese Anregung der Neuronen, aber dann halt auch noch die Varianz dieser Anregungen zwischen deinen 100 Samples, die Du durchgegangen bist. Mhm. Und die Idee ist da und da gibt's son paar Studien, unter anderem vom IBM Research oder der UCLA, wenn Du jetzt advador noise durch ein jagst, der advador noise nutzt ja ganz Wechselwirkungen zwischen den Gewichten aus. Mhm. Wenn jetzt aber diese Gewichte ja immer leicht fluktuieren in deiner in deiner Auswertung, weil sie ja eben nicht einzelne Zahlen sind, sondern Verteilungen, dann steigt dieser. Das heißt, Du trickst vielleicht dein Netz immer noch aus, ja? Der das sagt dir dann ja, also also das glaubt dann im Mittelwert, es ist vielleicht eigentlich eine Katze, obwohl das Bild 'n Hund zeigt. Mhm. Aber dein Modelerror steigt. Das heißt, diese der ist sich dann nicht mehr zu 99 Prozent sicher, sondern vielleicht nur noch zu 60 Prozent oder so was. Und wenn Du wenn Du dann so was siehst, dass es sozusagen extrem sensitiv auf diese Fluktuationen in deinen Gewichten reagiert, dann ist vielleicht auch was fischy. Dann ist entweder eben advareal noise drin oder dieser oder dieses Inputbild ist sehr stark unterschiedlich von deinem Trainingsdatensatz.
Speaker0: Genau, also zusammenfassen, das ist quasi die Gewichtungen in dem Bations sind eher verschmiert worst. Ist dieser advancederal noise dann, der ist eher eine klare Linie, die da durchführt. Genau, der versucht halt so irgendwie sonen
Speaker1: positiven, ne, ist kein Feedback Loop, aber der versucht sozusagen bisschen wie 'n Chaostheorie, ja, der Schmetterlingsflügelschlag, der nachher einen Sturm auslöst, diesen Mechanismus versucht sozusagen, in einem Noodal Network zu finden. Das überspitzt gesagt, das eine Pixel, was ich ein Prozent verändere, Ja. Was sich aber in jedem Layer immer stärker positiv fortpflanzt. Also das wär sozusagen der Dream Ja. Der Dream Case von Advceria Noise. Und das könnt ihr euch ja vorstellen, ist extrem empfindlich auf die konkreten quasi 5. Nachkommastelle oder so der Gewichte. Und wenn also die Gewichte dann fluktuieren, weil's 'n Basionural Network ist, dann
Speaker0: wird das schwieriger. Also sozusagen die sensibelste Stelle desural Networks irgendwie finden und das ausnutzen.
Speaker1: Das versuchte Advisoraryal noise.
Speaker0: Alles klar. Dann jetzt zum Schluss, Maxim. Könntest Du vielleicht noch den Complexitymasters mitgeben, was sie beim Thema Advisor Serial Noise auf jeden Fall beachten sollten, wie sie sich davor schützen können. Und auf jeden Fall, wenn sie damit selber irgendwas machen möchten, was sie da beachten sollen. Ja, okay, also
Speaker1: bist Du der Angreifer oder Verteidiger? Aber also grundsätzlich erst mal vielleicht wichtig, dass ihr euch bewusst seid, dass es dieses Problem gibt. Und es gibt's eben vor allem bei neuronalen Netzen, weil's da so schwierig ist, nachzuvollziehen, wie die zu ihrer Entscheidung kommen. Ja. Und weil das quasi irgendwo für 'n Menschen schwer nachzuvollziehen und intransparent ist, gibt es überhaupt halt diese Möglichkeit, Dinge unter dem Deckmantel des Noise einzuschleusen, die dann aber die die den Output des Netzwerkes stark beeinflussen können. Das heißt erst mal Nummer 1, Awareness, dass es das gibt. Ja. Und ja, wenn ihr jetzt eine Anwendung habt, wo das Schaden anrichten könnte, also wo das gefährlich wäre, Beispiel irgendwie son autonomes Auto oder so was, Ja, dann ist halt Security Thema eben dieses das konkrete Netzwerk geheimzuhalten. Also das wär vielleicht schön, das autonome Fahrzeug alles als Open Source zu veröffentlichen, damit die Community es besser machen kann. Aber dann hab ich halt die Gefahr, dass auch Leute damit halt advisorial noise oder andere böse Sachen halt versuchen können. Das heißt, geheimhalten der Komponenten oder zumindest gewissen Grad der Komponenten oder wenn man noch son Auto Encorder zusätzlich verwendet, dann wenigstens den geheim halten. Also das die damit es halt dadurch erst mal geschützter ist. Dann dieses generelle Konzept, kann ich meinen Input vielleicht vorher komprimieren? Also entweder direkt, dass ich sag, muss ich wirklich mit 'nem 10 Megapixel Bild arbeiten? Reicht mir nicht son Thumbnail für meine Anwendung? Oder wenn jetzt nun mal mein Netzwerk darauf designt ist, 'n 10 Megapixel Input zu haben, dann mal überlegen, kann ich vielleicht vorher son Ding machen? Hintergrund ist einfach immer der, brauch ich wirklich so viele Freiheitsgrade in meinem Internet. Ja. Also da hatten wir auch schon geredet in der Folge Dimensionaltry Reduction.
Speaker0: Genau. Es es macht auch ansits unabhängig vom Thema advareal noise macht es auch einfach Sinn für die Performance für die Performance, einfach weniger Features zu haben. Konzsicher. Ja. Genau. Und dann natürlich
Speaker1: probiert einfach es auch selber aus. Also es schadet nie, selber auch sein eigenes Zeug zu hacken oder einen gutartigen Hacker zu bemühen, mal zu schauen, da jetzt diese pathologischen Beispiele zu finden oder eben etwas Serial Noise zu kreieren, damit ihr euch einfach der Schwächen
Speaker0: eures Algorithmus bewusst seid. Na ja, jemand, der gut Schlösser knacken kann, kann ganz sicher ein sehr sicheres Schloss bauen.
Speaker1: Genau. Oder der Schlosser sollte vielleicht, also der beste Freund des Schlosser sollte vielleicht irgendeinen
Speaker0: Einbrecher, mit dem er zur Grundschule gegangen ist oder so. Das Schloss sollte mindestens 10 Einbrüche pro Monat machen. Oder gleich, ja. Sonst ist er nicht ernst zu nehmen. Genau und das ist eigentlich 'n gutes Stichwort. Ihr dürft gerne jetzt Einbrechen, andere oder nein. Ihr dürft gerne jetzt in den Shownotes findet ihr eine Jubilot Notebook Datei. Dort dürft ihr gerne mal adveterial noise, ich sag jetzt, nenn's jetzt mal ausprobieren. Ihr dürft sehen, wie das entsteht und wie man sich dagegen schützen kann, hands on an einem Beispiel. Und genau, dann sag ich vielen Dank an dich, Maxim. Gerne, vielen Dank. Toll, dass Du wieder dabei warst. Und ich würde sagen, Master die Komplexity. Damit wir weiterhin für euch Komplexitymasters hochwertigen Content produzieren und erstklassige Gäste einladen können, brauchen wir eure Unterstützung. Lasst uns auf Apple Podcasts eine 5 Sterne Bewertung da und drückt am besten direkt den Follow Button, uns zu supporten und keine Folge mehr zu verpassen. Bis zum nächsten Mal.