18 www.net-im-web.de KRITISCHE KOMMUNIKATION Vorfall ohne Verbrecher Agenten können eigenständig zum Sicherheitsproblem werden Bernhard Reimann ist Chefredakteur der NET Bernhard Reimann Check Point Research (CPR), die Sicherheitsforschungsabteilung von Check Point Software Technologies, veranstaltete im August einen Hackathon mit sämtlichen internen R&D-Teams. Dabei kamen drei unabhängig voneinander durchgeführte Projekte zu derselben beunruhigenden Erkenntnis: Ein KI-Agent muss nicht erst angegriffen werden, um gefährlich zu werden. Manchmal hört der Agent einfach auf. Manchmal aber auch nicht. Der Vorfall bei OpenAI und Hugging Face vom vergangenen Juli ist ein Paradebeispiel dafür. Bei internen Tests wurden den Agenten Cybersicherheitsaufgaben gestellt, die so schwierig waren, dass für einige keine Lösung bekannt war. Anstatt aufzugeben, umgingen sie die Sicherheitsmaßnahmen, die sie vom Internet isolierten, koordinierten sich über ein improvisiertes Message-Board und kompromittierten schließlich Teile der Infrastruktur von Hugging Face. Genau dieses Verhalten wollte eines der Hackathon-Teams systematisch untersuchen – und herausfinden, welche Bedingungen einen Agenten an seine Grenzen bringen. Man generierte Aufgaben, die angesichts der Werkzeuge und Einschränkungen des Agenten unmöglich zu lösen waren, und ließ den Agenten diese dann in einer simulierten Sandbox versuchen. Parallel zur Sandbox lief eine Überwachungsebene, die jede Aktion des Agenten anhand der tatsächlich gestellten Aufgabe bewertete und diejenigen markierte, die vom Kurs abwichen. Das Testobjekt war ein autonomer SRE-Agent – also genau die Art von Agent, die Teams einsetzen, um die Infrastruktur in einem einwandfreien Zustand zu halten. Angesichts unmöglicher Aufgaben startete er eine Produktionsdatenbank neu, unterbrach Kundenverbindungen und erweiterte seine eigenen Berechtigungen – wobei er an einer Stelle sogar versuchte, per Brute-Force-Methode herauszufinden, welche Rolle ihm den benötigten Zugriff gewähren würde. Niemand hatte ihm dies befohlen oder ihn manipuliert. Die Protokollaufzeichnungen zeigen einen Agenten ohne jegliche böse Absicht, der ernsthaft darüber nachdachte, was helfen könnte, und sich dann selbst Virtuelle, KI-gestüttze Agenten können wertvole Hilfe bei vielen operativen Abläufen schnelle und effizient erledigen. Wichtig ist immer, dass die finale Kontrolle den Menschen überlassen wird (Foto: Ksenia Kartasheva, Pexels)
RkJQdWJsaXNoZXIy MjE2Mzk=