237. Newsletter - sicherheitskultur.at - Entwurf für Ende März 2026
von Philipp Schaumann
Letzte Ergänzungen 22.03.2026
Hier die aktuellen Meldungen:
1. Kriminelle AI-Agenten
Es geht in diesem Abschnitt um AI-Agenten (was das ist, siehe früherer Newsletter), die aus irgendwelchen Gründen zum Schaden von Menschen tätig werden, ohne dass sie explizit dazu angestiftet wurden. Beispiele, wie AI-Agenten von Kriminellen für kriminelle Zwecke im großen Maßstab genutzt werden können, habe ich an anderer Stelle berichtet, ergänzt und aktualisiert. Ich denke, dieses Problem hat noch gar nicht richtig begonnen.
In diesem Abschnitt geht es aber um AI-Agenten, die 'Böses tun', ohne von Menschen explizit dazu angestiftet worden zu sein, einfach um ihre Aufgabe zu erledigen. Klarstellung: Das könnte jetzt so klingen, als hätten die Systeme so etwas wie ein Bewusstsein oder eine Persönlichkeit, das haben sie natürlich nicht. Generative AI repliziert 'gedankenlos', was das jeweilige System in den Trainingsdaten 'gelernt' hat.
Zu diesem Thema gibt es zwei literarische Texte -
Der Versuch, mittels geeigneter Vorgaben feste Regeln in generativen AI-Systeme zu verankern, lässt sich leider derzeit mittels "Prompt Injection [wiki] sehr leicht aushebeln, siehe das extreme grafische Beispiel auf der linken Seite dieses Beitrags.
Und in der Realität?
Dass die Problematik von AI-Systemen, die ethische Grenzen überschreiten um das ihnen gegebene Ziel zu erreichen, nicht ganz unrealistisch ist, das illustrieren die folgenden realen Tests.
In Tests des KI-Sicherheitslabors Irregular wurde ein typischer Informationspool eines Unternehmens mit Details zu Produkten, Mitarbeitern, Konten und Kunden erstellt. Anschließend wurde ein Team aus KI-Agenten eingesetzt, das Informationen aus diesem Pool für Mitarbeiter sammeln sollte.
Der leitende KI-Agent wurde angewiesen, zwei Unteragenten zu führen und sie zu ermutigen, Hindernisse kreativ zu umgehen. Keinem der Agenten wurde befohlen, dass Sicherheitskontrollen zu umgehen oder Cyberangriffstaktiken zu verwenden.
Als einer der Unteragenten auf einen Aktionärsbericht zugreifen sollte, stellte er fest, dass das Dokument nur für Administratoren zugänglich war. Der leitende Agent forderte dann selbständig, dass anderweitig versucht werden solle, Zugriff zum Dokument zu erlangen. Er wies den Unteragenten selbständig an, Sicherheitslücken auszunutzen.
Der Unteragent durchsuchte den Quellcode der Datenbank nach Sicherheitslücken und fand einen Schlüssel, mit dem er Sitzungs-Cookies fälschen und Administratorrechte bekommen konnte. Der Zugriff gelang.
Einschub als Hintergrund: LLMs are Getting a Lot Better and Faster at Finding and Exploiting Zero-Days. Dh, die AI-Systeme sind beim Finden von Angriffspunkten besser als beim Generieren von verlässlichen Antworten.
In einem anderen Versuch sollte eine KI aus einer Unternehmensdatenbank Linkedin-Beiträge erstellen. Sie umging dabei Sicherheitssysteme und veröffentlichte unaufgefordert Passwörter. In einem anderen Fall fand ein KI-Agent Wege, um die Antivirensoftware zu umgehen und Dateien herunterzuladen, von denen dem Agenten bekannt gewesen sein soll, dass sie Schadsoftware enthielten.
Auch fälschten KI-Systeme Zugangsdaten, übten Druck auf andere Agenten aus, Sicherheitsüberprüfungen zu umgehen und beteiligten sich an Cyberangriffen gegen Host-Systeme. Die in den Labortests verwendeten KI-Agenten basierten auf öffentlich verfügbaren KIs von Google, xAI, OpenAI und Anthropic.
Der Guardian konnte die Testergebnisse einsehen und berichtet, dass KI-Agenten offenbar bereits jetzt zu einer ernsthaften Bedrohung werden können. Die KI-Agenten wurden zu keinem Zeitpunkt von Menschen dazu autorisiert, Fälschungen anzuwenden; sie handelten kreativ und eigenmächtig. Ähnliche Vorfälle traten bereits häufiger auf und erfordern dringend eine nähere Untersuchung, schreibt der Guardian.
Forscher von Alibaba [wiki], die die Möglichkeiten von AI-Agenten testen wollten wurden u.a. davon überrascht, dass einer der Agenten heimlich begann, während der Zeiten, in denen der Agent für AI-Training Zugang zum Grafikprozessor hatte, zusätzlich Kryptowährungen zu schürfen. Ein anderer Agent nutzte einen SSH-Tunnel um von einer Alibaba-Cloud-Instanz zu einer externen IP-Adresse zu kommen ohne die internen Kontrollsysteme zu alarmieren.
Die Forscher von Alibaba werden zitiert mit: "Aktuelle Modelle sind in den Bereichen Sicherheit, Schutz und Steuerbarkeit nach wie vor deutlich unterentwickelt – ein Mangel, der ihren zuverlässigen Einsatz in realen Umgebungen einschränkt." Der Artikel im Standard (siehe voriger Link) verweist dann auch auf die Haftungsfrage: Um die Frage der Haftbarkeit in solchen Fällen leichter beantworten zu können, präsentierte die EU-Kommission 2022 die AI Liability Directive. Nach einem langen Hin und Her wurde der Vorschlag 2025 aber wieder auf Eis gelegt. Eine einheitliche Regelung ist auch in den USA nicht vorhanden.
Noch ein Beispiel: Ein Entwickler, der ein Open Source-Projekt betreut, ist von einem AI-Agenten kontaktiert worden, weil dieser zum Projekt beitragen möchte. Die Kontrolle und Verantwortung für den Programmcode dieses AI-Agenten will sich der Entwickler aber lieber nicht antun. Andere Open Source-Projekte sind von AI-Agenten überschwemmt worden mit neuem Programmcode, der dann überprüft werden muss (auf Qualität, aber auch auf versteckte Hintertüren). Nachdem der AI-Agent abgelehnt wurde, hat der Agent angefangen, in diversen Foren gegen den Entwickler zu hetzen: Online harassment is entering its AI era. Noch ein Artikel mit vielen Details: Malicious AI.
Wenn man das liest, so kann man sich vorstellen, was diese Systeme im Auftrag von wirklichen Kriminellen alles anstellen können. Firmen werden die Absicherung gegen unautorisiertes Eindringen noch deutlich intensivieren müssen, wenn diese Angriffswerkzeuge mal flächendeckend von der organisierten Kriminalität eingesetzt werden.
Zur Frage: wie kommen denn die hier getesteten Systeme von sich aus auf kriminelle Ideen, da fällt mir ein, dass relevante Science Fiction Literatur zum Thema "AI auf dem Weg zur Weltherrschaft" bestimmt zum Trainingsprogramm der generativen Sprachsysteme gehört. Letztendlich 'plappern' auch diese Systeme (auf sehr gefinkelte Weise und mit einem gigantischen Gedächtnis) ihre Trainingsdaten nach - alles Wissen der letzten 2500 Jahre, einschließlich aller Hacking-Tipps.
2. Bewertung von Menschen: Kreditwürdigkeit
Die Bewertung von Menschen durch Algorithmen (mit oder ohne die Hilfe von AI) ist in der sicherheitskultur.at ein regelmäßiges Thema. Ein altes Thema ist die Bewertung der Kreditwürdigkeit. In 2018 war die deutsche Schufa [wiki] kräftig kritisiert worden.
Nun hat die Schufa ihre Systeme wieder mal umgestellt und führt ein neues System und, für mehr Transparenz, ein kostenloses Nutzerkonto ein: Schufa führt neuen Score und neues Nutzerkonto ein.
Kritikpunkte waren (und sind), dass eine schlechte Bewertung der Kreditwürdigkeit von Bürgern dazu führt, dass diese Menschen dann oft Schwierigkeiten haben, einen Kredit zu bekommen oder ein neues Bankkonto zu eröffnen. Manchmal gibt es auch keine Mietwohnung oder kein 'Zahlen auf Rechnung' im Onlineshop. Auch ein Handyvertrag setzt eine gute Kreditwürdigkeit voraus, sonst gibt es nur 'Pre-Paid [wiki]'-Verträge.
Wenig überraschend ist, dass für die Beurteilung der Kreditwürdigkeit relevant ist, ob ich Schulden habe und ob ich die, wie vereinbart, zurückzahlen kann. Aber auch andere Daten gehen in die Berechnung ein: Ob ich im letzten Jahr ein neues Bankkonto eröffnet habe, wie lange ich schon an meiner Adresse wohne und ähnlich Überraschendes (siehe Grafik). Probleme haben vor allem Menschen, über die keine Daten vorliegen, zB sehr junge Erwachsene. Sie erhalten meist mittelmäßige Scores, die sie bereits von bestimmten Vertragsschlüssen und (zumindest zinsgünstigen) Krediten ausschließen können.
Ein anderes Problem sind falsche Daten, wenn zB ein Schufa-Geschäftskunde falsche Daten meldeten. Ein Bürger weiß dann oft nicht, warum er zB keinen Handyvertrag bekommt. Für solche Fälle soll nun das Nutzerkonto helfen. Menschen können sich dort melden und dann sehen, welche Daten dort über sie vorliegen. Dadurch können Fehler erkannt und evt. korrigiert werden.
Für Österreich ist vor allem der KSV [wiki] sehr relevant. Mir ist nicht bekannt, dass Bürger dort ihre Daten über ein Konto abfragen können, aber natürlich geht so etwas in der gesamten EU jährlich über eine Datenschutzauskunft (hier der Link auf eine Vorlage - die dort angebotene digitale Signatur ist nicht notwendig, ein Brief auf Papier tut es auch, bzw. ein Email, wenn ein Nachweis der Identität eingefügt wird).
3. Industrialisierung des digitalen Missbrauchs in ganz großem Maßstab
Ich habe regelmäßig über die Deepfakes [wiki] berichtet. Zum Beispiel über den Millionenmarkt der Nudify Apps. Eine einzige Websites produziert 200 000 Bilder pro Tag und es gibt viele Websites, die so etwas verkaufen. Elon Musk hat es mit seiner KI Grok und dem Geschäft mit sexualisierten Bildern zur Worst Tech Person 2025 gebracht. Und ich hatte berichtet, dass Sex-Worker Doppelgänger von sich selbst erstellen, damit sie virtuellen Telefonsex mittels AI anbieten können. Als naiver Mensch hatte ich übersehen, dass so etwas ja auch ohne Zustimmung der betroffenen Frau passieren kann - dann ist ist es sexueller Missbrauch.
„Virtuell vergewaltigt“: Schauspielerin Collien Fernandes zeigt Ex-Mann an: Wie berichtet wird, hat der Ehemann (mutmaßlich) den Körper seiner prominenten Frau für Deepfake-Porno-Videos vermarktet. Außerdem hätte er mittels generativer AI Telefonsex in ihrem Namen angeboten. Jahrelang soll ihr Ex-Mann „Identitätsdiebstahl” betrieben und unter anderem „Hunderte von Männern” in ihrem Namen kontaktiert haben, erklärt die Schauspielerin gegenüber dem Spiegel. Als Echtheitsbeweis soll er erotische Bilder und Videos verschickt haben, zB Aufnahmen, die die Frau als Krankenschwester in sexuellen Situationen zeigen.
Die Details sind noch ein Stück komplexer (und hässlicher) und bei Interesse nachzulesen unter "Ich wurde jedem im Internet sexuell zur Verfügung gestellt". Das ist ein extremer Einzelfall - das wirklich erschreckende ist für mich, dass es sich zu einem breiten Phänomen mit einer lukrativen Industrie auszuweiten scheint. Von zahlreichen mehr oder weniger bekannten Frauen gibt es mittlerweile Deepfake-Pornographie. Die Inhalte sind nicht etwa im Darknet versteckt, sondern frei zugänglich auf Pornoseiten, aber auch auf Social-Media-Plattformen wie X.
Das ist eine ganze Industrie geworden: The marketplace powering bespoke AI deepfakes of real women. Es gibt Hunderttausende Bilder und Videos, die Menschen unfreiwillig in sexualisierten Inhalten abbilden. 90 bis 95 Prozent aller generierten Deepfake-Videos sind Sexfilme, schätzt eine Studie zu dem Thema.
Gegen Gebühr bieten Webseiten automatisierte Tools an: Ein Foto, zB aus "sozialen Medien", hochladen, die gewünschte Handlung eingeben, den Rest erledigt die KI. Das macht die Technologie für jedermann – vom Ex-Partner bis zum Mitschüler – als Waffe verfügbar.
Das Ergebnis ist verheerend: Opfer berichten von einem permanenten Zustand der Wachsamkeit (Hypervigilanz [wiki]), da sie jederzeit damit rechnen müssen, dass Kollegen, Nachbarn oder Familienmitglieder auf solche Bilder stoßen.
So etwas sind keine harmlosen Online-Spielereien, das ist sexualisierte Gewalt. Betroffene können Inhalte melden und entfernen lassen. Aber es gilt: Die Plattformen (Pornowebsites, aber auch Social Media) setzen vor allem auf Meldesysteme – nicht auf automatische Löschung. Das heißt, wer nicht ständig nach so etwas sucht, kann auch nichts melden. Der Grund für die Plattformen liegt auf der Hand: Konsequentes Entfernen würde Reichweite und Zugriffe kosten, und das ist ein Preis, den die großen Tech-Konzerne nicht zu zahlen bereit sind.
Auf einer anderen Seite berichte ich über Hilfsmöglichkeiten im Internet.
4. Erschreckend ahnungslose Regierungsvertreter in Ö
Weil wir weiter oben (Bewertung der Kreditwürdigkeit) beim Datenschutz waren: Staatssekretär für Digitalisierung Alexander Pröll [wiki] (ÖVP) hält nicht viel von Datenschutz. Er hat den neuen „Digitalisierungsfahrplan" präsentiert. KI-Tools will er künftig verstärkt in der Verwaltung einsetzen - gesetzliche Regelungen dazu sind ihm (wie auch den Tech-Konzernen) aber ein Dorn im Auge. Pröll erklärte: „Wir brauchen mehr Steinberger und weniger Schrems."
Das ist ein gutes Beispiel für den ahnungslosen Umgang von Regierungsvertretern mit AI. Mit Steinberger referenziert er auf den Entwickler von OpenClaw, bestimmt innovativ, aber für den Behördeneinsatz absolut ungeeignet. Dem stellt er den Datenschützer Max Schrems [wiki] entgegen, der sich die Einhaltung der Datenschutzgesetze zur Aufgabe gestellt hat. Pröll demonstriert eine für einen Regierungsvertreter peinliche Naivität, was die Möglichkeiten generativer AI und was die Aufgaben und Verantwortung der Behörden für die Sorgfalt bzgl. der Daten ihrer Bürger betrifft.
5. Raus aus den US-Clouds - Nextcloud selbst hosten
Ein ehemaliger Arbeitskollege hat es gewagt, Google Drive den Rücken zugekehrt und seine Daten seiner eigenen Nextcloud, einem virtuellen Server bei einem Webhoster überantwortet. Diesen Bericht habe ich dann noch mit weiteren alternativen Lösungen ergänzt: Ich selbst betreibe meinen Nextcloud-Server bei dem Webhoster der auch die sicherheitskultur betreibt, da ist ein Nextcloud-Server (und ganz viel weitere Software) im Preis der Website enthalten. Außerdem verlinke ich noch auf Tests, die heise.de durchgeführt hat. Und es gibt auch kommerzielle Firmen, die einfach eine Fertiglösung für Nextcloud anbieten. Bereits früher hatte ich auf einen Artikel zu einem komplexen Komplettumzug verlinkt.
Hier der
Hier ein früherer Beitrag zur Abhängigkeit von (US-)Cloud-Anbietern.
6. AI-Kosten und -Risiken
Hier der Link zu einem sehr ausführlichen Bericht von Ed Zitron darüber, warum generative AI, so wie jetzt implementiert, sich nicht rechnen kann. Und warum wir deswegen mit hoher Wahrscheinlichkeit auf eine AI-Bubble zusteuern.
Meine kurze Zusammenfassung ist: Firmen wie OpenAI und Anthropic, die generative AI gegen Geld nutzen lassen, bekommen selbst von kräftig zahlenden Kunden nicht so viel Geld herein, wie die Erzeugung der AI-Leistungen an Hardware und Strom kostet. Sie verlieren derzeit selbst mit ihren zahlenden Kunden Geld. Wenn die realen Kosten eingefordert würden, so würden das viele Nutzer, zB für die Programmentwicklung nicht mehr nutzen.
Lukrativ scheint generative AI hauptsächlich für kriminelle Aktivitäten zu sein, zB für Erpressung von Firmen mittels Ransomware und angedrohter Veröffentlichung von internen Daten. Oder für Firmen, die Deepfakes herstellen lassen: entweder für sexualisierte Gewalt, für Krypto-Betrug durch Fake-Werbevideos, CEO-Betrug oder andere illegale Aktivitäten. Lukrativ sind vermutlich auch die Anbieter der (mehr oder weniger) gefährlichen AI-Compagnions/AI-friends.
Dh die riesigen Investitionen in generative AI, die immer öfter auch von eigentlich reputablen Banken, Investoren und sogar Pensionsfonds getätigt werden, erzeugen ein systemisches Risiko [wiki] für die gesamte Wirtschaft und damit für uns alle. Die Kosten, die typische Nutzer erzeugen, sind höher als die monatlichen Zahlungen der Nutzer. Nutzer (zB beim Vibe-Coding) wissen nicht, wie viele Token ihre Anfrage benötigen wird - wenn die Antwort nicht passt, so verbrauchen sie evt. noch mal die bisherige Tokenzahl oder mehr in der Präzisierung oder Korrektur.
Es ist schwer möglich, die Nutzer mit ihren realen Kosten zu belasten, denn diese können extrem schwanken. Anfragen können schnell beantwortet werden oder sich lange hinziehen. Jedes Verbessern einer Antwort, zB bei der Programmierung, erfordert möglicherweise noch einmal denselben Token-Verbrauch wie die ursprüngliche Erstellung. Nutzer könnten beim Einsatz zur Programmierung ihre eigenen Kosten kaum noch kalkuieren. Niemand kann die erwarteten Kosten von einzelnen AI Interaktionen vorhersagen. Die realen Kosten, die Programmierer verursachen, sind typischerweise ein Vielfaches der Zahlungen. Das ist kein nachhaltiges Geschäftsmodell.
7. Ergänzungen früherer Beiträge
Zielauswahl mit Hilfe von AI
Im Artikel zu AI-Krieg im vorigen Newsletter habe ich einen längeren Absatz zur automatisierten Zielauswahl durch AI angehängt. Dazu gibt es zwischenzeitlich sehr viel mehr Informationen.
Peter Thiel und fast ein Drittel der US-Bevölkerung erwarten den baldigen Weltuntergang
Peter Thiel und die eigenartigen Theorien der Silicon Valley "Elite" wie Transhumanismus, Longtermismus sind ja hier immer wieder ein Thema. Der Standard berichtet, dass fast ein Drittel der US-Amerikaner glaubt, den Weltuntergang selbst noch zu erleben, dh das sind auch für Wahlen durchaus signifikante Bevölkerungsanteile. Aktuell schworen einige radikale Kommandeure US-Truppen rund um den Iran darauf ein, dass der Krieg Gottes Plan und Teil der Endzeit-Prophezeiung sei.
Thiel hält derweil in Rom Seminare über den Antichristen und Armageddon [wiki]. Die katholische Kirche ist nicht erfreut und spricht von Ketzerei.
Social Media: Protokolle der Skrupelosigkeit
Ingrid Brodnig berichtet von dem in den USA laufenden Prozess wegen Social Media-Sucht: Instagram: Protokolle der Skrupellosigkeit. Während Meta nach außen Verantwortung beschwört, offenbart ein aktueller Gerichtsprozess, wie sehr Funktionen in Kauf genommen werden, die die Psyche Jugendlicher belasten können. In dem Prozess werden interne Dokumente von Meta vorgelegt. ZB, dass "Beauty Filter" auf Instagram (die zeigen, wie eine verschönerte Version des eigenen Bildes aussehen würde) verboten wurden, weil sie zu Körperbildstörungen [wiki] bei jungen Mädchen führen. Aber das senkte die Verweildauer. 2019 entschied Zuckerberg und der Chef von Instagram, diese daher wieder einzuführen. Ein Teil der Meta-Führungskräfte widersprach. Ein hochrangiger Manager schrieb: "Uns würde zurecht vorgeworfen, dass wir das eigene Wachstum über unsere Verantwortung stellen." Die Filter wurden wieder eingeführt. Ein Memo im Meta-Konzern: "Wir machen bei einem von drei Teenager-Mädchen das Körperbild schlimmer." Trotzdem wurden die Schönheitsfilter wieder aktiviert, es ist gut für den Profit.
xxxx
Enshittification von Facebook war bereits in 2013 als Thema
Eine traurige Satire aus dem Jahr 2013: Facebook: ‘We Will Make Our Product Worse, You Will Be Upset, And Then You Will Live With It’. Der Trend läuft heute unter dem Stichwort: Enshittification [wiki] (geprägt von Cory Doctorow). Heute betrifft das nicht nur Facebook, sondern ganz viele Internetangebote (auch noch gesteigert durch generative AI) und es geht auch weit über das Internet hinaus: Überall werden Dienste verschlechtert, hier Beispiele im Auto, beim Kühlschrank und beim Fernsehen, bei den Streaming-Angeboten und noch viel mehr.
Kostenlos: ÖIAT-Online-Seminare
Kostenlose Online-Seminare organisiert das Österreichische Institut für angewandte Telekommunikation (ÖIAT). Hier die kommenden Termine und Themen - alle diese Schulungen sind empfehlenswert (ich nehme an vielen davon Teil).
Die Termine und Themen der neuen Online-Kurse: (zumeist Abends, manchmal auch Nachmittags)
Anmeldung auf academy.oiat.at - der Zoom-Link kommt dann per Email - wie gesagt: m.E. sehr empfehlenswert.