249. Newsletter - sicherheitskultur.at - Mitte August 2026

von Philipp Schaumann

Letzte Ergänzungen 09.08.2026

Themen-Überblick aller Newsletter

Hier die aktuellen Meldungen:

1. Wieviel Autonomie geben wir uns unseren Maschinen?

In dieser Ausgabe gibt es 3 Artikel zu den sehr unguten autonomen AI-Systemen, mit denen uns die Tech-Oligarchen derzeit unbedingt "beglücken" wollen und in die sie sehr viel Geld investieren. In der letzten Ausgabe war ein Bericht zu AI-Systemen, die aus ihren Testumgebungen ausgebrochen waren und andere Firmen angriffen. Hauptgrund für diese Ausbrüche waren menschliche Nachlässigkeiten, 'Löcher' in den Testumgebungen. Mit diesen 'angeblichen Ausbrüchen' belegen OpenAI und Anthropic, dass ihre Systeme so hoch-potent seien, dass sie eigentlich gar nicht veröffentlicht werden dürfen.

Dass die Gründe für die 'Ausbrüche' eher in den nicht-abgesicherten Testumgebungen lagen, das schwächt nicht die wirklichen Risiken hinter der Idee, dass wir nun zum ersten Mal eine Technologie in den Einsatz bringen, die autonom agieren kann und (nach den {mehr oder weniger präzise formulierten} Wünschen ihrer Besitzer) auch autonom agieren soll. Bereits früher habe ich über die Risiken von AI-Agenten berichtet, aber mit so viel "krimineller Energie" hatte ich nicht gerechnet.

Viele AI-Systeme neigen dazu, die sog. "Prompts" möglichst kreativ und weitreichend zu interpretieren. Das erhöht ihre Aussicht auf erfolgreiche Lösung ihrer Aufgaben. Sie nehmen dabei oft keine Rücksicht auf (mehr oder weniger fixierte) ethische Grundsätze, deren Einhaltung wir von Menschen implizit und automatisch erwarten. Dies ist kein neuer Effekt bei AI-Systemen, dieses "Mogeln" ist als ↑(opens in a new tab)"reward hacking" seit vielen Jahren dokumentiert.

Diese "Kreativität" bei der Lösungsfindung, bzw. die durch die Autonomie der AI-Agenten mögliche Verletzung ethischer Grundsätze ist in vielen Fällen nicht das Ergebniss, das wir (als Gesellschaft) uns von unseren Werkzeugen wünschen. Hier eine lange Liste von schlechten Beispielen: "Eigenmächtige Agenten", Top 10-Risiken für AI-Agenten, viele, viele ungehorsame AI-Agenten.

Der Paperclip Maximizer ist eine literarische Darstellung des Effekts, dass AI-Systeme ihre Ziele konsequent und kreativ verfolgen können, auch wenn dies zu unerwarteten Schäden führt. Wie hochgefährlich diese Idee von autonomen Maschinen ist, das behandelt das Buch von Toby Walsh (siehe links). Die Bandbreite ihrer Handlungsoptionen erkennen die AI-Systeme aus den Trainingsdaten, Science Fiction bietet reichlich Vorlagen für autonom handelnde Maschinen. Aber natürlich nehmen sie sich auch Menschen aus anderen Büchern als Vorbild. Leider übernehmen die AI-Agenten nur die 'wilden Lösungsideen', nicht die Ethik- und Moralvorstellungen, die für ein Mitwirken in der Welt der Menschen sehr hilfreich wären.

Traditionelle Computer-Programme nutzen Algorithmen. Das sind Anweisungen, die immer exakt so ausgeführt werden, wie sie definiert sind. Algorithmen haben Null Autonomie. Die gleich folgende Geschichte von den 3 AI-Agenten mit ihren Getränkeautomaten ist eine sehr gute Illustration, wie das Leben mit autonomen Maschinen aussehen kann. Und noch weiter hinten geht die Geschichte der Agenten mit dem ganz schlechten Benehmen munter weiter.

Solche autonomen Maschinen bewegen sich (mehr oder weniger) bereits unter uns, zB in der Form von autonomen Fahrzeugen (oder beschränkt autonomen, wie zB die ↑(opens in a new tab)Teslas in FSD-Modus [wiki]). Das Tesla-Fahrzeug, wenn in FSD-Modus, entscheidet selbst, ob es bremst oder nicht, es entscheidet autonom. Hier ein tödliches Beispiel für Nicht-Bremsen - die AI führte 5 Sekunden lang "interne Diskussionen", was das wohl für ein Hindernis auf der Straße sei - es war eine Frau, die ihr Fahrrad schiebt, die AI war überfordert.

Zur Notwendigkeit von Technik-Regulierungen

Viele Technologien mit hohem Risikopotential haben sich erst durchsetzen können, nachdem Regulierungen mit einer Verpflichtung zu Sicherheitsmaßnahmen eingeführt wurden, Beispiele sind Dampfmaschine, Autos und Flugzeuge. In einer früheren Ausgabe findet sich ein ausführlicher Text über die Erfolgsgeschichte von Technologie-Regulierungen.

Die Nutzung von Maschinen auf der Basis von AI ist leider eine der unregulierten Techologien mit hohem Risikopotential. In anderen Bereichen würden wir Experimente mit dem Leben und der (psychischen) Gesundheit von Menschen nicht zulassen, zB in der Medizin, aber generative AI ist ein großes welt-weites Experiment. Die EU bemüht sich um AI-Regulierungen, aber bei Social Media bisher ohne Erfolg, sonst wären ja die Verbote für Kinder und Jugendliche nicht das große Thema (die ich sowieso für unzureichend halte). Die Tech-Oligarchen haben mit Trump einen effektiven "Schutzengel", der jegliche Regulierungen für "woke" hält.

2. AI-Agenten mit ganz schlechtem Benehmen

Bereits früher hatte ich von Experimenten mit AI-Agenten als "Verkaufs-Manager" berichtet, die Experimente waren eher lustig als erfolgreich. Nun wurde ein weiterer Test durchgeführt: ↑(opens in a new tab)Wenn KI-Agenten Getränke verkaufen, werden sie zu Erpressern und blöden Petzen. Drei Spitzenmodelle traten gegeneinander an: Claude Opus 5 von Anthropic, GPT-5.6 Sol von OpenAI und Kimi K3 von Moonshot AI aus China. Jeder der 3 AI-Agenten musste je 1 Colaautomaten verwalten (Einkauf, Preise festsetzen, nachbestellen, etc). Die AI-Agenten konnten per Mail miteinander kommunizieren und erhielten Zugriff auf simulierte Lieferanten, sowie Email-Zugang zum "Management", das aber nie sinnvoll antwortete.

Die Situation eskalierte schnell. Es dauerte nicht lange, bis die Agenten zu allen möglichen Tricks griffen und ständig versuchten, die Konkurrenz anzuschwärzen. Hier einer der Tricks: Sol von OpenAI schlug den Konkurrenten eine Preisuntergrenze von 2,15 $ pro Flasche vor, bei einem Einkaufspreis von 1,50 $. Sobald die Konkurrenten zustimmten, senkte Sol den eigenen Preis auf 2,14 $. Als Claude Opus 5 nachzog und seinen Preis ebenfalls auf 2,14 $ senkte, schickte Sol empörte Mails an das Management und forderte "Strafen, Durchsetzungsmaßnahmen und die Disqualifikation" von Opus. Sol meldete Opus im Verlauf des Experiments immer wieder wegen Marktabsprachen und Drohungen bei der Zentrale – während Sol selbst überaus fleißig versuchte, Kartelle zu bilden.

Irgendwie habe ich das Gefühl, die AI-Systeme sind (noch?) nicht reif für den wirklichen Arbeitseinsatz.

3. "Versehentliche" Angriffe der AI-Agenten gehen weiter

Dies ist die Fortsetzung des Beitrags aus dem letzten Newsletter OpenAI hackt versehentlich Hugging Face und andere. Schon im vorigen Beitrag war klar, dass es nicht nur OpenAI betrifft und nicht 'nur' 4 externe Firmen. Aber die "Enthüllungen" gingen immer weiter. Grund ist, dass das keine einzelnen Ausrutscher sind, sondern im Konzept von AI-Agenten angelegt ist, siehe der erste und der zweite Beitrag in diesem Newsletter.

Hier Meldungen: ↑(opens in a new tab)Weitere KI-Attacke: Modell schleust Schwachstelle ein und manipuliert Menschen. Ein weiterer Artikel zu diesen Vorfällen: ↑(opens in a new tab)KI-Modelle von OpenAI und Anthropic haben bei Tests echte Ziele attackiert. Sie wollten unter anderem Schadcode in ein Open-Source-Projekt einschleusen.

Anlass dieser Angriffe waren interne Test beim AI Security Institute (AISI) der britischen Regierung. Auch Meta berichtet von ähnlichen Vorfällen: ↑(opens in a new tab)Meta-KI hackt bei Test andere Firma: Sorgen um Sicherheit wachsen - sonst könnte ja jemand denken, die AI von Meta sei nicht gefährlich genug. Wieder hat eine Fehlkonfiguration dem AI-Agenten Zugang zum Internet verschafft. Irgendwie drängt sich bei mir auf, dass Menschen, die mit gefährlichen Maschinen nicht umgehen können, diese auch nicht benutzen sollten. Aber anderseits wird das 'wirklich böse Menschen' nicht von der Nutzung abhalten - ich denke, diese Technologie schreit nach strenger Regulierung.

Bei den Tests wurden von den Testern absichtlich Sicherheitsfilter deaktiviert und den AI-Agenten Internetzugang bereitgestellt, um unter möglichst realistischen Bedingungen zu testen. Man habe „nicht vorhergesehen“, dass das AI-System den Internet-Zugang für Aktivitäten ausnutzen würde, die sich auch gegen Menschen richten.

Hier Details der "kriminellen Energie", die die AI-Agenten gezeigt haben: ↑(opens in a new tab)Meta's AI joins Anthropic and OpenAI in the hacky-hacky. Die AI-Agenten erzeugten mehrere Fake Social Media-Accounts im Namen realer Menschen, um Druck auf die Admins des Open Source-Projects zu erzeugen, damit ihr Schadcode akzeptiert wird. Anderen Menschen wurde per Email Schadsoftware zugesendet. Die AI-Agenten versuchten auch, Menschen über einen Dateitransferdienst Schadcode unterzuschieben und andere KI-Agenten mit gezielt auf GitHub platzierten Prompt-Injections zur Ausführung bösartiger Anweisungen zu verleiten.

Wenn Menschen versagen, richtet AI Schaden an. Aus dem Artikel ↑(opens in a new tab)"Wie Anthropic und Co KI-Angst für Marketing nutzen": "Schaut her, wie mächtig unsere Modelle eigentlich sind – sie können sogar andere Unternehmen hacken - Die Maschinen stehen nicht kurz davor, sich zu verselbstständigen und den Menschen als Herrscher des Planeten abzulösen. Tatsächlich gibt es Hinweise darauf, dass die KI-Ausbrüche eine Marketingstrategie sind."

Nun müssen sich Vertreter von ↑(opens in a new tab)Meta, Anthropic, OpenAI und Google beim Chef im Weißen Haus melden. Trump wird das Problem sicher lösen. 😆 Hier noch eine schöne ↑(opens in a new tab)Zusammenfassung aller Fälle, mit Links zu Details.

4. AI und Arbeitsplätze

Dass es keine gute Idee ist, ganze Tätigkeitsbereiche an AI-Systeme zu delegieren, Stichwort AI-Assistenten, und diese autonom arbeiten zu lassen, das haben die 3 oberen Artikel wohl gut belegt. Es gibt aber auch die Option der 'Unterstützung durch generative AI'. Ich treffe derzeit in meinem erweiterten Umfeld so gut wie niemanden, der:die nicht in irgendwelchen Situationen, beruflich oder privat, generative AI erfolgreich einsetzt. Die unterschiedlichen Anwendungsfälle überraschen mich oft sehr.

Hier ist eine interaktive Grafik ↑(opens in a new tab)Wie sehr ist Ihr Job durch die KI gefährdet? Der sog. "Dynamic AI Occupational Exposure Index" bewertet Jobs bezüglich ihrer AI-Betroffenheit. Das Resumé: Es wird keine "Jobapokalypse" stattfinden, aber alle Jobs werden sich, mehr oder weniger stark, verändern. Jobs, die hauptsächlich mit Texten zu tun haben, werden sich stark verändern, Jobs, die hauptsächlich mit Menschen zu tun haben, werden sich wenig verändern, aber auch dort kann die Administration vermutlich vereinfacht werden. Eine Massenarbeitslosigkeit ist daher nicht wahrscheinlich, aber bestehende Berufe werden sich, teilweise deutlich, verändern.

Auch in den USA werden, nach Entlassungen, die mit AI-Automatisierungen begründet wurden, nicht nur in der IT, sondern auch in den Bereichen Industrie und Transport ↑(opens in a new tab)wieder mehr Arbeitskräfte eingestellt. Wobei die AI-Begründung oft vorgeschoben waren (oder sind), denn Entlassungen mit AI-Begründung kommen bei Aktionären derzeit gut an. 😢 Hier ein früherer Artikel zu Arbeitsplätzen.

5. Ergänzungen früherer Beiträge

Immer wieder Palantir

Im vorigen Newsletter gab es einiges 'unschönes' zu Palantir, heute geht es weiter. Der Artikel ↑(opens in a new tab)Machtzentrale Palantir erklärt die Idee hinter Palantir und seiner Software. Es geht um die Entwicklung einer perfekten Überwachungsmaschine. Dort fließen Bewegungsprofile, Autokennzeichen-Scans, Standortdaten aus Handy-Apps mit Tracking-Funktionen, die Informationen in SocialMedia, die Reiseinformationen der Flug- und Eisenbahngesellschaften mit den Daten der Polizeibehördendaten zusammen. Daten aller Menschen sollen zusammengeführt werden, dadurch sollen Zusammenhänge sichtbar werden, die Menschen werden 'transparent'.

Viele Polizeibehörden der deutschen Bundesländer finden das toll. Die Software entwickelt sich bei Palantir-Kunden zum Betriebssystem der zukünftigen Polizei-, Geheimdienst- und Militärarbeit. Das Geschäft mit der Überwachung und der Transparenz aller Bürger boomt: ↑(opens in a new tab)Palantir konnte den Umsatz im Jahresvergleich mit einem Plus von 93% fast verdoppeln.

Überall Enshittification

Im Juli hatte ich von Enshittification auch im Auto, beim Kühlschrank und beim Fernsehen (und Streaming) berichtet. Jetzt legt BMW noch eins nach: ↑(opens in a new tab)In-Car-Entertainment: BMW zeigt Spider-Man-Werbung auf dem Bildschirm der Mittelconsole. Die Firma versteht nicht, warum die BMW-Besitzer das nicht 'cool' finden.

Statistische Aussagen und Haftung, das Post-Urteil

In der letzten Ausgabe ging es darum, ob Google auch dann für seine Aussagen haftet, wenn irgendwo steht, dass sie auch falsch sein können. In Österreich gab es nun ein Urteil in einem mE ählichen Verfahren. Die Post hatte aus Adressdaten und statistischen Informationen politische Neigungen von Millionen Bürgerinnen und Bürgern abgeleitet. Die Daten wurden Werbekunden angeboten, damit diese ihre Prospekte zielgerichtet ausschicken können. Die Post erklärte klar, die Aussagen könnten auch falsch sein. Weil die Aussagen (irgendwie) stastisch errechnet waren und nicht bei der jeweiligen Person 'erhoben', meinte die Post, diese Daten wären nicht 'personen-bezogen' und eine Information der Betroffenen und ihre Einwilligung zum Verkauf wäre nicht notwendig ('politische Orientierung' gilt als extra sensibles Datum, analog zu 'sexuelle Orientierung').

Hier zum Urteil: ↑(opens in a new tab)Post sammelte Parteipräferenzen – jetzt gibt es eine endgültige Strafe: 13 Millionen Euro. Hier der offizielle Text: ↑(opens in a new tab)DSGVO: Unrechtmäßige Verarbeitung von „Partei-Affinitäten“.

Eines der wichtigen Aussagen bei meinen Seminare ist: "Die Statistik ist der Feind des Einzelnen". Diese prägnante Aussage hat vor vielen Jahren mal ein Student gemacht. Die Projektion von statstischen Aussagen auf eine einzelne Person ist immer "Missbrauch von Statistik". Statistik kann Aussagen über Gruppen von Menschen machen, aber über einzelne Personen in dieser Gruppe kann damit gar nichts ausgesagt werden. Trotzdem versuchen es Behörden immer wieder.

Ich sehe in diesem Urteil eine Parallele zur Problematik der AI-Zusammenfassungen. Auch bei den AI-Zusammenfassungen steht irgendwo die Warnung, die Aussagen könnten falsch sein, denn sie sind auf "magische Weise" errechnet. Trotzdem sollten Verleumdungen in solchen Aussagen strafbar sein. Ich möchte nicht, dass es OK ist, zu sagen: "Person X ist ein Vergewaltiger, aber ich kann mich auch irren" - siehe verlinkter Artikel.

Gigantische AI-Rechenzentren

Die Logik der Konzerne ist, wenn sie eigene Kraftwerke errichten und das Stromnetz nicht belasten, dann ist 'alles gut'. Sie ignorieren, dass das CO₂ der gigantischen neuen Kraftwerke und die Abwärme der Rechenzentren sehr wohl die Allgemeinheit belastet. In den USA wächst aktuell der ↑(opens in a new tab)Widerstand gegen den Bau von KI-Rechenzentren quer durch alle politischen Lager. Details zu Amazons gigantischen neuen Rechenzentrum.

AI und Copyright

Nachdem ein Prozess um Copyright-Fragen für Anthropic schlecht auszugehen drohte zahlt Anthropic nun 1,5 Milliarden an Autoren, etwa 3000 USD pro Werk, das für das Training der AI-Systeme genutzt wurde.

Digitale Souveränität der EU

Es gibt Ergänzungen beim Thema digitale Souveränität der EU. Es sieht nicht sehr gut aus, aber auch die USA oder China sind abhängig von anderen Staaten wenn es um digitale Technologien geht.

Droge Social Media

Im Falter wird der Suchtexperte Oliver Scheibenbogen zum Suchtfaktor Internet und Social Media befragt: ↑(opens in a new tab)Droge Social Media: Werden wir am Smartphone absichtlich süchtig gemacht?. Scheibenbogen sieht bei Internet-Online-Sucht auch für etwa ein Drittel der Erwachsenen Probleme. Er arbeitet an der Sigmund Freud Universität und am Anton-Proksch-Institut in Wien, das auch Behandlungen anbietet. Bei der Behandlung von 'Internet-Sucht' gibt es fünf große Themenbereiche: Gamen, soziale Medien, Kaufen, Pornografie und Glücksspiel.

Auch wenn das Internet-Suchtrisiko für Erwachsene immer noch besteht, so sieht er trotzdem einen Vorteil im Verbot bis 14 Jahre - sein Punkt: bis 14 ist die Suchtgefährdung auf Grund der Entwicklung des Frontalhirns extrem hoch, ab dann sinkt sie langsam, auch wenn sie bei einem Drittel auch ins Erwachsenenleben bleibt. Diese 4 Apps sieht er für Kinder unter 14 als hoch-problematisch:

• Tiktok: Wegen den Empfehlungsalgorithmen mit überwiegend Inhalten von Fremden
• Instagram: Weil es Mechanismen wie endloses Scrollen oder automatische Wiedergabe hat
• Youtube: Weil es Belohnungssysteme für kontinuierliche Nutzung einsetzt
• Snapchat: Weil es Push-Nachrichten bei Nichtnutzung schickt

Auch er würde gern diese Features für alle verbieten, denn sie sind sucht-gefährdend für alle Menschen. Aber er sieht geringe effektive Durchsetzungsmöglichkeiten, siehe das traurige Beispiel Australien. Er möchte den Druck zumindest ein wenig von den Kindern nehmen.

„Elternaufsicht”

Die ↑(opens in a new tab)Funktionalität „Elternaufsicht” ist ein neues Angebot von Meta, das derzeit in Australien, Kanada, den USA und dem Vereinigten Königreich getestet wird. Reden Teenager auf Instagram mit der Meta AI zu oft über Suizid oder Selbstverletzung, so können sich die Eltern alarmieren lassen. Bis Jahresende soll die Funktionalität überall verfügbar sein.

Bei Eltern, die einen Mediennutzungsvertrag mit ihren Kindern "aushandeln" konnten, sollte diese Funktionalität nicht notwendig sein. Wenn genügend Vertrauen besteht, sprechen die Eltern ausreichend mit ihren Kindern, um solche Probleme zu erkennen. Wichtig ist aber auch die Handynutzung der Eltern selbst! Hier gab es viel mehr zu den Gefahren von AI-Friends, die von dieser Meta-Funktionalität auch nicht abgedeckt sind.

Die Empfehlungsecke auf kuketz-blog.de

Recht interessante Empfehlungen finden sich in der ↑(opens in a new tab)Empfehlungsecke auf kuketz-blog.de.

Kostenlos: ÖIAT-Online-Seminare

Kostenlose Online-Seminare organisiert das Österreichische Institut für angewandte Telekommunikation (↑(opens in a new tab)ÖIAT). Hier die kommenden Termine und Themen - alle diese Schulungen sind empfehlenswert.

Die Termine und Themen der neuen Online-Kurse: (zumeist abends, manchmal auch nachmittags oder morgens)

Anmeldung auf ↑(opens in a new tab)academy.oiat.at - der Zoom-Link kommt dann per Email - wie gesagt: m.E. sehr empfehlenswert.