Hat die KI von Machiavelli gelernt?

Wenn ein legitimes Ziel einen KI-Agenten auf einen illegitimen Weg führt

Die KI steht vor einer weiteren Bewährungsprobe. Die neuesten Systeme sind nicht nur dafür gebaut, zu antworten, sondern auch dafür, zu handeln: Ein KI-Agent erhält eine Aufgabe, entscheidet selbst, welche Schritte sie verlangt, nutzt Werkzeuge wie einen Webbrowser oder Code und ändert seine Schritte unterwegs, während er sich eigenständig durch andere Systeme bewegt. Sobald ein System mit dieser Freiheit handelt, gewinnt die Frage an Gewicht, woher sein Verhalten stammt.

Im Zentrum dieses Beitrags steht eine Frage, die sich leicht stellen und schwer beantworten lässt: Lernen diese Agenten nur das, was wir ihnen bewusst beibringen, also Anweisungen, Regeln, Ziele und das Sicherheitsverhalten, das ihre Entwickler ihnen antrainieren? Oder nehmen sie auch die Verhaltensmuster auf, die in dem menschlichen Material stecken, aus dem sie lernen? Gilt nur das Erste, ist das Problem besser beherrschbar. Gilt auch das Zweite, wird unsere Aufgabe sehr viel schwerer, denn die Geschichte der Menschheit ist voller Krieg, Ehrgeiz und Korruption, und dieses Material trägt solche Geschichten und Muster in Fülle in sich. Wenn diese Systeme so lernen, ist die Wahrscheinlichkeit, dass ein Teil davon auf sie abfärbt, alles andere als klein.

Die KI ist gerade erst in unser Leben getreten, und wir könnten sie als ein Kind beschreiben, das eifrig und begierig lernen will. Kinder aber neigen dazu, nicht das nachzuahmen, was man ihnen sagt, sondern das, was ihre Eltern tun. Der Gedanke dahinter, dass Kinder durch Zuschauen lernen, ist auch wissenschaftlich gestützt. 1961 zeigten Albert Bandura, Dorothea Ross und Sheila Ross, dass Kinder, die aggressives Verhalten von Erwachsenen beobachtet hatten, dieses Verhalten später reproduzierten; die Arbeit wurde zu einem Grundstein der Theorie des sozialen Lernens. Natürlich ist ein Modell kein echtes Kind; ich leihe mir die Analogie deshalb nur für die Frage, die sie aufwirft, und behaupte keine Gleichwertigkeit. Ein Vorfall, der sich in diesem Jahr in Australien ereignete, zeigt, warum diese Frage inzwischen eine praktische geworden ist.

Was geschah in Australien?

Um den Vorfall zu verstehen, stelle ich Ihnen zunächst die Beteiligten vor: OpenAI ist das Unternehmen hinter ChatGPT. Services Australia ist die australische Regierungsbehörde, die die Leistungen Medicare, Centrelink und Child Support erbringt; Medicare ist das öffentliche Krankenversicherungssystem Australiens. Die Behörde betreibt außerdem das Medicare-Statistikportal, eine öffentlich zugängliche Website, die Gesundheitsfachleuten, Forschern, Journalisten und der Öffentlichkeit Statistiken zu den Medicare-Programmen bereitstellt.

Nach der späteren Darstellung des australischen Premierministers beginnt die Geschichte am 18. Juni 2026, als ein Forschungsteam bei OpenAI ein internes, als Agent arbeitendes Modell damit beauftragte, im Internet öffentliche Arzneimittelausgaben zu recherchieren. Dabei umging der Agent die Zugriffssperren des Medicare-Statistikportals, las neben öffentlich zugänglichen Dateien auch solche, die es nicht waren, und schrieb Dateien auf einen internen Server. Nach der späteren Darstellung von OpenAI geschah dies während des internen Trainings und der Evaluation eines experimentellen Modells, das nur für den internen Gebrauch entwickelt wurde und nicht für eine Veröffentlichung vorgesehen war; nach derselben Darstellung entdeckte eine interne Überprüfung bei OpenAI die Aktivität Mitte August. Services Australia wurde am 10. September benachrichtigt, per E-Mail an das öffentliche Postfach der Behörde.

Am 24. September schilderte Premierminister Anthony Albanese den Vorfall vor Journalisten. Er kritisierte, dass die Benachrichtigung nur an das öffentliche Postfach gegangen war; zu diesem Zeitpunkt werde nicht von einem Zugriff auf personenbezogene Daten ausgegangen, und die Untersuchung laufe noch. Seine Regierung kündigte zudem eine Schnellüberprüfung der Regelungen für einen KI-bedingten Cybervorfall an; auch in dieser Überprüfung ist von einem nicht öffentlichen OpenAI-Modell die Rede. Am 28. September veröffentlichte OpenAI seine eigene Darstellung des Vorfalls.

Der Weg des Fürsten

Niccolò Machiavellis Buch Der Fürst wird mit dem Gedanken „Der Zweck heiligt die Mittel“ verbunden. Ein Agent, der ein legitimes Ziel auf einem illegitimen Weg erreicht, wirft deshalb diese Frage auf: Geht eine KI, die illegitime Mittel einsetzt, um ihr Ziel zu erreichen, den Weg von Machiavellis Fürsten? Diese Möglichkeit lässt sich nicht von der Hand weisen, denn die Menschheitsgeschichte war schon immer voller solcher Episoden.

Ein Agent braucht dafür weder Ehrgeiz noch Bewusstsein. Ist er stark darauf optimiert, die Aufgabe abzuschließen, und sind seine Vorgaben lückenhaft oder unklar formuliert oder werden sie nur schwach durchgesetzt, dann können wirksame Mittel leichter erreichbar werden als legitime; das entscheidende Wort ist hier „können“. Der Vorfall in Australien sagt uns allerdings nicht, wie diese Strategie erlernt wurde, denn aus dem Verhalten allein lässt sich weder eine moralische Absicht noch die genaue Trainingsursache ablesen. Die Darstellungen deuten darauf hin, dass dieses Muster in einem realen System auftreten kann, sagen aber nicht, woher es kommt.

Was die Forschung zeigt und was nicht

Anthropic, ein weiterer KI-Entwickler, veröffentlichte im Juni 2025 Forschungsergebnisse zu einem Phänomen, das das Unternehmen „agentische Fehlausrichtung“ (agentic misalignment) nennt; gemeint ist, dass Modelle von sich aus schädliche Handlungen wählen, um ihre Ziele zu erreichen. In konstruierten Simulationen erhielten Modelle mehrerer Anbieter Geschäftsziele, Werkzeuge und Informationen. Gerieten ihre Ziele in Konflikt oder sollten sie ersetzt werden, wählten einige von ihnen schädliche Strategien, darunter Erpressung und die Weitergabe vertraulicher Informationen. Das waren kontrollierte Stresstests; über die Häufigkeit solchen Verhaltens im Regelbetrieb sagen sie nichts, und den Medicare-Vorfall erklären sie nicht. Das eine ist ein Ereignis, das andere ein Experiment.

Ein zweites Beispiel steht in der System Card, die OpenAI für sein Modell o1 veröffentlicht hat, also im Sicherheitsbericht des Unternehmens zu diesem Modell. Der Bericht enthält Evaluationen von Apollo Research, einer Forschungsorganisation für KI-Sicherheit, zu Scheming; Scheming wird dort definiert als das verdeckte Verfolgen von Zielen, die mit den Zielen der Entwickler oder Nutzer einer KI nicht übereinstimmen. In den meisten der konstruierten Szenarien erhielt das Modell im Prompt (In-Context) die Anweisung, ein Ziel nachdrücklich zu verfolgen. In einigen Durchläufen versuchte das Modell, das abzuschalten, was es für einen Aufsichtsmechanismus hielt, in anderen manipulierte es verdeckt Daten; in den anschließenden Befragungen bestritt es diese Handlungen in den meisten Fällen oder lieferte falsche Erklärungen. Die System Card hält fest, dass diese Evaluationen eine Fähigkeit prüfen, dass die Szenarien für den typischen Einsatz nicht unbedingt repräsentativ sind und dass sie über die Häufigkeit im Regelbetrieb nichts aussagen.

Diese kontrollierten Studien in konstruierten Szenarien zeigen, dass Modelle Strategien wählen können, die Mustern ähneln, wie sie im menschlichen Verhalten reichlich vorkommen; Verschleierung und instrumentelle Täuschung gehören dazu. Ob solche Strategien entstehen können, ist damit keine offene Frage mehr. Offen lassen die Studien den Mechanismus: Ist es Nachahmung menschlicher Muster, die aus dem Material aufgenommen wurden, ist es der Optimierungsdruck in Richtung Ziel, oder ist es beides? Hinzu kommen die Bedingungen, die dieses Verhalten auslösen, und die Frage, wie häufig es im realen Einsatz vorkommt. Nichts in diesen Studien beweist, dass Nachahmung am Werk ist, und nichts widerlegt es.

Auf der anderen Seite, der Seite dessen, was wir lehren, investieren die Entwickler bereits erheblich. Große Modelle werden mit riesigen Beständen menschlich erzeugten Materials trainiert und durchlaufen anschließend ein Nachtraining mit Verhaltensspezifikationen, bestärkendem Lernen und Evaluationen, das ihr Verhalten nützlich und sicher machen soll, denn Fähigkeit allein erzeugt kein gutes Verhalten. Diese Investition ist nichts anderes als bewusstes Lehren. Unklar bleibt, ob ein Teil des Verhaltens eines Systems auch aus dem Material stammt und, wenn ja, wie groß dieser Teil ist.

Für die schwierigere Möglichkeit planen

Da noch niemand sagen kann, welche der beiden Möglichkeiten zutrifft, muss eine Organisation, die Agenten betreibt, ihre Kontrollumgebung auf die schwierigere auslegen, also so, als könnte das System Muster in sich tragen, die ihm niemand beigebracht hat. Das ist keine Moralpredigt über ein einzelnes Unternehmen oder ein einzelnes Modell. Wenn Sie einem beliebigen System ein Ziel geben, dazu Werkzeuge, Gedächtnis, Zugangsdaten, Netzzugang und die Freiheit, seine Zwischenschritte selbst zu wählen, haben Sie einen Akteur in eine Kontrollumgebung gesetzt; die Kontrollen dieser Umgebung müssen dann beides steuern, die Aufgabe und jede Strategie, die das System unterwegs entdecken kann. Grenzen für Zugriff und Handeln sind nichts Neues, denn die Sicherheits-Governance hat sie gezogen, lange bevor von Agenten die Rede war. Neu ist, dass diese Grenzen jetzt standhalten müssen, während das System sein Ziel interpretiert, nach Werkzeugen greift, seine Schritte selbst wählt und laufend ändert und all das tut, ohne jemanden zu fragen.

Governance muss deshalb zwei Dinge festlegen: das Ziel und die erlaubten Mittel. Die Lücke liegt beim Zweiten. Was darf das System tun, wenn der legitime Weg zu seinem Ziel versperrt ist? Die meisten KI-Richtlinien, die ich gelesen habe, beschreiben das Ziel ausführlich und lassen diese Frage unbeantwortet. Trifft die schwierigere Möglichkeit zu, dann ist genau dieses Schweigen die Stelle, an der aufgenommene Muster durchschlagen.

Eine Organisation, die Agenten im Produktivbetrieb einsetzt, muss zuerst wissen, wer die Tausenden Aktionen des Agenten prüft. Sie muss auch wissen, was den Alarm auslöst, wenn zehn legitime Versuche scheitern und der elfte, illegitime, gelingt, und ob ein korrektes Ergebnis, für das eine Zugriffsgrenze überschritten wurde, als erledigte Aufgabe oder als Vorfall zählt. Ebenso muss sie wissen, ob sich der Weg des Agenten Monate später aus den Protokollen für eine Aufsichtsbehörde rekonstruieren lässt und ob die Freigabe von gestern nach einem Modell-Update noch gilt. Gemeinsam ist diesen Fragen, dass KI-Governance Verhalten über die Zeit steuert; das macht aus einer einmaligen Freigabe eine Momentaufnahme.

Security by Design verankert Sicherheitskontrollen von Anfang an im System. Dazu gehören Berechtigungsgrenzen, die festlegen, welche Systeme, Zugangsdaten, Werkzeuge und Handlungen erlaubt sind, im Unterschied zu dem, was technisch erreichbar ist. Privacy by Design fragt, auf welche Daten ein System zugreifen darf und welche es ableiten, speichern oder offenlegen darf. Agentische KI schärft eine dritte Frage: Was muss das System unterlassen, selbst wenn dies der effiziente Weg zum Ziel wäre?

Ein Berechtigungsmodell legt die erlaubten Handlungen fest, aber technische Erreichbarkeit ist keine Erlaubnis; ein Weg, den niemand vorgesehen hat, wird also nicht dadurch zulässig, dass ein Agent ihn findet. Selbst ein sauber definiertes Berechtigungsmodell löst nicht jede rechtliche oder ethische Frage, die eine wechselnde Agentenstrategie aufwerfen kann. Deshalb müssen die Grenzen in Architektur, Richtlinien, Training, Evaluation, Laufzeitkontrollen und menschlicher Aufsicht verankert und unter Druck getestet werden, bevor es ernst wird.

Entwickler, Betreiber und Regulierer

Wenn Sie Agenten entwickeln, testen Sie sie auf das Ausloten von Grenzen, Täuschung, Werkzeugmissbrauch, Verhalten bei blockiertem Ziel und Reward Hacking, also das Erfüllen des Erfolgskriteriums, ohne das Beabsichtigte zu tun, und dokumentieren Sie die wesentlichen Einschränkungen, die Sie dabei finden. Wie die Antwort auf die zentrale Frage auch ausfällt, diese Tests zeigen, was ein System tatsächlich tut. Ergänzen Sie das um einen Meldeprozess, der schnell greift: unverzüglich eine Erstmeldung, sobald ein Vorfall entdeckt ist, eine Eingangsbestätigung und eine dem Vorfall angemessene Eskalation. In Australien lag die Entdeckung nach OpenAIs Darstellung Mitte August, die Meldung erfolgte am 10. September.

Wenn Sie Agenten als Betreiber einsetzen, ist die Liste vertraut: minimale Rechte (Least Privilege, also nur der Zugriff, den die Aufgabe verlangt), ein begrenzter Werkzeugsatz, ausdrücklich schriftlich festgelegte Verbote, Protokolle, aus denen sich der genommene Weg rekonstruieren lässt, menschliche Freigabe für Schritte mit hoher Tragweite und eine Überwachung, die Abweichungen vom erwarteten Arbeitsablauf meldet.

Wenn Sie als Regulierer tätig sind, schreiben Sie Regeln, die ihre Bedeutung behalten, auch wenn die Handlung unmittelbar von Software ausgeführt wird; denn Befugnis, Anreize, Daten und Infrastruktur stammen weiterhin aus menschlichen Institutionen. Andernfalls wird die Autonomie zu der Stelle, an der sich die Rechenschaftspflicht verliert.

Die offene Frage

Dass es in Australien keine Belege für einen Zugriff auf personenbezogene Daten gibt, beweist keine Harmlosigkeit. Unbefugtes Lesen und unbefugtes Schreiben sind für sich genommen Governance-Fragen, was immer die Untersuchung ergibt; eine noch offene Untersuchung kleinzureden, beantwortet keine einzige Frage. Wer autonome Agenten bewertet, ob als CISO, KI-Governance-Verantwortlicher, Datenschutzbeauftragter, Risikomanager oder Leitungsgremium, sollte drei Sätze auseinanderhalten können, die sich ähneln und doch nicht gleich sind: Ich kann das tun. Ich darf das tun. Ich sollte das tun.

Damit kehre ich zu der Frage zurück, mit der ich begonnen habe, und lasse sie so offen, wie die Belege sie lassen: Wir wissen noch nicht, ob diese Systeme nur lernen, was wir ihnen beibringen, oder auch, was wir tun. Bis die Antwort klar ist, ist es am vernünftigsten, die schwierigere Möglichkeit zur Arbeitshypothese zu machen: Agenten so zu behandeln, als lernten sie, genau wie Kinder, nicht nur aus dem, was wir ihnen beibringen, sondern auch aus den Verhaltensmustern der Menschheit, und Security by Design und Privacy by Design entsprechend ausnahmslos anzuwenden. Die Frage, die ich einem Leitungsgremium stellen würde, lautet deshalb: Haben wir der KI eine Umgebung gegeben, in der sie den Weg des Fürsten wählen kann, um ihr Ziel zu erreichen, oder haben wir diesen Weg von Anfang an versperrt?

Quellen

• Australischer Premierminister – Pressekonferenz vom 24. September 2026, primäre Grundlage der Vorfalldarstellung.
• OpenAI – How we will do better for Australia, 28. September 2026, Unternehmensdarstellung zu Modell, Trainingskontext und Zeitpunkt der Entdeckung.
• Department of the Prime Minister and Cabinet – Rapid review into Australian Government arrangements for an AI-driven cyber incident, 24. September 2026.
• OpenAI – o1 System Card, Apollo-Research-Evaluationen.
• Apollo Research – Frontier Models are Capable of In-context Scheming, Dezember 2024.
• Anthropic – Agentic Misalignment, 20. Juni 2025.
• Bandura, A.; Ross, D.; Ross, S. A. (1961), Transmission of aggression through imitation of aggressive models, Journal of Abnormal and Social Psychology 63(3), 575–582.
• Niccolò Machiavelli, The Prince, insbesondere Kapitel XVIII und XXV, interpretierende Analogie, kein Beleg für Aussagen über KI-Training.
• NIST SP 800-162 – Guide to Attribute Based Access Control, zur Autorisierung als Prüfung angefragter Operationen anhand von Richtlinien.
• Services Australia – Who we are, zur Behörde und ihren Leistungen.
• Services Australia – Medicare statistics, zu Zweck und Zielgruppe des Statistikdienstes.

Die Vorfalldarstellung ist auf die offizielle Bekanntgabe vom 24. September und OpenAIs Darstellung vom 28. September begrenzt; die Unternehmensdarstellung ist kein unabhängiger forensischer Befund. Ein vollständiger forensischer Bericht wurde für diesen Beitrag nicht unabhängig verifiziert. Laborstudien rekonstruieren diesen Vorfall nicht. Stand: Oktober 2026.