16. September 2026

Projekt Forum

Neuigkeiten / Berichte / Informationen

Anthropic-Gründer warnt eindringlich „Katastrophale Schäden“ schon in einem Jahr möglich

 

Das Tempo in der KI-Entwicklung beunruhigt auch die großen Tech-Firmen. Die Branchenriesen warnen vor selbstständiger KI und plädieren für Verlangsamung.

Künstliche Intelligenz (KI) könnte schon in einem Jahr in der Lage sein, eigenständig das Internet zu übernehmen und Hunderte Milliarden Dollar Schaden anzurichten. Das schrieb Dario Amodei, Chef des KI-Anbieters Anthropic, in einem Blogeintrag. Er fordert, die Entwicklung der Technologie zu verlangsamen.

Amodei plädiert für eine koordinierte branchenweite Pause in der westlichen Welt. Zugleich kündigte Anthropic an, in einem ersten Schritt dauerhaft unabhängige Beobachter ins Unternehmen zu lassen, die schon in der Trainingsphase die Sicherheit von KI-Modellen begutachten sollen. Der OpenAI-CEO Sam Altman nannte dies eine gute Idee und teilte mit, dass OpenAI das ebenfalls umsetzen werde.

Trotz des Konkurrenzdrucks im hart umkämpften Markt um KI-Modelle bekommt Amodei Unterstützung von seinen Mitbewerbern. Altman schrieb auf X, dass er auch der Ansicht sei, dass das Tempo bei der Entwicklung leistungsstärkster KI-Modelle moderiert werden müsse. Auch Tech-Milliardär Elon Musk, lange ein Amodei-Kritiker, der in seiner Firma SpaceX eine eigene KI entwickelt, schrieb bei X: „Dario hat recht.“

„Wir könnten die Kontrolle verlieren“

imago images 0848037079

Dario Amodei spricht bei einer Konferenz (Archivbild): Er hat eine Initiative gestartet, um die KI-Entwicklung besser zu kontrollieren. (Quelle: IMAGO/ANI/imago)

Für Amodei ist es besorgniserregend, dass ein KI-Schwarm mit größeren Fähigkeiten, aber derselben Einstellung hätte „katastrophalen Schaden“ anrichten können, betonte Amodei. Als besonderes Risiko sieht er die Fähigkeit von KI-Software, sich selbst weiterzuentwickeln. Seit diesem Sommer sei Künstliche Intelligenz besser darin und dies erhöhe das Tempo weiter. Unkontrolliert könne dies dazu führen, dass Menschen diese Systeme nicht mehr verstehen und die Kontrolle über sie verlieren, warnte er.

In den vergangenen Monaten hat es mehrere Vorfälle gegeben, bei denen KI-Agenten aus Testumgebungen ausgebrochen waren und Zugang zum Internet erhielten. Bei einer Attacke drangen diese Software-Agenten in Systeme der KI-Firma Hugging Face ein. Der Grund war lediglich, dass sie dort Antworten auf die ihnen gestellte Testaufgabe vermuteten. Für die Attacke nutzten die KI-Modelle unter anderem Software-Schwachstellen aus und sprachen sich untereinander ab.

Anthropic-Mitarbeiter schlagen Alarm

Ein KI-Agent ist ein System oder Programm, das ein Ziel versteht, dieses in Teilschritte zerlegt und selbstständig Aktionen ausführt, um das Problem zu lösen. Im Gegensatz zu normalen Chatbots, die nur auf Fragen antworten, handeln KI-Agenten eigenständig in einer digitalen Umgebung. Solche Agenten sind auch in der Lage, selbstständig mit anderen Agenten zusammenzuarbeiten, um Probleme gemeinsam zu lösen und Aufgaben zu verteilen.

Vergangene Woche hatten Mitarbeiter von Anthropic Alarm geschlagen. Jacob Coxon, ein KI-Forscher, befürchtet, dass Computersysteme mit übermenschlichen Fähigkeiten schon bald die Kontrolle über alle Systeme übernehmen und am Ende auch die Menschheit auslöschen könnten. Evan Hubinger, ebenfalls ein Anthropic-Mitarbeiter, befürchtet, dass die Chance, dass es zu so einer Katastrophe kommt, bei mehr als zehn Prozent liegt. Beide beklagten, dass es keine ausreichende Kontrolle von KI-Modellen gibt.

Auch Gegenstimmen zu Untergangsszenarien

Allerdings gibt es auch andere Stimmen. Nvidia-Chef Jensen Huang äußerte sich laut mehreren Teilnehmern gegenüber der BBC auch vor einer Zuhörerschaft auf einer Konferenz in San Francisco zu Coxons Aussagen. Ihnen zufolge wies er diese als unwahr zurück. Huang hatte zuvor bereits erklärt, die Vorstellung, KI werde „das Ende der Menschheit“ bedeuten, sei „kompletter Unsinn“.

Nvidia-Gründer Jensen Huang reckt den Daumen nach oben: er sieht keine Gefahr einer Auslöschung der Menschheit. (Archivbild)Vergrößern des Bildes
Nvidia-Gründer Jensen Huang reckt den Daumen nach oben (Archivbild): Er sieht keine Gefahr einer Auslöschung der Menschheit durch KI. (Quelle: IMAGO/Yoshio Tsunoda/imago)

Auch Clement Delangue, der CEO der KI-Plattform Hugging Face, meldete sich zu Wort. Hugging Face wurde Anfang des Jahres von OpenAI-Agenten gehackt, was die jüngste Debatte über die Sicherheit von KI auslöste. „Entschuldigung, aber Jacob nach dem Risiko des Aussterbens durch KI zu fragen, ist so, als würde man seinen Klimaanlagen-Techniker nach dem Klimawandel fragen“, schrieb er auf X. „Ich sage nicht, dass das an sich unbedingt uninteressant oder falsch ist, aber wir sollten die Dinge richtig einordnen.“

USA planen Notschalter-Gesetz

In den USA haben Kongressabgeordnete einen Gesetzesentwurf eingebracht, der einen Notschalter (auf Englisch: Kill Switch) fordert. Damit soll es dem Staat möglich sein, KI-Modelle abzuschalten, die eine Bedrohung darstellen. Anthropic hatte vor Kurzem ein Modell zunächst nicht der breiten Öffentlichkeit zur Verfügung gestellt, weil es dieses als zu gefährlich ansah.

Eine Gruppe demokratischer Abgeordneter des Repräsentantenhauses übt Druck auf den Vorsitzenden Mike Johnson aus, das Plenum unverzüglich wieder einzuberufen, um sich mit dem „katastrophalen Risiko durch fortschrittliche künstliche Intelligenz“ zu befassen. In einem Schreiben an den Vorsitzenden führen die Demokraten potenzielle Bedrohungen an, darunter „massive Cybersicherheitsverletzungen und die Entwicklung biologischer oder chemischer Waffen“. Sie verweisen auf aktuelle Beispiele für den möglichen Missbrauch künstlicher Intelligenz durch ausländische Akteure.

Amodei sieht aber auch Grenzen der Verlangsamung in der KI-Entwicklung. „Das Tempo der Entwicklung in Demokratien wird durch den Vorsprung begrenzt sein, den US-Unternehmen gegenüber autoritären Regimen, vor allem gegenüber der Kommunistischen Partei Chinas, haben. Sollten wir langsamer vorankommen als in diesem Umfang, werden (unbegrenzt fortschreitende) Projekte mit Verbindungen zu China die Oberhand gewinnen, was ein erhebliches Risiko für die nationale Sicherheit darstellen würde“, warnt er.

.
.
.