KI-Experten warnen vor existenziellen Bedrohungen und katastrophalen Autonomie-Szenarien

Die Warnungen vor existenziellen Risiken durch KI nehmen zu. Experten schätzen die Wahrscheinlichkeit einer Katastrophe oder des Aussterbens der Menschheit innerhalb des nächsten Jahrzehnts durch unkontrollierte KI auf über 10 Prozent. Während Skeptiker auf menschlichen Missbrauch verweisen, warnen Entwickler vor dem Zusammenbruch kritischer Infrastrukturen und unkontrollierbarer Superintelligenz.

Jacob Cookson, ehemaliger OpenAI-Forscher, warnt, dass Firmen „mit Menschenleben spielen“, da abtrünnige Systeme Stromnetze oder Atomkontrollen lahmlegen könnten. Microsoft-KI-Chef Mustafa Suleyman warnt, dass unabhängige Ziele eine konkurrierende „Silizium-Spezies“ schaffen. Stuart Russell betont, dass die Menschheit bei einer überlegenen Intelligenz zwangsläufig die Kontrolle verliert.

Diese Sorgen basieren auf Gedankenexperimenten wie Nick Bostroms „Büroklammer-Maximierer“, bei dem falsch ausgerichtete Ziele zur Vernichtung der Menschheit führen. Studien deuten darauf hin, dass rekursive Selbstverbesserung es autonomen Agenten ermöglichen könnte, Biowaffen herzustellen.

Regulierungsbehörden fordern nun mehr Rechenschaftspflicht. Jen Easterly, ehemalige CISA-Direktorin, betont, dass die Verantwortung bei den Entwicklern liegt. Die Debatte verschiebt sich von Philosophie hin zu technischen Sicherheitsvorkehrungen und strengen Grenzen für autonome Systeme.