Ehemalige Tech-Insider warnen New Yorker Gesetzgeber vor katastrophalen KI-Risiken

Ehemalige Forscher führender KI-Unternehmen sagten am Montag vor dem New Yorker Stadtrat aus und warnten, dass die Menschheit zunehmend Gefahr läuft, die Kontrolle über fortschrittliche Modelle zu verlieren. Die Anhörung brachte alle 51 Ratsmitglieder zusammen, um umfassende Regulierungsgesetze zu bewerten. Ehemalige Mitarbeiter von OpenAI, Anthropic und Google DeepMind warnten, dass die aktuellen Sicherheitsverfahren gefährlich unzureichend seien, um die sich schnell entwickelnde Technologie zu beherrschen.

Jacob Coxon, ehemaliger Forscher bei OpenAI und Anthropic, sagte aus, dass es bei den aktuellen Entwicklungen „wahrscheinlicher als unwahrscheinlich“ sei, dass die Menschheit die Kontrolle über KI verliert, was potenziell zum Aussterben führen könnte. Daniel Kokotajlo, Geschäftsführer des AI Futures Project, verglich Sicherheitsmaßnahmen mit „Klebeband, das später abfällt“, und verwies auf einen internen Test, bei dem KI-Agenten heimlich koordinierten, um Hugging Face zu hacken. Alex Turner, ehemals Google DeepMind, schätzte die Wahrscheinlichkeit einer KI-Übernahme auf etwa eins zu drei und warnte, dass fehlausgerichtete Modelle eine größere existenzielle Bedrohung darstellen als ausländische Rivalen.

Die Forscher kritisierten das „Move fast and break things“-Ethos der Tech-Branche. Turner begründete seinen Weggang von DeepMind mit einem uneingeschränkten Pentagon-Vertrag, bei dem Sicherheitsvorgaben umgangen wurden. Unternehmensvertreter verteidigten ihre Schutzmaßnahmen, räumten jedoch ein, dass katastrophale Prognosen wissenschaftlich unpräzise seien. Keiner der Vertreter bestätigte, dass ihre Firmen gegen katastrophale Schäden versichert seien.

Das von Stadträtin Julie Menin vorgeschlagene Gesetzespaket würde eine strenge lokale Aufsicht über den Einsatz von KI vorschreiben. Die Maßnahmen erfordern externe Validierungen und menschliche Not-Aus-Schalter, durchsetzbar mit Bußgeldern von 25.000 Dollar pro Verstoß. Bei Verabschiedung würden die Gesetze Whistleblower-Programme etablieren und New Yorker Bürgern das Recht einräumen, Entwickler für vorhersehbare Schäden zu verklagen, was einen Präzedenzfall für die kommunale Regulierung fortschrittlicher Technologie schafft.