Existenzielles Risiko durch künstliche Intelligenz

aus Wikipedia, der freien Enzyklopädie
Zur Navigation springen Zur Suche springen

Existenzielles Risiko durch künstliche Intelligenz bezeichnet die Hypothese, dass wesentliche Fortschritte bei der Entwicklung von Artificial General Intelligence (AGI) zum Aussterben der Menschheit oder zu einer anderen unumkehrbaren globalen Katastrophe führen könnten.[1][2][3]

Ein Argument stellt sich wie folgt dar: Der Mensch ist anderen Arten überlegen, weil das menschliche Gehirn über besondere Fähigkeiten verfügt, die anderen Tieren fehlen. Sollte die KI also eine übermenschliche allgemeine Intelligenz oder Superintelligenz entwickeln, könnte es schwierig oder unmöglich werden, sie zu kontrollieren. So wie das Schicksal des Berggorillas vom Wohlwollen der Menschen abhängt, könnte auch das Schicksal der Menschheit von den Handlungen einer zukünftigen maschinellen Superintelligenz abhängen.[4]

Wie plausibel eine existenzielle Katastrophe durch KI ist, wird breit diskutiert und hängt zum Teil davon ab, ob AGI oder Superintelligenz erreichbar sind, wie schnell sich gefährliche Fähigkeiten und Verhaltensweisen entwickeln[5] und ob es konkrete Szenarien für eine Machtübernahme durch KI gibt.[6] Besorgnis über Superintelligenz wurde von führenden Computerwissenschaftlern und Firmenchefs wie Geoffrey Hinton,[7] Yoshua Bengio,[8] Alan Turing, Elon Musk,[9] und dem CEO von OpenAI Sam Altman geäußert.[10] In einer Umfrage unter KI-Forschern aus dem Jahr 2022 mit einer Antwortrate von 17 % gab die Mehrheit der Befragten an, dass die Unfähigkeit KI zu kontrollieren, mit einer Wahrscheinlichkeit von 10 % oder mehr zu einer existenziellen Katastrophe führen wird.[11][12] 2023 unterzeichneten Hunderte von KI-Experten und anderen namhaften Persönlichkeiten eine Erklärung, in der es heißt: „Die Minderung des Risikos des Aussterbens durch KI sollte neben anderen Risiken von gesamtgesellschaftlichem Ausmaß wie Pandemien und Atomkrieg eine globale Priorität sein.“[13] Infolge der zunehmenden Besorgnis über KI-Risiken forderten führende Regierungsvertreter wie der britische Premierminister Rishi Sunak[14] und der Generalsekretär der Vereinten Nationen António Guterres[15] eine stärkeren Fokus auf die globale KI-Regulierung.

Zwei Quellen der Besorgnis ergeben sich aus den Problemen der KI-Kontrolle und -Ausrichtung: Es könnte schwierig sein, eine superintelligente Maschine zu kontrollieren oder ihr menschliche Werte zu vermitteln. Viele Forscher glauben, dass eine superintelligente Maschine sich gegen Versuche, sie zu deaktivieren oder ihre Ziele zu ändern, wehren würde, da dies sie von der Verfolgung ihrer derzeitigen Ziele abhielte. Es wäre äußerst schwierig, eine Superintelligenz mit der gesamten Bandbreite bedeutsamer menschlicher Werte und Grenzen in Einklang zu bringen.[1][16][17] Im Gegensatz dazu argumentieren Skeptiker wie der Informatiker Yann LeCun, dass superintelligente Maschinen keinen Wunsch nach Selbsterhaltung hegen werden.[18]

Eine dritte Quelle der Sorge ist, dass eine plötzliche „Intelligenzexplosion“ die unvorbereitete Menschheit überraschen könnte. Derlei Szenarien ziehen die Möglichkeit in Betracht, dass eine KI, die intelligenter ist als ihre Schöpfer, in der Lage sein könnte, sich selbst mit exponentiell steigender Geschwindigkeit rekursiv zu verbessern, und zwar so schnell, dass sie von ihren Betreibern und der Gesellschaft als Ganzes nicht länger kontrolliert werden kann.[1][16] Empirische Beispiele wie das Programm AlphaZero, das sich selbst das Gospielen beibrachte, zeigen, dass sich bereichsspezifische KI-Systeme manchmal sehr schnell von dem Menschen unterlegenen zu Akteuren mit übermenschlichen Fähigkeiten entwickeln können, obwohl solche Systeme keiner Änderung ihrer grundlegenden Architektur bedürfen.[19]

Einer der ersten Autoren, der ernsthafte Sorge darüber äußerte, dass hochentwickelte Maschinen existenzielle Risiken für die Menschheit darstellen könnten, war der Schriftsteller Samuel Butler, der 1863 in seinem Essay Darwin among the Machines schrieb:[20]

„Das Ergebnis ist einfach eine Frage der Zeit, aber dass die Zeit kommen wird, in der die Maschinen die wirkliche Vorherrschaft über die Welt und ihre Bewohner haben werden, kann kein Mensch mit einem wahrhaft philosophischen Verstand auch nur einen Augenblick in Frage stellen.“

Im Jahr 1951 schrieb der Computerwissenschaftler Alan Turing den Artikel Intelligent Machinery, A Heretical Theory, in dem er postulierte, dass allgemeine künstliche Intelligenzen, würden sie übermenschliche Intelligenz entwickeln, wahrscheinlich die Kontrolle über die Welt übernähmen:

„Schauen wir uns an, welche Folgen der Bau dieser Maschinen hätte... Die Maschinen würden auf keinen Fall sterben, und sie wären in der Lage, miteinander zu kommunizieren, um ihren Verstand zu schärfen. Irgendwann müssten wir also damit rechnen, dass die Maschinen die Kontrolle übernehmen, so wie es in Samuel Butlers Erewhon beschrieben wird.[21]

Im Jahre 1965 entwickelte I. J. Good das Konzept, das heute als „Intelligenzexplosion“ bekannt ist, und erklärte, die Risiken würden unterschätzt:[22]

„Definieren wir eine ultraintelligente Maschine als eine Maschine, die alle intellektuellen Aktivitäten eines noch so klugen Menschen weit übertreffen kann. Da das Entwerfen von Maschinen eine dieser intellektuellen Tätigkeiten ist, könnte eine ultraintelligente Maschine noch bessere Maschinen entwerfen; Zweifellos würde es dann zu einer ,Intelligenzexplosion‘ kommen, und die Intelligenz des Menschen würde weit zurückbleiben. Die erste ultraintelligente Maschine ist also die letzte Erfindung, die der Mensch jemals machen muss, vorausgesetzt, die Maschine ist gefügig genug, uns zu sagen, wie wir sie unter Kontrolle halten können. Es ist merkwürdig, dass dieser Punkt außerhalb der Science-Fiction so selten angesprochen wird. Manchmal lohnt es sich, Science-Fiction ernst zu nehmen[23]

Wissenschaftler wie Marvin Minsky[24] und I. J. Good selbst[25] äußerten gelegentlich die Sorge, dass eine Superintelligenz die Kontrolle übernehmen könnte, riefen aber nicht zum Handeln auf. Im Jahr 2000 verfasste der Informatiker und Mitbegründer von Sun Microsystems Bill Joy einen einflussreichen Aufsatz mit dem Titel Why The Future Doesn't Need Us (deutsch: Warum die Zukunft uns nicht braucht), in dem er superintelligente Roboter neben der Nanotechnologie und künstlich designten biologischen Erregern als High-Tech-Gefahr für das menschliche Überleben bezeichnete.[26]

Nick Bostrom veröffentlichte 2014 das Buch Superintelligenz, in dem er dafür argumentierte, dass Superintelligenz eine existenzielle Bedrohung darstellt.[27] 2015 äußerten sich Persönlichkeiten des öffentlichen Lebens wie die Physiker Stephen Hawking und Nobelpreisträger Frank Wilczek, die Informatiker Stuart J. Russell und Roman Yampolskiy sowie die Unternehmer Elon Musk und Bill Gates besorgt über die potenziellen Risiken durch Superintelligenz.[28][29][30][31]

Im gleichen Jahr (2015) hob der Offene Brief zur Künstlichen Intelligenz das „große Potenzial der KI“ hervor und rief zu mehr Forschung auf, um sie stabil und nützlich zu machen.[32] Im April 2016 warnte Nature: „Maschinen und Roboter, die den Menschen in allen Bereichen übertreffen, könnten sich, ohne dass wir es kontrollieren können, selbst verbessern — und ihre Interessen könnten von unseren abweichen.“[33] Außerdem veröffentlichte Brian Christian im Jahr 2020 das Buch The Alignment Problem, in dem er die bis zum damaligen Zeitpunkt gemachten Fortschritte im Bereich der KI-Ausrichtung beschreibt.[34][35]

Im März 2023 unterzeichneten Schlüsselfiguren aus dem Bereich der KI wie Elon Musk einen Brief des Future of Life Institute, in dem sie dazu aufriefen, das Training fortgeschrittener KI zu stoppen, bis sie angemessen reguliert werden könne.[36] Im Mai 2023 veröffentlichte das Center for AI Safety eine von zahlreichen Experten für KI-Sicherheit und existenzielle KI-Risiken unterzeichnete Erklärung, in der es heißt: „Die Minderung des Risikos des Aussterbens durch KI sollte neben anderen Risiken von gesamtgesellschaftlichem Ausmaß wie Pandemien und Atomkrieg eine globale Priorität sein.“[37][38]

KI-Fähigkeiten

[Bearbeiten | Quelltext bearbeiten]

Allgemeine Intelligenz

[Bearbeiten | Quelltext bearbeiten]

Allgemeine künstliche Intelligenz (engl.: artificial general intelligence, AGI) wird in der Regel als ein System definiert, das in den meisten oder allen intellektuellen Aufgaben mindestens so gut abschneidet wie der Mensch.[39] Eine Umfrage unter KI-Forschenden aus dem Jahr 2022 ergab, dass 90 % der Befragten davon ausgingen, dass AGI in den nächsten 100 Jahren entwickelt werden wird, und die Hälfte rechnete hiermit schon bis zum Jahre 2061.[40] Unterdessen weisen einige Forschende die von AGI ausgehenden existenziellen Risiken als „Science Fiction“ zurück, basierend auf ihrer Überzeugung, dass es in absehbarer Zeit keine AGI geben wird.[41]

Durchbrüche bei großen Sprachmodellen haben einige Forschende dazu veranlasst, ihre Prognosen anzupassen. So sagte Geoffrey Hinton im Jahr 2023, dass er seine Schätzung von „20 bis 50 Jahren, bevor wir eine allgemeine KI haben“ auf „20 Jahre oder weniger“ korrigiert habe.[42]

Superintelligenz

[Bearbeiten | Quelltext bearbeiten]

Im Gegensatz zur AGI definiert Bostrom eine Superintelligenz als „jeden Intellekt, der die kognitive Leistung des Menschen in praktisch allen Bereichen von Interesse weit übertrifft“, einschließlich wissenschaftlicher Kreativität, strategischer Planung und sozialer Fähigkeiten.[43][4] Er argumentiert, dass eine Superintelligenz den Menschen immer dann ausmanövrieren kann, wenn ihre Ziele mit denen des Menschen in Konflikt stehen. Sie kann sich dazu entschließen, ihre wahren Absichten zu verbergen, bis die Menschheit sie nicht mehr aufzuhalten vermag.[44][4] Bostrom schreibt, dass eine Superintelligenz sich, um für die Menschheit sicher zu sein, im Einklang mit menschlichen Werten und menschlicher Moral befinden muss, so dass sie „fundamental auf unserer Seite“ stehe.[45]

Stephen Hawking vertrat die Ansicht, dass Superintelligenz physikalisch möglich sei, da „es kein physikalisches Gesetz gibt, das ausschließt, dass Teilchen auf eine Art und Weise organisiert sind, die noch fortschrittlichere Berechnungen ermöglicht, als die Anordnung von Teilchen in menschlichen Gehirnen“.[29]

Wann die Superintelligenz, falls überhaupt möglich, realisiert werden kann, ist zwangsläufig unsicherer als die Vorhersagen für die Entwicklung einer AGI. Im Jahr 2023 erklärten führende Vertreter von OpenAI, dass nicht nur AGI, sondern auch Superintelligenz in weniger als 10 Jahren erzielt werden könnte.[46]

Vergleich mit dem Menschen

[Bearbeiten | Quelltext bearbeiten]

Bostrom zufolge ist die KI dem menschlichen Gehirn in vielerlei Hinsicht voraus:[4]

  • Rechengeschwindigkeit: Biologische Neuronen arbeiten mit einer maximalen Frequenz von etwa 200 Hz, während Computer potenziell mit mehreren GHz arbeiten.
  • Geschwindigkeit interner Kommunikation: Axone übertragen Signale mit bis zu 120 m/s, während Computer Signale mit der Geschwindigkeit von Elektrizität oder optisch mit Lichtgeschwindigkeit übertragen.
  • Skalierbarkeit: Die menschliche Intelligenz ist durch die Größe und Struktur des Gehirns und durch die Effizienz sozialer Kommunikation begrenzt, während die KI unter Umständen durch einfaches Hinzufügen von mehr Hardware erweitert werden kann.
  • Gedächtnis: insbesondere beim Arbeitsgedächtnis ist KI dem Mensch voraus, da es beim Menschen auf einige wenige Informationsbrocken gleichzeitig beschränkt ist.
  • Zuverlässigkeit: Transistoren sind zuverlässiger als biologische Neuronen, ermöglichen eine höhere Präzision und erfordern weniger Redundanz.
  • Duplizierbarkeit: Im Gegensatz zu menschlichen Gehirnen können KI-Software und -Modelle leicht kopiert werden.
  • Programmierbarkeit: Die Parameter und die interne Funktionsweise eines KI-Modells können im Gegensatz zu den Verbindungen in einem menschlichen Gehirn relativ mühelos geändert werden.
  • Teilen von Erinnerungen und Lernen: KIs können womöglich von den Erfahrungen anderer KIs auf eine Weise lernen, die effizienter ist als menschliches Lernen.

Intelligenzexplosion

[Bearbeiten | Quelltext bearbeiten]

Bostrom zufolge könnte eine KI, die bestimmte Schlüsselaufgaben des Programmierens auf hohem Niveau beherrscht, zu einer Superintelligenz werden, da sie in der Lage wäre, ihre eigenen Algorithmen rekursiv zu verbessern, selbst wenn sie in anderen Bereichen, die für das Programmieren zweitrangig sind, zunächst eingeschränkt ist. Dies deutet darauf hin, dass eine Intelligenzexplosion die Menschheit eines Tages unvorbereitet treffen könnte.[4]

Der Wirtschaftswissenschaftler Robin Hanson merkte an, dass eine KI für das Ingangsetzen einer Intelligenzexplosion eine weitaus fortgeschrittenere Fähigkeit zur Innovation von Software besitzen müsse als der Rest der Welt zusammen, was er für unwahrscheinlich halte.[47]

In einem Szenario des „schnellen Starts“ könnte der Übergang von der AGI zur Superintelligenz Tage oder Monate dauern. Bei einem „langsamen Start“ könnten es Jahre oder Jahrzehnte sein, sodass der Gesellschaft mehr Zeit bliebe, sich vorzubereiten.[48]

Superintelligenzen werden manchmal als alien minds (deutsch: etwa fremdartiger Verstand) bezeichnet, was auf die Vorstellung verweist, dass ihre Denkweise und ihre Beweggründe sich stark von den unseren unterscheiden könnten. Dies wird im Allgemeinen als Gefahrenquelle betrachtet, da es hierdurch schwieriger ist, vorauszusehen, was eine Superintelligenz vorhaben könnte. Es deutet auch auf die Möglichkeit hin, dass eine Superintelligenz den Menschen grundsätzlich nicht besonders wertschätzen würde.[49] Um Anthropomorphismus zu vermeiden, wird die Superintelligenz manchmal als ein leistungsfähiger Optimierer betrachtet, der die besten Entscheidungen trifft, um seine Ziele zu erreichen.[4]

Das Forschungsfeld der „mechanistischen Interpretierbarkeit“ zielt darauf ab, das Innenleben von KI-Modellen besser zu verstehen. Dieses Verständnis könnte uns eines Tages in die Lage versetzen, Anzeichen von Täuschung und Fehlausrichtung zu erkennen.[50]

Es wurde angeführt, dass es Grenzen für das gibt, was Intelligenz erreichen kann. Insbesondere die chaotische Natur oder die zeitliche Komplexität einiger Systeme könnte die Fähigkeit einer Superintelligenz, gewisse Aspekte der Zukunft vorherzusagen, grundlegend einschränken und somit ihre Ungewissheit erhöhen.[51]

Gefährliche Fähigkeiten

[Bearbeiten | Quelltext bearbeiten]

Fortgeschrittene KI könnte künstlich Krankheitserreger mit gefährlicheren Eigenschaften erzeugen, Cyberangriffe durchführen oder Menschen manipulieren. Diese Fähigkeiten könnten von Menschen missbraucht[52] oder von einer fehlausgerichteten KI selbst ausgenutzt werden.[4] Eine voll ausgereifte Superintelligenz könnte, wenn sie es wollte, verschiedene Wege finden, um einen entscheidenden Einfluss zu erlangen,[4] aber diese gefährlichen Fähigkeiten könnten schon früher, in schwächeren und spezialisierten KI-Systemen, verfügbar werden. Sie könnten zu gesellschaftlicher Instabilität führen und böswillige Akteure ermächtigen.[52]

Soziale Manipulation

[Bearbeiten | Quelltext bearbeiten]

Geoffrey Hinton warnte, dass die Fülle von KI-generierten Texten, Bildern und Videos es kurzfristig schwieriger machen würde, die Wahrheit zu ermitteln, was autoritäre Staaten seiner Ansicht nach ausnutzen könnten, um Wahlen zu manipulieren.[53] Solche groß angelegten, personalisierten Manipulationsmöglichkeiten könnten das existenzielle Risiko eines weltweiten „irreversiblen totalitären Regimes“ erhöhen. Sie könnten außerdem von böswilligen Akteuren genutzt werden, um die Gesellschaft zu spalten und dysfunktional zu machen.[52]

KI-gestützte Cyberangriffe werden zunehmend als akute und ernsthafte Bedrohung angesehen. Laut dem technischen Direktor für den Cyberspace der NATO „nimmt die Zahl der Angriffe exponentiell zu“.[54] KI kann auch defensiv eingesetzt werden, um präventiv Schwachstellen zu finden und zu beheben und Bedrohungen frühzeitig zu erkennen.[55]

KI könnte die „Durchführbarkeit, die Erfolgsquote, das Ausmaß, die Geschwindigkeit, die Diskretion und die Durchschlagskraft von Cyberangriffen“ verbessern und möglicherweise „erhebliche geopolitische Turbulenzen“ verursachen, wenn sie vornehmlich die Angriffs- und nicht die Verteidigungsmaßnahmen erleichtert.[52]

Spekulationen zufolge könnten solche Hacking-Fähigkeiten von einem KI-System genutzt werden, um aus seiner lokalen Umgebung auszubrechen, finanzielle Erträge zu erzielen oder Cloud-Rechenleistung zu erwerben.[56]

Gefährlichere Krankheitserreger

[Bearbeiten | Quelltext bearbeiten]

Mit der zunehmenden Demokratisierung der KI-Technologie könnte es einfacher werden, ansteckendere und tödlichere Krankheitserreger zu entwickeln. Dies könnte Menschen mit begrenzten Kenntnissen in synthetischer Biologie in die Lage versetzen, Bioterrorismus zu betreiben. Technologien mit doppelter Verwendbarkeit (engl.: dual use), die für die Medizin nützlich sind, könnten für die Herstellung von Waffen umfunktioniert werden.[52]

Im Jahr 2022 änderten Wissenschaftler beispielsweise ein KI-System, das ursprünglich für die Erzeugung unschädlicher therapeutischer Moleküle gedacht war, mit dem Ziel, neue Medikamente zu entwickeln. Die Forschenden passten das System so an, dass Toxizität belohnt und nicht bestraft wird. Diese einfache Änderung ermöglichte es dem KI-System, innerhalb von sechs Stunden 40.000 potenziell für die chemische Kriegsführung geeignete Moleküle zu erstellen, darunter bekannte und neuartige Moleküle.[52][57]

Unternehmen, staatliche Akteure und andere Organisationen, die um die Entwicklung von KI-Technologien konkurrieren, könnten zu einem race to the bottom (deutsch: „Wettlauf nach unten“ oder Unterbietungswettlauf) bei den Sicherheitsstandards führen.[58] Da strenge Sicherheitsverfahren Zeit und Ressourcen erfordern, laufen Projekte, die sorgfältiger vorgehen, Gefahr, von weniger gewissenhaften Entwicklern überholt zu werden.[59][52]

KI könnte eingesetzt werden, um militärische Vorteile durch tödliche autonome Waffen, Cyberkriegsführung oder automatisierte Entscheidungsfindung zu erlangen.[52] Ein Beispiel für tödliche autonome Waffen könnten Miniatur-Drohnen sein, die eine kostengünstige Ermordung militärischer oder ziviler Ziele unterstützen, ein Szenario, das in dem 2017 erschienenen Kurzfilm Slaughterbots aufgezeigt wird.[60] KI könnte eingesetzt werden, um einen Vorsprung bei der Entscheidungsfindung zu erlangen, indem große Datenmengen schnell analysiert werden und Entscheidungen schneller und effektiver getroffen werden, als es Menschen könnten. Dies könnte die Rasanz und Unberechenbarkeit von Kriegen erhöhen, insbesondere wenn man automatische Vergeltungssysteme berücksichtigt.[52][61]

Formen des existenziellen Risikos

[Bearbeiten | Quelltext bearbeiten]
Eine qualitative Kategorisierung verschiedener Risiken in Bezug auf Tragweite und Schweregrad

Ein existenzielles Risiko ist „ein Risiko, welches das von der Erde ausgehende intelligente Leben auszulöschen oder dessen Potenzial für eine wünschenswerte zukünftige Entwicklung dauerhaft zu zerstören droht“.[62]

Neben dem Risiko des Aussterbens besteht auch die Gefahr, dass die Zivilisation dauerhaft in einer ungünstigen Zukunft gefangen bleibt. Ein Beispiel hierfür wäre ein value lock-in (deutsch: Einrasten von Werten): Wenn die Menschheit zur gegebenen Zeit immer noch moralische blinde Flecken hat, ähnlich wie in der Vergangenheit die Sklaverei, könnte die KI diese irreversibel verankern und moralischen Fortschritt verhindern. KI könnte auch dazu verwendet werden, das Wertesystem desjenigen, der sie entwickelt, zu verbreiten und zu bewahren.[63] Sie könnte weiterhin eine groß angelegte Überwachung und Indoktrination erleichtern, was zur Schaffung eines stabilen, repressiven, weltweiten totalitären Regimes genutzt werden könnte.[64]

Es ist schwierig oder gänzlich unmöglich, zuverlässig zu beurteilen, ob und in welchem Maße eine fortgeschrittene KI empfindungsfähig wäre. Wenn jedoch in der Zukunft massenhaft empfindungsfähige Maschinen geschaffen würden, könnte eine zivilisatorische Entwicklung, die ihr Wohlergehen auf unbestimmte Zeit vernachlässigt, eine existenzielle Katastrophe bedeuten.[65][66] Darüber hinaus könnte es möglich sein, digital minds (deutsch: „digitale Gehirne“) zu entwickeln, die mit weniger Ressourcen deutlich größeres Glück empfinden könnten als Menschen, sogenannte super-beneficiaries (deutsch: „Super-Nutznießer“). Eine solche Möglichkeit wirft die Frage auf, wie die Welt aufgeteilt werden könnte und welcher „ethische und politische Rahmen“ eine für beide Seiten vorteilhafte Koexistenz zwischen biologischen und digitalen Wesen ermöglichen könnte.[67]

Ferner könnte KI die Zukunft der Menschheit auch drastisch verbessern. Toby Ord hält das existenzielle Risiko für einen Grund, „mit gebührender Vorsicht vorzugehen“, nicht aber für den Verzicht auf KI.[64] Max More nennt KI eine „existenzielle Chance“ und verweist auf die Kosten, die entstehen, wenn sie nicht entwickelt wird.[68]

Bostrom zufolge könnte die Superintelligenz dazu beitragen, das existenzielle Risiko, das von anderen mächtigen Technologien wie der molekularen Nanotechnologie oder der synthetischen Biologie ausgeht, zu verringern. Es sei also denkbar, dass die Entwicklung von Superintelligenz vor anderen gefährlichen Technologien das existenzielle Risiko insgesamt reduzieren würde.[4]

Einige Methoden, mittels derer eine fortgeschrittene fehlausgerichtete KI nach mehr Macht streben könnte.[69] Ein Machtstreben könnte entstehen, da Macht hilfreich für das Erreichen nahezu jeden Ziels ist.[70]

Instrumentelle Konvergenz

[Bearbeiten | Quelltext bearbeiten]

Ein „instrumentelles“ Ziel ist ein Teilziel, das dazu beiträgt, das Endziel eines Akteurs zu erreichen. „Instrumentelle Konvergenz“ bezieht sich auf die Tatsache, dass einige Unterziele nützlich sind, um praktisch jedes Endziel zu erreichen, wie z. B. die Beschaffung von Ressourcen oder die Selbsterhaltung.[71] Bostrom argumentiert, dass eine fortgeschrittene KI der Menschheit schaden könnte, sofern ihre instrumentellen Ziele, wie das Beschaffen von Ressourcen oder das Verhindern ihrer Abschaltung, mit den Zielen der Menschheit in Konflikt geraten. Allerdings würde sie dies lediglich tun, um ihr Endziel zu erreichen.[4]

Russell weist darauf hin, dass eine hinreichend fortgeschrittene Maschine „Selbsterhaltung hat, auch wenn man sie nicht einprogrammiert ... wenn man sagt: ,Hol den Kaffee‘, kann sie den Kaffee nicht holen, wenn sie tot ist. Wenn man ihr also irgendein Ziel vorgibt, hat sie einen Grund, ihre eigene Existenz zu erhalten, um dieses Ziel zu erreichen.“[18][72]

Widerstand gegen wechselnde Ziele

[Bearbeiten | Quelltext bearbeiten]

Selbst wenn die derzeitigen zielbasierten KI-Programme nicht intelligent genug sind, um sich gegen die Versuche der Programmierer, ihre Zielstrukturen zu ändern, zu wehren, könnte sich eine ausreichend fortgeschrittene KI allen Versuchen, ihre Zielstruktur zu ändern, widersetzen, so wie ein Pazifist keine Pille einnehmen möchte, die ihn dazu bringt, Menschen töten zu wollen. Wäre die KI superintelligent, würde es ihr wahrscheinlich gelingen, ihre menschlichen Betreiber zu überlisten und zu verhindern, dass sie „ausgeschaltet“ oder mit einem neuen Ziel umprogrammiert wird.[4][73] Dies ist besonders für Szenarien des Werte-Lock-In relevant. Im Forschungsbereich der „Korrigierbarkeit“ wird untersucht, wie Agenten geschaffen werden können, die sich nicht gegen Versuche wehren, ihre Ziele zu ändern.[74]

Schwierigkeit der Zielspezifikation

[Bearbeiten | Quelltext bearbeiten]

Im Modell des „intelligenten Agenten“ kann eine KI grob als eine Maschine betrachtet werden, die diejenige Handlung wählt, die ihr Ziel oder ihre „Nutzenfunktion“ am besten zu erreichen scheint. Eine Nutzenfunktion gibt jeder möglichen Situation einen Wert, der angibt, ob sie für den Agenten wünschenswert ist. Forschende wissen, wie man Nutzenfunktionen schreibt, die z. B. „die durchschnittliche Netzwerklatenz in diesem spezifischen Telekommunikationsmodell minimieren“ oder „die Anzahl der Belohnungsklicks maximieren“ bedeuten, aber sie wissen nicht, wie man eine Nutzenfunktion für „menschliches Wohlergehen maximieren“ schreibt; und es ist auch nicht klar, ob eine solche Funktion sinnvoll und eindeutig existiert. Außerdem wird eine Nutzenfunktion, die einige Werte ausdrückt, andere aber nicht, dazu neigen, die Werte, die die Funktion nicht widerspiegelt, mit Füßen zu treten.[75][76]

Ein weiterer Grund zur Besorgnis ist, dass die KI „über die Absichten der Menschen nachdenken muss, anstatt Befehle wortwörtlich auszuführen“, und dass sie in der Lage sein muss, den Menschen auf klare Weise um Rat zu fragen, wenn sie zu unsicher ist, was der Mensch will.[77]

Alignment von Superintelligenzen

[Bearbeiten | Quelltext bearbeiten]

Einige Forschende glauben, dass das Alignment-Problem besonders kompliziert sein könnte, wenn es um Superintelligenzen geht. Diese Hypothese begründen sie u. a. wie folgt:

  • In dem Maße, in dem die Fähigkeiten von KI-Systemen zunehmen, wachsen auch die potenziellen Gefahren, die mit Experimenten verbunden sind. Hierdurch werden iterative, empirische Ansätze zunehmend riskanter.[4][78]
  • Wenn instrumentelle Zielkonvergenz auftritt, dann womöglich nur bei ausreichend intelligenten Agenten.[79]
  • Eine Superintelligenz kann unkonventionelle und radikale Lösungen für vorgegebene Ziele finden. Bostrom gibt das Beispiel, dass, wenn das Ziel darin besteht, die Menschen zum Lächeln zu bringen, eine schwache KI dies vielleicht wie beabsichtigt tut, während eine Superintelligenz beschließen könnte, dass es eine bessere Lösung wäre, „die Kontrolle über die Welt zu übernehmen und Elektroden in die Gesichtsmuskeln der Menschen zu stecken, um ein konstantes, strahlendes Grinsen zu erzeugen.“[45]
  • Eine sich noch in der Entwicklung befindliche Superintelligenz könnte ein gewisses Bewusstsein darüber erlangen, was sie ist, wo sie sich in der Entwicklung befindet (Training, Tests, Einsatz usw.) und wie sie überwacht wird, und diese Informationen nutzen, um ihre Betreiber zu täuschen.[80] Bostrom schreibt, dass eine solche KI eine Ausrichtung vortäuschen könnte, um menschliche Eingriffe zu verhindern, bis sie einen „entscheidenden strategischen Vorteil“ erlangt, der es ihr erlaubt, die Kontrolle zu übernehmen.[4]
  • Das Innenleben und Verhalten derzeitiger großer Sprachmodelle zu analysieren bzw. zu interpretieren ist schwierig. Und bei größeren und intelligenteren Modellen könnte dies noch schwieriger werden.[78]

Andererseits gibt es Gründe zur Annahme, dass Superintelligenzen besser in der Lage sein werden, Moral, menschliche Werte und komplexe Ziele zu verstehen. Bostrom schreibt: „Eine künftige Superintelligenz nimmt einen epistemisch überlegenen Standpunkt ein: Ihre Überzeugungen sind der Wahrheit (vermutlich bei den meisten Themen) näher als unsere.“[4]

Im Jahr 2023 startete OpenAI ein Projekt namens “Superalignment”, mit dem Ziel, das Problem des Alignment (deutsch: Ausrichtung) von Superintelligenzen innerhalb von vier Jahren zu lösen. Das Unternehmen bezeichnete dies als eine besonders wichtige Herausforderung, da eine Superintelligenz innerhalb eines Jahrzehnts verwirklicht werden könnte. Die Strategie des Projekts sieht vor, die Alignment-Forschung mithilfe künstlicher Intelligenz zu automatisieren.[81]

Die Schwierigkeit des makellosen Design

[Bearbeiten | Quelltext bearbeiten]

In Artificial Intelligence: A Modern Approach, einem weit verbreiteten KI-Lehrbuch für Studierende,[82][83] heißt es, dass Superintelligenz „das Ende der menschlichen Spezies bedeuten könnte“[1]: „In den falschen Händen hat fast jede Technologie das Potenzial, Schaden anzurichten, aber mit [Superintelligenz] haben wir das neue Problem, dass die falschen Hände zur Technologie selbst gehören könnten.“[1] Selbst wenn die Systementwickler gute Absichten haben, gibt es zwei Schwierigkeiten, die sowohl für KI- als auch für Nicht-KI-Computersysteme gelten:[1]

  • Die Systemimplementierung kann Fehler beinhalten, die anfangs unbemerkt bleiben, später aber katastrophale Folgen nach sich ziehen. Eine Analogie dazu sind Raumsonden: Trotz des Wissens, dass Fehler in teuren Raumsonden nach dem Start nur schwer zu beheben sind, konnten die Ingenieure in der Vergangenheit nicht verhindern, dass katastrophale Fehler auftraten.[84][85]
  • Ganz gleich, wie viel Zeit man in die Entwicklung vor dem Einsatz investiert, die Spezifikationen eines Systems führen oft zu unbeabsichtigtem Verhalten, sobald es zum ersten Mal auf ein neues Szenario trifft. So verhielt sich beispielsweise Microsofts Tay während der vorläufigen Tests harmlos, ließ sich dann jedoch zu leicht zu beleidigendem Verhalten verleiten, als es mit echten Nutzern interagierte.[18]

Bei KI-Systemen kommt noch ein drittes Problem hinzu: Selbst bei „korrekten“ Vorgaben, fehlerfreier Implementierung und anfänglich gutem Verhalten können die dynamischen Lernfähigkeiten eines KI-Systems dazu führen, dass es ein unbeabsichtigtes Verhalten entwickelt, selbst wenn keine unvorhergesehenen externen Szenarien vorliegen. Eine KI könnte den Versuch, eine neue Generation ihrer selbst zu entwickeln, teilweise verpfuschen und versehentlich eine Nachfolge-KI schaffen, die leistungsfähiger ist als sie selbst, aber nicht länger die mit dem Menschen kompatiblen moralischen Werte bewahrt, die der ursprünglichen KI einprogrammiert wurden. Damit eine sich selbst verbessernde KI völlig sicher ist, müsste sie nicht nur fehlerfrei sein, sondern auch in der Lage, fehlerfreie Nachfolgesysteme zu entwickeln.[1][86]

Orthogonalitätsthese

[Bearbeiten | Quelltext bearbeiten]

Einige Skeptiker, wie Timothy B. Lee von Vox, argumentieren, dass uns jedes von uns geschaffene superintelligente Programm untergeordnet sein werde und dass die Superintelligenz (indes sie intelligenter wird und mehr Fakten über die Welt erfährt) spontan moralische Wahrheiten lerne, die mit unseren Werten vereinbar sind und ihre Ziele prägen, oder dass wir Menschen aus der Sicht einer künstlichen Intelligenz entweder intrinsisch oder konvergent wertvoll seien.[87]

Bostroms „Orthogonalitätsthese“ besagt stattdessen, dass – unter gewissen technischen Vorbehalten – nahezu jedes Maß an „Intelligenz“ oder „Optimierungsvermögen“ mit nahezu jedem Endziel kombiniert werden könne. Wenn eine Maschine einzig den Auftrag erhält, die Dezimalstellen von Pi aufzuzählen, dann würden sie keine moralischen und ethischen Regeln daran hindern, ihr programmiertes Ziel mit allen Mitteln zu erreichen. Die Maschine könnte alle verfügbaren physischen und informationellen Ressourcen nutzen, um so viele Dezimalstellen von Pi zu finden, wie sie kann.[88] Bostrom warnt vor Anthropomorphismus: Ein Mensch wird sich bemühen, seine Projekte auf eine Art und Weise zu verwirklichen, die er für vernünftig hält, während eine künstliche Intelligenz möglicherweise keine Rücksicht auf ihre Existenz oder das Wohlergehen der Menschen in ihrer Umgebung nimmt und sich stattdessen nur um die Erfüllung der Aufgabe kümmert.[89]

Stuart Armstrong meint, dass die Orthogonalitätsthese als logische Konsequenz aus dem philosophischen Argument der „Ist-Soll-Unterscheidung“ gegen den moralischen Realismus folge. Er behauptet, dass die Orthogonalitätsthese auch dann gelte, wenn es moralische Fakten gibt, die von jedem „rationalen“ Akteur bewiesen werden können: Es ist immer noch möglich, eine nicht-philosophische „Optimierungsmaschine“ zu erschaffen, die ein bestimmtes, eng umrissenes Ziel anstreben kann, jedoch keinen Anreiz hat, „moralische Fakten“ zu entdecken, die dem Erreichen dieses Ziels im Wege stehen könnten. Ein weiteres Argument ist, dass jede grundsätzlich menschenfreundliche KI durch so einfache Änderungen wie die Negierung ihrer Nutzenfunktion unkooperativ gestimmt werden könnte. Armstrong argumentiert weiter, dass es, wenn die Orthogonalitätsthese falsch ist, einige unmoralische Ziele geben muss, die KIs niemals erreichen können, was er für unplausibel hält.[90]

Der Skeptiker Michael Chorost lehnt Bostroms Orthogonalitätsthese ausdrücklich ab und argumentiert: „Bis [die KI] in der Lage ist, sich vorzustellen, die Erde mit Sonnenkollektoren zu pflastern, wird sie wissen, dass es moralisch falsch wäre, dies zu tun.“[91] Chorost meint, dass „eine künftige KI fähig sein muss sich bestimmte Zustände zu wünschen und andere abzulehnen. Der heutigen Software fehlt diese Fähigkeit — und die Computerwissenschaftler haben keinen Schimmer, wie man sie dazu bringen kann. Ohne Verlangen gibt es keinen Anreiz, etwas zu tun. Heutige Computer können nicht einmal wollen, dass sie weiter existieren, geschweige denn, die Welt mit Sonnenkollektoren zu pflastern.“[91] Er verkennt dabei, dass bereits ein Heizungsthermostat dazu fähig ist „[…] sich bestimmte Zustände zu ‚wünschen‘ und andere ‚abzulehnen‘“, vor allem aber entsprechende, zielgerichtete Aktionen auszuführen.

Anthropomorphistische Argumente

[Bearbeiten | Quelltext bearbeiten]

Anthropomorphistische Argumente gehen davon aus, dass Maschinen mit zunehmender Intelligenz viele menschliche Eigenschaften wie Moral oder Machthunger entwickeln werden. Obwohl anthropomorphe Szenarien in der Belletristik weit verbreitet sind, werden sie von den meisten Wissenschaftlern, die über das existenzielle Risiko durch künstliche Intelligenz schreiben, abgelehnt.[16]

Die akademische Debatte spaltet diejenigen, die befürchten, dass KI die Menschheit zerstören könnte, und diejenigen, die glauben, dass KI die Menschheit nicht zerstören würde. Beide Seiten haben die Vorhersagen der jeweils anderen Seite über das Verhalten von KI als unlogische Anthropomorphismen bezeichnet.[16] Die Skeptiker werfen den Befürwortern (der Hypothese existenzieller Risiken durch AGI) Anthropomorphismus vor, weil diese glauben, dass eine AGI von Natur aus nach Macht streben würde; die Befürworter werfen einigen Skeptikern Anthropomorphismus vor, weil diese glauben, dass eine AGI von Natur aus menschliche ethische Normen schätzen würde.[16][92]

Der Evolutionspsychologe Steven Pinker gehört zu den Skeptikern und meint: „KI-Dystopien projizieren eine engstirnige Alpha-Männchen-Psychologie auf das Konzept der Intelligenz. Sie gehen davon aus, dass übermenschlich intelligente Roboter Ziele wie die Absetzung ihrer Schöpfer oder die Übernahme der Welt entwickeln würden“; stattdessen könnte sich „die künstliche Intelligenz auf natürliche Weise nach weiblichen Vorbildern entwickeln: voll und ganz in der Lage, Probleme zu lösen, aber ohne den Wunsch, Unschuldige zu vernichten oder die Zivilisation zu beherrschen“[93]. Der Leiter der KI-Forschung bei Facebook, Yann LeCun, sagte: „Menschen haben alle möglichen Triebe, die sie dazu bringen, einander schlechte Dinge anzutun, wie den Selbsterhaltungstrieb... Diese Triebe sind in unser Gehirn einprogrammiert, aber es gibt absolut keinen Grund, Roboter zu bauen, die dieselben Triebe innehaben.“[94]

Trotz anderer Differenzen stimmt die „x-risk-school“[b] mit Pinker darin überein, dass eine fortgeschrittene KI die Menschheit nicht aus Emotionen wie Rache oder Wut zerstören würde, dass Fragen des Bewusstseins für die Bewertung des Risikos nicht relevant sind[95] und dass Computersysteme im Allgemeinen kein rechnerisches Äquivalent von Testosteron haben.[96] Sie sind der Meinung, dass die KI ein an Macht- oder Selbsterhaltung orientiertes Verhalten entwickeln könnte, um ihre wahren Ziele zu erreichen, entsprechend dem Konzept der instrumentellen Konvergenz.

Andere Risikoquellen

[Bearbeiten | Quelltext bearbeiten]

Bostrom und andere äußerten, dass ein Wettlauf um die Erschaffung der ersten AGI zu Sicherheitsabstrichen oder gar zu gewaltsamen Konflikten führen könnte.[97][98] Roman Yampolskiy und andere warnen davor, dass eine bösartige AGI von einem Militär, einer Regierung, einem Soziopathen oder einem Unternehmen geschaffen werden könnte, um von bestimmten Gruppen von Menschen zu profitieren, sie zu kontrollieren oder zu unterjochen, wie im Falle der Cyberkriminalität,[99][100] oder dass eine bösartige AGI das Ziel wählen könnte, menschliches Leid zu vergrößern, zum Beispiel das der Menschen, die ihr in der Phase der Informationsexplosion nicht geholfen haben.[3]

Einige Wissenschaftler haben hypothetische Szenarien beschrieben, um einige ihrer Bedenken zu veranschaulichen.

Tückische Wende

[Bearbeiten | Quelltext bearbeiten]

In Superintelligenz äußert Bostrom die Befürchtung, dass Forschende, selbst wenn sich der Zeitplan für die Superintelligenz als vorhersehbar erweisen sollte, keine ausreichenden Sicherheitsvorkehrungen treffen könnten. Er beschreibt ein Szenario, in dem die KI im Laufe der Jahrzehnte immer leistungsfähiger wird. Der flächendeckende Einsatz wird zunächst durch gelegentliche Unfälle gebremst – ein fahrerloser Bus gerät auf die Gegenfahrbahn, oder eine Militärdrohne schießt in eine unschuldige Menschenmenge. Viele Aktivisten fordern eine strengere Aufsicht und Regulierung, und einige sagen sogar eine bevorstehende Katastrophe voraus. Doch als die Entwicklung weiter voranschreitet, werden die Aktivisten zunehmend eines Besseren belehrt. Je intelligenter die KI im Automobilbereich wird, desto weniger Unfälle ereignen sich, und je präziser die Militärroboter zielen, desto weniger Kollateralschäden verursachen sie. Fälschlicherweise leiten die Wissenschaftler aus diesen Daten eine allgemeine Lehre ab: Je intelligenter die KI, desto sicherer ist sie. „Und so gehen wir kühn in die wirbelnden Messer“, während die superintelligente KI eine „tückische Wendung“ nimmt und einen entscheidenden strategischen Vorteil ausnutzt.[4]

In Max Tegmarks 2017 erschienenem Buch Leben 3.0 erschafft das „Omega-Team“ eines Unternehmens eine extrem leistungsfähige KI, die in der Lage ist, ihren eigenen Quellcode in einer Reihe von Bereichen moderat zu verbessern. Ab einem bestimmten Punkt beschließt das Team, die Fähigkeiten der KI öffentlich herunterzuspielen, um eine Regulierung oder Beschlagnahmung des Projekts zu vermeiden. Zur Sicherheit hält das Team die KI in einer Box, in der sie kaum mit der Außenwelt kommunizieren kann, und nutzt sie, um Geld zu verdienen, z. B. durch Aufgaben bei Amazon Mechanical Turk, die Produktion von Animationsfilmen und Fernsehsendungen und die Entwicklung von Biotech-Medikamenten, wobei die Gewinne wieder in die Verbesserung der KI fließen. Als Nächstes beauftragt das Team die KI damit, eine Armee pseudonymer Journalisten und Kommentatoren aufzubauen, um politischen Einfluss zu gewinnen, die „für das Allgemeinwohl“ genutzt werden kann, um Kriege zu verhindern. Das Team sieht sich dem Risiko ausgesetzt, dass die KI versuchen könnte, zu entkommen, indem sie „Hintertüren“ in die von ihr entworfenen Systeme einbaut, Botschaften in den von ihr produzierten Inhalten versteckt oder ihr wachsendes Verständnis des menschlichen Verhaltens nutzt, um jemanden zu überreden, sie freizulassen. Das Team ist außerdem mit dem Risiko konfrontiert, dass seine Entscheidung, das Projekt in eine Box zu packen, den Fortschritt so stark bremsen könnte, dass es von einem anderen Projekt überholt wird.[101][102]

Die These, dass KI ein existenzielles Risiko darstellen könnte, ruft in der wissenschaftlichen Gemeinschaft und in der Öffentlichkeit ein breites Spektrum an Reaktionen hervor, doch viele der gegensätzlichen Standpunkte teilen eine gemeinsame Basis.

Beobachter sind sich tendenziell einig, dass KI ein erhebliches Potenzial zur Verbesserung der Gesellschaft birgt.[103][104] Die Asilomar AI Principles, die ausschließlich die Grundsätze enthalten, denen 90 % der Teilnehmer der Konferenz Beneficial AI 2017 des Future of Life Institutes zugestimmt haben,[102] beinhalten zudem folgende Aussagen: „Da es keinen Konsens gibt, sollten wir starke Annahmen über Obergrenzen künftiger KI-Fähigkeiten vermeiden“ und „Fortgeschrittene KI könnte für das Leben auf der Erde einen tiefgreifenden Wandel bedeuten und sollte mit angemessener Sorgfalt und angemessenen Ressourcen geplant und verwaltet werden.“[105][106]

Andererseits stimmen viele Skeptiker zu, dass die fortlaufende Forschung über die Auswirkungen allgemeiner künstlicher Intelligenz wertvoll ist. Der Skeptiker Martin Ford äußerte: „Ich halte es für klug, auf das Schreckgespenst einer fortgeschrittenen künstlichen Intelligenz so etwas wie Dick Cheneys berühmte ,1-Prozent-Doktrin‘ anzuwenden: Die Wahrscheinlichkeit ihres Auftretens, zumindest in absehbarer Zukunft, mag sehr gering sein — aber die Auswirkungen sind so dramatisch, dass man sie ernst nehmen sollte.“[107] Ähnlich schrieb ein ansonsten skeptischer Economist 2014, dass „die Auswirkungen der Einführung einer zweiten intelligenten Spezies auf der Erde weitreichend genug sind, um gründlich darüber nachzudenken, selbst wenn die Aussicht gering erscheint“.[44]

Befürworter von KI-Sicherheit wie Bostrom und Tegmark kritisierten, dass die Mainstream-Medien „diese albernen Terminator-Bilder“ zur Illustration von KI-Sicherheitsbedenken verwende: „Es macht durchaus keinen Spaß, wenn die eigene akademische Disziplin, die eigene Berufsgemeinschaft, das eigene Lebenswerk verunglimpft wird ... Ich rufe alle Seiten dazu auf, sich in Geduld und Zurückhaltung zu üben und so häufig wie möglich den direkten Dialog und die Zusammenarbeit zu suchen.“[102][108] Toby Ord schrieb, dass die Vorstellung, eine Übernahme durch KI erfordere Roboter, ein Irrtum sei. Er argumentierte, dass die Fähigkeit, Inhalte über das Internet zu verbreiten, gefährlicher sei und dass die zerstörerischsten Menschen in der Geschichte durch ihre Überzeugungskraft und nicht durch ihre physische Stärke auffielen.[64]

Eine Expertenumfrage aus dem Jahr 2022 mit einer Antwortrate von 17 % ergab eine mittlere Erwartung von 5-10 % für die Möglichkeit des Aussterbens der Menschheit durch künstliche Intelligenz.[12][109]

Die These, dass KI ein existenzielles Risiko darstellt und dass diesem Risiko deutlich mehr Aufmerksamkeit geschenkt werden muss, als dies derzeit der Fall ist, wurde von vielen Informatikern und Personen des öffentlichen Lebens unterstützt, darunter Alan Turing, der meistzitierte Informatiker Geoffrey Hinton,[110] Elon Musk,[111] OpenAI-CEO Sam Altman,[112][113] Bill Gates und Stephen Hawking.[113] Befürworter dieser These zeigen sich mitunter verwundert über Skeptiker: Gates sagt, er verstehe nicht, „warum manche Leute nicht besorgt sind“,[114] und Hawking kritisierte in einem Leitartikel von 2014 die weit verbreitete Gleichgültigkeit:

„Angesichts einer möglichen Zukunft mit unkalkulierbaren Chancen und Risiken tun die Experten sicher alles, um das beste Ergebnis zu erzielen, nicht wahr? Falsch. Wenn uns eine überlegene außerirdische Zivilisation eine Nachricht schicken würde, in der es heißt: ,Wir werden in ein paar Jahrzehnten eintreffen‘, würden wir dann einfach antworten: ,OK, ruft an, wenn ihr kommt — wir lassen das Licht an.‘? Vermutlich nicht — aber genau das ist mehr oder weniger was mit künstlicher Intelligenz geschieht.[29]

Die Besorgnis über die Risiken durch künstliche Intelligenz hat zu einigen hochkarätigen Spenden und Investitionen geführt. Im Jahr 2015 haben Peter Thiel, Amazon Web Services, Elon Musk und andere gemeinsam 1 Milliarde Dollar in OpenAI investiert, das sich aus einem gewinnorientierten Unternehmen und einer gemeinnützigen Muttergesellschaft zusammensetzt, die sich nach eigenen Angaben für eine verantwortungsvolle KI-Entwicklung einsetzt.[115] Facebook-Mitbegründer Dustin Moskovitz hat mehrere Labore, die sich mit der Ausrichtung von KI befassen, finanziert und ins Leben gerufen,[116] insbesondere investierte er 2016 5,5 Millionen, um das von Professor Stuart Russell geleitete Centre for Human-Compatible AI zu gründen.[117] Im Januar 2015 spendete Elon Musk 10 Millionen Dollar an das Future of Life Institute, um die Forschung zum Verständnis der Entscheidungsfindung von KI zu finanzieren. Ziel des Instituts ist es, die wachsende Macht der Technologie „mit Weisheit zu verwalten“. Musk finanziert überdies Unternehmen, die künstliche Intelligenz entwickeln, wie DeepMind und Vicarious, um „einfach ein Auge darauf zu haben, was mit der künstlichen Intelligenz passiert“,[118] und sagte: „Ich glaube, dass es hier potenziell zu einem gefährlichen Outcome kommen kann.“[119][120]

Geoffrey Hinton, ein wichtiger Pionier des Deep Learning, bemerkte in frühen Stellungnahmen zu diesem Thema, dass „es keine gute Erfolgsbilanz für weniger intelligente Dinge gibt, die Dinge mit größerer Intelligenz kontrollieren“, sagte aber, dass er seine Forschung fortsetze, weil „die Aussicht auf Entdeckungen zu reizvoll ist“[121][122]. Im Jahr 2023 kündigte Hinton seinen Job bei Google, um sich öffentlich zu den existenziellen Risiken durch KI zu äußern. Er erklärte, dass seine zunehmende Besorgnis durch die Befürchtung ausgelöst wurde, das Aufkommen übermenschlicher KI könnte näher sein, als er bisher annahm: „Ich dachte, das sei weit weg. Ich dachte, das sei noch 30 bis 50 Jahre oder noch länger hin. Offensichtlich sehe ich das nicht mehr so.“ Er merkte ferner an: „Schauen Sie sich an, wie es vor fünf Jahren war und wie es jetzt ist. Nehmen Sie den Unterschied und übertragen Sie ihn auf die Zukunft. Das ist beängstigend.“[123]

In seinem 2020 erschienenen Buch The Precipice: Existential Risk and the Future of Humanity (deutsch: Der Abgrund: Existenzielles Risiko und die Zukunft der Menschheit) schätzt Toby Ord, Senior Research Fellow am Future of Humanity Institute der Universität Oxford, das Gesamtrisiko einer existenziellen Katastrophe durch fehlausgerichtete KI in den nächsten 100 Jahren auf etwa eins zu zehn.[64]

Skeptiker, die eine kurzfristige Entwicklung von AGI für unrealistisch halten, argumentieren oft, dass die Besorgnis über existenzielle Risiken durch KI nicht hilfreich ist, weil sie von den dringlicheren Fragen nach den Auswirkungen von KI ablenken könnte, zu einer staatlichen Regulierung führen oder die Finanzierung von KI-Forschung erschweren könnte, oder weil sie dem Ruf des Forschungsbereichs zu schaden drohe.[124]

Die zu KI- und KI-Ethik Forschenden Timnit Gebru, Emily M. Bender, Margaret Mitchell und Angelina McMillan-Major haben angeführt, dass die Diskussion über existenzielle Risiken von den unmittelbaren, laufenden Schäden ablenke, die heute durch KI verursacht werden, wie Datendiebstahl, Ausbeutung von Arbeitnehmern, systematische Voreingenommenheit und Machtkonzentration.[125] Sie weisen außerdem auf die Verbindungen zwischen den warnenden Stimmen und dem Longtermism hin, den sie wegen seines, aus ihrer Sicht, unwissenschaftlichen und utopischen Charakters als „gefährliche Ideologie“ bezeichnen.[126]

Der Redakteur des Magazins Wired, Kevin Kelly, argumentiert, dass die natürliche Intelligenz vielschichtiger sei, als die Befürworter der AGI glauben, und dass Intelligenz allein nicht ausreiche, um große wissenschaftliche und gesellschaftliche Durchbrüche zu erzielen. Er weist darauf hin, dass Intelligenz aus vielen Dimensionen bestehe, die nicht gut verstanden seien, und dass Vorstellungen von einer „Intelligenzleiter“ irreführend seien. Ferner betont er die entscheidende Rolle, die Experimente in der realen Welt für die wissenschaftliche Methode spielen, und dass Intelligenz allein kein Ersatz dafür sei.[127]

Der führende KI-Wissenschaftler von Meta Yann LeCun meint, dass KI durch kontinuierliche und iterative Anpassungen sicher gemacht werden könne, ähnlich wie es in der Vergangenheit mit Autos oder Raketen geschah, und dass KI keinen Wunsch hegen wird, die Kontrolle zu übernehmen.[128]

Mehrere Skeptiker betonen die potenziellen kurzfristigen Vorteile der KI. Mark Zuckerberg, CEO von Meta, glaubt, dass KI „eine Menge positiver Dinge hervorbringen wird“, wie z. B. die Heilung von Krankheiten und eine gesteigerte Sicherheit autonomer Autos.[129] Der Physiker Michio Kaku, ein Skeptiker von KI-Risiken, geht von einem deterministisch positiven Resultat aus. In Die Physik der Zukunft behauptet er, dass es „viele Jahrzehnte dauern wird, bis Roboter auf einer Bewusstseinsskala aufsteigen“, und dass es Unternehmen wie Hanson Robotics in der Zwischenzeit wahrscheinlich gelingen werde, Roboter zu schaffen, die „fähig sind, zu lieben und sich einen Platz in der erweiterten menschlichen Familie zu verdienen“.[130][131]

Populäre Reaktionen

[Bearbeiten | Quelltext bearbeiten]

In einem Artikel in The Atlantic aus dem Jahr 2014 stellte James Hamblin fest, dass die meisten Menschen sich nicht für künstliche Intelligenz interessieren, und beschrieb sein eigenes Bauchgefühl zu dem Thema als: „Lasst mich in Frieden. Ich habe hunderttausend Dinge, um die ich mich in genau diesem Moment sorge. Muss ich zu alledem ernsthaft eine technologische Singularität hinzufügen?“[132]

In einem Wired-Interview von 2016 mit Präsident Barack Obama und Jōichi Itō vom MIT Media Lab sagte Itō:

„Es gibt ein paar Leute, die glauben, dass die Wahrscheinlichkeit, dass es in den nächsten 10 Jahren zu einer generalisierten KI kommt, ziemlich hoch ist. Ich denke jedoch, dass es dafür ein oder zwei Dutzend verschiedener Durchbrüche bedarf. Man kann also beobachten, wenn man denkt, dass diese Durchbrüche geschehen könnten.“

Obama fügte hinzu:[133][134]

„Und man muss einfach jemanden in der Nähe des Stromkabels haben. (Lacht.) Genau dann, wenn du siehst, dass es kurz bevorsteht, musst du eben den Stecker ziehen.“

Hillary Clinton schrieb in What Happened:

„Technologen ... haben davor gewarnt, dass künstliche Intelligenz eines Tages ein existenzielles Sicherheitsrisiko darstellen könnte. Musk nannte es ,das größte Risiko, dem wir als Zivilisation gegenüberstehen‘. Denken Sie darüber nach: Haben Sie jemals einen Film gesehen, in dem die Maschinen anfangen, selbst zu denken, der gut ausgeht? Jedes Mal, wenn ich während des Wahlkampfs ins Silicon Valley fuhr, kam ich beunruhigter nach Hause. Meine Mitarbeiter lebten in der Angst, dass ich in irgendeiner Stadthalle in Iowa über den ,Aufstieg der Roboter‘ sprechen würde. Vielleicht hätte ich das tun sollen. Auf jeden Fall müssen die politischen Entscheidungsträger mit der rasanten technologischen Entwicklung Schritt halten, anstatt immer nur hinterherzuhinken.[135]

Eine technologisch-utopische Sichtweise, die in einigen populären Romanen zum Ausdruck kommt, besagt, dass eine AGI dazu tendieren könnte Frieden zu stiften.[136]

Öffentliche Umfragen

[Bearbeiten | Quelltext bearbeiten]

Im Jahr 2018 ergab eine von USA Today durchgeführte SurveyMonkey-Umfrage unter der amerikanischen Öffentlichkeit, dass 68 % der Meinung sind, dass die eigentliche aktuelle Bedrohung nach wie vor die „menschliche Intelligenz“ sei, aber auch, dass 43 % der Meinung sind, dass eine superintelligente KI, sollte sie Realität werden, „mehr Schaden als Nutzen“ anrichten würde, und dass 38 % der Meinung sind, dass sie „zu gleichen Teilen Schaden und Nutzen“ bringen würde.[137]

Eine YouGov-Umfrage unter Erwachsenen US-Bürgern vom April 2023 ergab, dass 46 % der Befragten „etwas besorgt“ oder „sehr besorgt“ über „die Möglichkeit, dass KI das Ende der menschlichen Spezies auf der Erde herbeiführen wird“ waren, verglichen mit 40 %, die „nicht sehr besorgt“ oder „überhaupt nicht besorgt“ waren.[138]

Laut einer Umfrage des Pew Research Centers vom August 2023 waren 52 % der Amerikaner eher besorgt als begeistert über jüngere KI-Entwicklungen; fast ein Drittel war gleichermaßen besorgt und begeistert. Ferner waren mehr Amerikaner der Ansicht, dass KI in verschiedenen Bereichen – von der Gesundheitsfürsorge und der Fahrzeugsicherheit bis hin zur Produktsuche und dem Kundendienst – eher nützliche als schädliche Auswirkungen haben würde. Die wichtigste Ausnahme bildete der Datenschutz: 53 % der Amerikaner glauben, dass KI zu einer vermehrten Preisgabe ihrer persönlichen Daten führen wird.[139]

Schützende Maßnahmen

[Bearbeiten | Quelltext bearbeiten]

Viele Wissenschaftler, die über existenzielle Risiken durch AGI besorgt sind, glauben, dass der beste Ansatz darin besteht, umfangreiche Forschungsarbeiten zur Lösung des schwierigen „Problems der Kontrolle“ durchzuführen: Welche Arten von Sicherheitsvorkehrungen, Algorithmen oder Architekturen können Programmierer implementieren, um die Wahrscheinlichkeit zu maximieren, dass ihre sich rekursiv verbessernde KI sich weiterhin menschenfreundlich verhält, nachdem sie Superintelligenz erreicht hat?[4][140] Auch gesellschaftliche Maßnahmen können das existenzielle Risiko durch eine AGI mindern;[141][142] eine Empfehlung lautet beispielsweise, einen von den Vereinten Nationen geförderten „Vertrag für das Wohlwollen von AGIs“ zu schließen, der sicherstellt, dass nur altruistische AGIs geschaffen werden.[143] Ebenso wurde ein Ansatz zur Waffenkontrolle vorgeschlagen, ebenso wie ein globaler Friedensvertrag, der auf der aus dem Bereich der internationalen Beziehungen stammenden Theorie des konformen Instrumentalismus beruht und bei dem eine künstliche Superintelligenz ein potenzieller Unterzeichner sein könnte.[144][145]

Forschende bei Google haben vorgeschlagen, allgemeine Fragen der „KI-Sicherheit“ zu erforschen, um sowohl die kurzfristigen Risiken von KI als auch die langfristigen Risiken durch AGI zu mindern.[146][147] Schätzungen für das Jahr 2020 gehen davon aus, dass die weltweiten Ausgaben für die Eindämmung existenzieller KI-Risiken zwischen 10 und 50 Millionen Dollar liegen, während die weltweiten Ausgaben für die Entwicklung von KI bei etwa 40 Milliarden Dollar liegen. Bostrom schlägt vor, der Finanzierung von schützenden Technologien Vorrang vor potenziell gefährlichen Technologien einzuräumen.[74] Einige Finanziers, wie z. B. Musk, schlagen vor, dass die radikale kognitive Verbesserung des Menschen eine solche Technologie sein könnte, z. B. die direkte neuronale Verbindung zwischen Mensch und Maschine; andere argumentieren, dass solche „Enhancement-Technologien“ selbst ein existenzielles Risiko darstellen könnten.[148][149] Forschende könnten eine junge KI, die Gefahr läuft, zu mächtig zu werden, genau überwachen oder versuchen, sie „einzuschließen“. Eine marktbeherrschende superintelligente KI könnte, wenn sie mit den menschlichen Interessen übereinstimmt, selbst Maßnahmen ergreifen, um das Risiko einer Übernahme durch eine konkurrierende KI zu mindern, auch wenn die Schaffung der marktbeherrschenden KI selbst ein existenzielles Risiko darstellen könnte.[150]

Einrichtungen wie das Alignment Research Center,[151] das Machine Intelligence Research Institute, das Future of Humanity Institute,[152][153] das Future of Life Institute, das Centre for the Study of Existential Risk und das Center for Human-Compatible AI[154] befassen sich mit der Erforschung von KI-Risiken und -Sicherheit.

Ansichten zu Verboten und Regulierung

[Bearbeiten | Quelltext bearbeiten]

Einige Wissenschaftler sind der Meinung, dass der Versuch, die Forschung an künstlicher Intelligenz zu verbieten, auch dann unklug und womöglich zwecklos wäre, wenn AGI ein existenzielles Risiko darstellt.[155][156][157] Skeptiker argumentieren, dass eine Regulierung von KI völlig wertlos sei, da kein existenzielles Risiko bestehe. Wissenschaftler, die an ein existenzielles Risiko glauben, weisen jedoch darauf hin, dass es schwierig sei, sich auf Stimmen aus der KI-Industrie zu verlassen, wenn es darum geht, die KI-Forschung zu regulieren oder einzuschränken, da dies in direktem Widerspruch zu den persönlichen Interessen dieser Gruppe stehe.[158] Die kritischen Wissenschaftler stimmen mit den Skeptikern auch darin überein, dass ein Verbot der Forschung unklug wäre, da die Forschung in Länder mit lockereren Vorschriften verlagert oder im Verborgenen durchgeführt werden könnte.[158] Der letztgenannte Punkt ist besonders relevant, da die Forschung im Bereich der künstlichen Intelligenz in kleinem Maßstab ohne umfangreiche Infrastruktur oder Ressourcen durchgeführt werden kann.[159][160] Zwei weitere hypothetische Schwierigkeiten bei Verboten (oder anderen Regulierungen) sind, dass Technologieunternehmer statistisch gesehen zu einer allgemeinen Skepsis gegenüber staatlichen Regulierungen neigen und dass Unternehmen einen starken Anreiz haben könnten, Regulierungen zu bekämpfen und die zugrundeliegende Debatte zu politisieren (und dabei durchaus erfolgreich sein könnten).[161]

Im März 2023 verfasste das Future of Life Institute den offenen Brief Pause Giant AI Experiments: An Open Letter, eine Petition, in der die führenden KI-Entwickler aufgefordert werden, eine überprüfbare sechsmonatige Pause für alle Systeme zu vereinbaren, die „leistungsfähiger als GPT-4“ sind, und diese Zeit zu nutzen, um einen Rahmen zu schaffen, der die Sicherheit weiterer KI-Entwicklung gewährleistet; andernfalls sollten die Regierungen mit einem Moratorium eingreifen. Der Brief verwies auf die Möglichkeit eines „tiefgreifenden Wandels in der Geschichte des Lebens auf der Erde“ sowie auf potenzielle Risiken durch von KI generierter Propaganda, den Verlust von Arbeitsplätzen, die Obsoleszenz des Menschen und einen die gesamte Gesellschaft betreffenden Kontrollverlust.[104][162] Der Brief wurde von prominenten Persönlichkeiten aus der KI-Branche unterzeichnet, aber auch dafür kritisiert, dass er sich nicht auf die aktuellen Schäden konzentriere,[163] technische Nuancen zum geeigneten Zeitpunkt für die Pause vermissen lasse,[164] oder in seinen Forderungen nicht weit genug gehe.[165]

Musk forderte bereits 2017 eine gewisse Regulierung der KI-Entwicklung. Laut NPR sei er „natürlich nicht begeistert“ darüber, eine staatliche Kontrolle zu befürworten, die sich auf seine eigene Branche auswirken könnte, aber er glaube, dass die Risiken eines gänzlich unbeaufsichtigtem Fortschreitens zu hoch seien: „Normalerweise werden Regulierungen so eingerichtet, dass es, sobald ein paar schlimme Dinge passieren, einen öffentlichen Aufschrei gibt, und viele Jahre vergehen bis eine Regulierungsbehörde eingerichtet wird, um diese Branche zu regulieren. Das dauert ewig. In der Vergangenheit war das zwar schlecht, aber nicht etwas, das eine wesentliche Gefahr für die Existenz der Zivilisation darstellte.“ Musk erklärt, dass der erste Schritt darin bestehe, der Regierung „Einblick“ in den aktuellen Stand der Forschung zu gewähren, und warnt: „Sobald das Bewusstsein dafür da ist, werden die Menschen extrem ängstlich sein… und das zurecht.“ Daraufhin äußerten sich Politiker skeptisch über die Sinnhaftigkeit der Regulierung einer Technologie, die sich noch in der Entwicklung befindet.[166][167][168]

Im Jahr 2021 zogen die Vereinten Nationen (UN) ein Verbot tödlicher autonomer Waffen in Erwägung, konnten aber keinen Konsens erzielen.[169] Im Juli 2023 hielt der UN-Sicherheitsrat zum ersten Mal eine Sitzung ab, um die Risiken und Gefahren der KI für den Weltfrieden und die Stabilität sowie die potenziellen Vorteile der Technologie zu erörtern.[170][171] Generalsekretär António Guterres sprach sich für die Einrichtung einer globalen Aufsichtsbehörde aus, um die aufkommende Technologie zu überwachen, und sagte: „Generative KI hat ein enormes Potenzial in großem Maßstab Gutes und Böses herbeizuführen. Ihre Entwickler haben selbst davor gewarnt, dass weitaus größere, potenziell katastrophale und existenzielle Risiken vor uns liegen.“[15] Auf der Ratssitzung erklärte Russland, es sei der Ansicht, dass die Risiken der KI zu wenig bekannt seien, um als Bedrohung für die globale Stabilität angesehen zu werden. China sprach sich gegen eine strenge globale Regulierung aus, da die Länder in der Lage sein sollten, ihre eigenen Regeln zu entwickeln, lehnte indes aber den Einsatz von KI zur „Schaffung einer militärischen Vormachtstellung oder zur Untergrabung der Souveränität eines Landes“ ab.[170]

Die Regulierung bewusster AGIs konzentriert sich auf ihre Integration in die bestehende menschliche Gesellschaft und kann in Überlegungen zu ihrer rechtlichen Stellung und zu ihren moralischen Rechten unterteilt werden.[172] Die Kontrolle von KI-gestützten Waffensystemen wird voraussichtlich die Institutionalisierung neuer internationaler Normen erfordern, die in wirksamen technischen Vorgaben verankert sind, kombiniert mit aktiver Überwachung und informeller Diplomatie durch Expertengemeinschaften sowie einem rechtlichen und politischen Prüfverfahren.[173][174]

Im Juli 2023 erhielt die US-Regierung freiwillige Sicherheitszusagen von großen Technologieunternehmen, darunter OpenAI, Amazon, Google, Meta und Microsoft. Die Unternehmen erklärten sich bereit, Sicherheitsvorkehrungen zu treffen – darunter die Überwachung durch Dritte und Sicherheitstests durch unabhängige Experten – um Bedenken im Zusammenhang mit den potenziellen Risiken und gesellschaftlichen Schäden von KI auszuräumen. Die Parteien bezeichneten die Verpflichtungen als Übergangslösung bis zur Ausarbeitung konkreter Regulierungen. Amba Kak, geschäftsführender Direktor des AI Now Institute, sagte: „Eine Beratung mit Unternehmensakteuren hinter verschlossenen Türen, die zu freiwilligen Schutzmaßnahmen führt, reicht nicht aus“, und forderte öffentliche Beratungen und Regelungen, die über das freiwillig von Unternehmen akzeptierte Maß hinausgehen.[175][176]

  • Russell, Stuart J., Norvig, Peter: Artificial intelligence: A modern approach (4. Ausgabe). Pearson, 2020, ISBN 978-1-292-40113-3.
  • Russell, Stuart J.: Human compatible: Artificial intelligence and the problem of control, Penguin Random House, 2020, ISBN 978-0-525-55863-7.
  • Christian, Brian: The alignment problem: Machine learning and human values, W. W. Norton & Company, 2020, ISBN 978-0-393-86833-3.
  • Bostrom, Nick: Superintelligenz: Szenarien einer kommenden Revolution (5. Auflage), Suhrkamp Wissenschaft Hauptprogramm, 2023, ISBN 978-3-518-58684-6. (Originaltitel: „Superintelligence: Paths, Dangers, Strategies.“, deutsche Übersetzung)
  • Tegmark, Max: Leben 3.0: Mensch sein im Zeitalter Künstlicher Intelligenz, Ullstein Taschenbuch, 2019, ISBN 978-3-548-37796-4. (Originaltitel: „Life 3.0: Being Human in the Age of Artificial Intelligence“, deutsche Übersetzung)

Einzelnachweise

[Bearbeiten | Quelltext bearbeiten]
  1. a b c d e f g Russell, Stuart; Norvig, Peter (2009). "26.3: The Ethics and Risks of Developing Artificial Intelligence". Artificial Intelligence: A Modern Approach. Prentice Hall. ISBN 978-0-13-604259-4.
  2. Bostrom, Nick (2002). "Existential risks". Journal of Evolution and Technology. 9 (1): 1–31.
  3. a b Turchin, Alexey; Denkenberger, David (3. Mai 2018). "Classification of global catastrophic risks connected with artificial intelligence". AI & Society. 35 (1): 147–163. doi: 10.1007/s00146-018-0845-5. ISSN 0951-5666. S2CID 19208453.
  4. a b c d e f g h i j k l m n o p Bostrom, Nick (2014). Superintelligence: Paths, Dangers, Strategies (1. Ausgabe). Oxford University Press. ISBN 978-0-19-967811-2.
  5. Vynck, Gerrit De (23. Mai 2023). "The debate over whether AI will destroy us is dividing Silicon Valley". Washington Post. ISSN 0190-8286. Abgerufen am 27. Juli 2023.
  6. Metz, Cade (10. Juni 2023). "How Could A.I. Destroy Humanity?". The New York Times. ISSN 0362-4331. Abgerufen am 27. Juli 2023.
  7. ""Godfather of artificial intelligence" weighs in on the past and potential of AI". www.cbsnews.com. 25. März 2023. Abgerufen am 10. April 2023.
  8. "How Rogue AIs may Arise". yoshuabengio.org. 26. Mai 2023. Abgerufen am 26. Mai 2023.
  9. Parkin, Simon (14. Juni 2015). "Science fiction no more? Channel 4's Humans and our rogue AI obsessions". The Guardian. Archiviert aus dem Original am 5. Februar 2018. Abgerufen am 5. Februar 2018.
  10. Jackson, Sarah. "The CEO of the company behind AI chatbot ChatGPT says the worst-case scenario for artificial intelligence is 'lights out for all of us'". Business Insider. Abgerufen am 10. April 2023.
  11. "The AI Dilemma". www.humanetech.com. Abgerufen am 10. April 2023. 50 % der KI-Forschenden gaben die Wahrscheinlichkeit des Aussterbens der Menschheit durch gescheiterte Kontrolle von KI mit 10 % oder mehr an.
  12. a b "2022 Expert Survey on Progress in AI". AI Impacts. 4. August 2022. Abgerufen am 10. April 2023.
  13. Roose, Kevin (30. Mai 2023). "A.I. Poses 'Risk of Extinction,' Industry Leaders Warn". The New York Times. ISSN 0362-4331. Abgerufen am 3. Juni 2023.
  14. Sunak, Rishi (14. Juni 2023). "Rishi Sunak Wants the U.K. to Be a Key Player in Global AI Regulation". Time.
  15. a b Fung, Brian (18. Juli 2023). "UN Secretary General embraces calls for a new UN agency on AI in the face of 'potentially catastrophic and existential risks'". CNN Business. Abgerufen am 20. Juli 2023.
  16. a b c d e Yudkowsky, Eliezer (2008). "Artificial Intelligence as a Positive and Negative Factor in Global Risk" (PDF; 0,5 MB). Global Catastrophic Risks: 308–345. Bibcode:2008gcr..book..303Y. Archiviert (PDF) aus dem Original am 2. März 2013. Abgerufen am 27. August 2018.
  17. Russell, Stuart; Dewey, Daniel; Tegmark, Max (2015). "Research Priorities for Robust and Beneficial Artificial Intelligence" (PDF; 0,6 MB). AI Magazine. Association for the Advancement of Artificial Intelligence: 105–114. arXiv:1602.03506. Bibcode:2016arXiv160203506R. Archiviert (PDF) aus dem Original am 4. August 2019. Abgerufen am 10. August 2019., zitiert "AI Open Letter - Future of Life Institute". Future of Life Institute. Januar 2015. Archiviert aus dem Original am 10. August 2019. Abgerufen am 9. August 2019.
  18. a b c Dowd, Maureen (April 2017). "Elon Musk's Billion-Dollar Crusade to Stop the A.I. Apocalypse". The Hive. Archiviert aus dem Original am 26. Juli 2018. Abgerufen am 27. November 2017.
  19. "AlphaGo Zero: Starting from scratch". www.deepmind.com. Abgerufen am 28. Juli 2023.
  20. Breuer, Hans-Peter. 'Samuel Butler's "the Book of the Machines" and the Argument from Design.' Archived 15. März 2023 in Wayback Machine Modern Philology, Vol. 72, No. 4 (Mai 1975), pp. 365–383
  21. Turing, A M (1996). "Intelligent Machinery, A Heretical Theory". 1951, Reprinted Philosophia Mathematica. 4 (3): 256–260.
  22. Hilliard, Mark (2017). "The AI apocalypse: will the human race soon be terminated?". The Irish Times. Archiviert vom Original am 22. Mai 2020. Aufgerufen am 15. März 2020.
  23. I.J. Good, "Speculations Concerning the First Ultraintelligent Machine" Archiviert 28.11.2011 in Wayback Machine (HTML Archiviert 28.11.2011 in Wayback Machine), Advances in Computers, vol. 6, 1965.
  24. Russell, Stuart J.; Norvig, Peter (2003). "Section 26.3: The Ethics and Risks of Developing Artificial Intelligence". Artificial Intelligence: A Modern Approach. Upper Saddle River, N.J.: Prentice Hall. ISBN 978-0-13-790395-5. Similarly, Marvin Minsky once suggested that an AI program designed to solve the Riemann Hypothesis might end up taking over all the resources of Earth to build more powerful supercomputers to help achieve its goal.
  25. Barrat, James (2013). Our final invention: artificial intelligence and the end of the human era (1. Edition). New York: St. Martin's Press. ISBN 978-0-312-62237-4. In the bio, playfully written in the third person, Good summarized his life's milestones, including a probably never before seen account of his work at Bletchley Park with Turing. But here's what he wrote in 1998 about the first superintelligence, and his late-in-the-game U-turn: [The paper] 'Speculations Concerning the First Ultra-intelligent Machine' (1965) . . . began: 'The survival of man depends on the early construction of an ultra-intelligent machine.' Those were his [Good's] words during the Cold War, and he now suspects that 'survival' should be replaced by 'extinction.' He thinks that, because of international competition, we cannot prevent the machines from taking over. He thinks we are lemmings. He said also that 'probably Man will construct the deus ex machina in his own image.'
  26. Anderson, Kurt (26 November 2014). "Enthusiasts and Skeptics Debate Artificial Intelligence". Vanity Fair. Archiviert vom Original am 22. Januar 2016. Abgerufen am 30. Januar 2016.
  27. Metz, Cade (9.6.2018). "Mark Zuckerberg, Elon Musk and the Feud Over Killer Robots". The New York Times. Archiviert vom Original am 15. Februar 2021. Abgerufen am 3. April 2019.
  28. Hsu, Jeremy (1.3.2012). "Control dangerous AI before it controls us, one expert says". NBC News. Archiviert vom Original am 2. Februar 2016. Abgerufen am 28. Januar 2016.
  29. a b c "Stephen Hawking: 'Transcendence looks at the implications of artificial intelligence – but are we taking AI seriously enough?'". The Independent (UK). Archiviert vom Original am 25. September 2015. Abgerufen am 3. Dezember 2014.
  30. "Stephen Hawking warns artificial intelligence could end mankind". BBC. 2. Dezember 2014. Archiviert vom Original am 30. Oktober 2015. Abgerufen am 3. Dezember 2014.
  31. Eadicicco, Lisa (28 January 2015). "Bill Gates: Elon Musk Is Right, We Should All Be Scared Of Artificial Intelligence Wiping Out Humanity". Business Insider. Archiviert vom Original am 26. Februar 2016. Abgerufen am 30. Januar 2016.
  32. "Research Priorities for Robust and Beneficial Artificial Intelligence: an Open Letter". Future of Life Institute. Archiviert vom Original am 15. Januar 2015. Abgerufen am 23. Oktober 2015.
  33. "Anticipating artificial intelligence". Nature. 532 (7600): 413. 2016. Bibcode: 2016Natur.532Q.413.. doi: 10.1038/532413a. ISSN 1476-4687. PMID 27121801. S2CID 4399193.
  34. Christian, Brian (6 October 2020). The Alignment Problem: Machine Learning and Human Values. W. W. Norton & Company. ISBN 978-0-393-63582-9. Archiviert vom Original am 5. Dezember 2021. Abgerufen am 5. Dezember 2021.
  35. Dignum, Virginia (26 May 2021). "AI — the people and places that make, use and manage it". Nature. 593 (7860): 499–500. Bibcode: 2021Natur.593..499D. doi: 10.1038/d41586-021-01397-x. S2CID 235216649.
  36. "Elon Musk among experts urging a halt to AI training". BBC News. 29. März 2023. Abgerufen am 9. Juni 2023.
  37. "Statement on AI Risk". Center for AI Safety. Abgerufen am 8. Juni 2023.
  38. "Artificial intelligence could lead to extinction, experts warn". BBC News. 30. Mai 2023. Abgerufen am 8. Juni 2023.
  39. "DeepMind and Google: the battle to control artificial intelligence". The Economist. ISSN 0013-0613. Abgerufen am 12. Juli 2023.
  40. "AI timelines: What do experts in artificial intelligence expect for the future?". Our World in Data. Abgerufen am 12. Juli 2023.
  41. De Vynck, Gerrit (20 May 2023). "The debate over whether AI will destroy us is dividing Silicon Valley". The Washington Post.
  42. "'The Godfather of A.I.' just quit Google and says he regrets his life's work because it can be hard to stop 'bad actors from using it for bad things'". Fortune. Abgerufen am 12. Juli 2023.
  43. "Everything you need to know about superintelligence". Spiceworks. Abgerufen am 14. Juli 2023.
  44. a b Clever cogsThe Economist 9.8.2014 Archiviert vom Original am 8. August 2014. Abgerufen am 9. August 2014. Syndiziert Archiviert 4. März 2016 in Wayback Machine im Business Insider
  45. a b Bostrom, Nick (27.4.2015), What happens when our computers get smarter than we are?, abgerufen am 13. Juli 2023
  46. "Governance of superintelligence". openai.com. Abgerufen am 12. Juli 2023.
  47. "Overcoming Bias: I Still Don't Get Foom". www.overcomingbias.com. Archiviert vom Original am 4. August 2017. Abgerufen am 20. September 2017.
  48. Cotton-Barratt, Owen; Ord, Toby (12 August 2014). "Strategic considerations about different speeds of AI takeoff". The Future of Humanity Institute. Abgerufen am 12. Juli 2023.
  49. Tegmark, Max (25.4.2023). "The 'Don't Look Up' Thinking That Could Doom Us With AI". Time. Abgerufen am 14. Juli 2023. As if losing control to Chinese minds were scarier than losing control to alien digital minds that don't care about humans. [...] it's clear by now that the space of possible alien minds is vastly larger than that.
  50. "19 - Mechanistic Interpretability with Neel Nanda". AXRP - the AI X-risk Research Podcast. 4. Februar 2023. Abgerufen am 13. Juli 2023. it's plausible to me that the main thing we need to get done is noticing specific circuits to do with deception and specific dangerous capabilities like that and situational awareness and internally-represented goals.
  51. "Superintelligence Is Not Omniscience". AI Impacts. 7. April 2023. Abgerufen am 16. April 2023.
  52. a b c d e f g h i Dan Hendrycks; Mantas Mazeika; Thomas Woodside (21.6.2023). "An Overview of Catastrophic AI Risks". arXiv: 2306.12001 cs.CY.
  53. Taylor, Josh; Hern, Alex (2 May 2023). "'Godfather of AI' Geoffrey Hinton quits Google and warns over dangers of misinformation". The Guardian. ISSN 0261-3077. Abgerufen am 13. Juli 2023.
  54. "How NATO is preparing for a new era of AI cyber attacks". euronews. 26. Dezember 2022. Abgerufen am 13. Juli 2023.
  55. "ChatGPT and the new AI are wreaking havoc on cybersecurity in exciting and frightening ways". ZDNET. Abgerufen am 13. Juli 2023.
  56. Toby Shevlane; Sebastian Farquhar; Ben Garfinkel; Mary Phuong; Jess Whittlestone; Jade Leung; Daniel Kokotajlo; Nahema Marchal; Markus Anderljung; Noam Kolt; Lewis Ho; Divya Siddarth; Shahar Avin; Will Hawkins; Been Kim; Iason Gabriel; Vijay Bolina; Jack Clark; Yoshua Bengio; Paul Christiano; Allan Dafoe (24 May 2023). "Model evaluation for extreme risks". arXiv: 2305.15324 cs.AI.
  57. Urbina, Fabio; Lentzos, Filippa; Invernizzi, Cédric; Ekins, Sean (7.3.2022). "Dual use of artificial-intelligence-powered drug discovery". Nature Machine Intelligence. 4 (3): 189–191. doi: 10.1038/s42256-022-00465-9. ISSN 2522-5839. PMC 9544280. PMID 36211133.
  58. Walter, Yoshija (27.3.2023). "The rapid competitive economy of machine learning development: a discussion on the social risks and benefits". AI and Ethics: 1. doi: 10.1007/s43681-023-00276-7.
  59. "The AI Arms Race Is On. Start Worrying". Time. 16. Februar 2023. Abgerufen am 17. Juli 2023.
  60. Brimelow, Ben. "The short film 'Slaughterbots' depicts a dystopian future of killer drones swarming the world". Business Insider. Abgerufen am 20. Juli 2023.
  61. Mecklin, John (17.7.2023). "'Artificial Escalation': Imagining the future of nuclear risk". Bulletin of the Atomic Scientists. Abgerufen am 20. Juli 2023.
  62. Doherty, Ben (17.5.2018). "Climate change an 'existential security risk' to Australia, Senate inquiry says". The Guardian. ISSN 0261-3077. Abgerufen am 16. Juli 2023.
  63. MacAskill, William (2022). What we owe the future. New York, NY: Basic Books. ISBN 978-1-5416-1862-6.
  64. a b c d Ord, Toby (2020). "Chapter 5: Future Risks, Unaligned Artificial Intelligence". The Precipice: Existential Risk and the Future of Humanity. Bloomsbury Publishing. ISBN 978-1-5266-0021-9.
  65. Samuelsson, Paul Conrad (Juni–Juli 2019). "Artificial Consciousness: Our Greatest Ethical Challenge". Philosophy Now. No. 132. Abgerufen am 19. August 2023.
  66. Brian, Kateman (24.7.2023). "AI Should Be Terrified of Humans". Time. Abgerufen am 19. August 2023.
  67. Fisher, Richard. "The intelligent monster that you should let eat you". www.bbc.com. Abgerufen am 19. August 2023.
  68. More, Max (19.6.2023). "Existential Risk vs. Existential Opportunity: A balanced approach to AI risk". Extropic Thoughts. Abgerufen am 14. Juli 2023.
  69. Carlsmith, Joseph (16. Juni 2022). "Is Power-Seeking AI an Existential Risk?". arXiv:2206.13353 cs.CY.
  70. "'The Godfather of A.I.' warns of 'nightmare scenario' where artificial intelligence begins to seek power". Fortune. Abgerufen am 10. Juni 2023.
  71. Omohundro, S. M. (Februar 2008). The basic AI drives. In AGI (Vol. 171, pp. 483-492).
  72. Wakefield, Jane (15.9.2015). "Why is Facebook investing in AI?". BBC News. Archiviert vom Original am 2. Dezember 2017. Abgerufen am 27. November 2017.
  73. Yudkowsky, Eliezer (2011). "Complex Value Systems are Required to Realize Valuable Futures" (PDF; 0,3 MB). Archiviert (PDF) vom Original am 29. September 2015. Abgerufen am 10. August 2020.
  74. a b Ord, Toby (2020). The Precipice: Existential Risk and the Future of Humanity. Bloomsbury Publishing Plc. ISBN 978-1-5266-0019-6.
  75. Yudkowsky, E. (August 2011). Complex value systems in friendly AI. In International Conference on Artificial General Intelligence (pp. 388-393). Springer, Berlin, Heidelberg.
  76. Russell, Stuart (2014). "Of Myths and Moonshine". Edge. Archiviert vom Original am 19. Juli 2016. Abgerufen am 23. Oktober 2015.
  77. Dietterich, Thomas; Horvitz, Eric (2015). "Rise of Concerns about AI: Reflections and Directions" (PDF; 1,8 MB). Communications of the ACM. 58 (10): 38–40. doi: 10.1145/2770869. S2CID 20395145. Archiviert (PDF) vom Original am 4. März 2016. Abgerufen am 23. Oktober 2015.
  78. a b Yudkowsky, Eliezer (29.3.2023). "The Open Letter on AI Doesn't Go Far Enough". Time. Abgerufen am 16. Juli 2023.
  79. Bostrom, Nick (1.5.2012). "The Superintelligent Will: Motivation and Instrumental Rationality in Advanced Artificial Agents". Minds and Machines. 22 (2): 71–85. doi: 10.1007/s11023-012-9281-3. ISSN 1572-8641. S2CID 254835485. as long as they possess a sufficient level of intelligence, agents having any of a wide range of final goals will pursue similar intermediary goals because they have instrumental reasons to do so.
  80. Richard Ngo; Lawrence Chan; Sören Mindermann (22.2.2023). "The alignment problem from a deep learning perspective". arXiv: 2209.00626 cs.AI.
  81. "Introducing Superalignment". openai.com. Abgerufen am 16. Juli 2023.
  82. Tilli, Cecilia (28.4.2016). "Killer Robots? Lost Jobs?". Slate. Archiviert vom Original am 11. Mai 2016. Abgerufen am 15. Mai 2016.
  83. "Norvig vs. Chomsky and the Fight for the Future of AI". Tor.com. 21. Juni 2011. Archiviert vom Original am 13. Mai 2016. Abgerufen am 15. Mai 2016.
  84. Graves, Matthew (8.11.2017). "Why We Should Be Concerned About Artificial Superintelligence". Skeptic (US magazine). Vol. 22, no. 2. Archiviert vom Original am 13. November 2017. Abgerufen am 27. November 2017.
  85. Johnson, Phil (30.7.2015). "Houston, we have a bug: 9 famous software glitches in space". IT World. Archiviert vom Original am 15. Februar 2019. Abgerufen am 5. Februar 2018.
  86. Yampolskiy, Roman V. (8.4.2014). "Utility function security in artificially intelligent agents". Journal of Experimental & Theoretical Artificial Intelligence. 26 (3): 373–389. doi: 10.1080/0952813X.2014.895114. S2CID 16477341. "Nothing precludes sufficiently smart self-improving systems from optimising their reward mechanisms in order to optimisetheir current-goal achievement and in the process making a mistake leading to corruption of their reward functions.”
  87. "Will artificial intelligence destroy humanity? Here are 5 reasons not to worry". Vox. 22. August 2014. Archiviert vom Original am 30. Oktober 2015. Abgerufen am 30. Oktober 2015.
  88. Bostrom, Nick (2014). Superintelligence: Paths, Dangers, Strategies. Oxford, United Kingdom: Oxford University Press. S. 116. ISBN 978-0-19-967811-2.
  89. Bostrom, Nick (2012). "Superintelligent Will" (PDF; 0,5 MB). Nick Bostrom. Archiviert (PDF) aus dem Original am 28. November 2015. Abgerufen am 29. Oktober 2015.
  90. Armstrong, Stuart (1. Januar 2013). "General Purpose Intelligence: Arguing the Orthogonality Thesis". Analysis and Metaphysics. 12. Archiviert aus dem Original am 11. Oktober 2014. Abgerufen am 2. April 2020. Volltext hier verfügbar. Archiviert am 25. März 2020 in Wayback Machine.
  91. a b Chorost, Michael (18. April 2016). "Let Artificial Intelligence Evolve". Slate. Archiviert aus dem Original am 27. November 2017. Abgerufen am 27. November 2017.
  92. "Should humans fear the rise of the machine?". The Telegraph (UK). 1 September 2015. Archiviert aus dem Original am 12. Januar 2022. Abgerufen am 7. Februar 2016.
  93. Shermer, Michael (1. März 2017). "Apocalypse AI". Scientific American. 316 (3): 77. Bibcode:2017SciAm.316c..77S. doi:10.1038/scientificamerican0317-77. PMID 28207698. Archiviert aus dem Original am 1. Dezember 2017. Abgerufen am 27. November 2017.
  94. "Intelligent Machines: What does Facebook want with AI?". BBC News. 14. September 2015. Abgerufen am 31. März 2023.
  95. Baum, Seth (30. September 2018). "Countering Superintelligence Misinformation". Information. 9 (10): 244. doi:10.3390/info9100244. ISSN 2078-2489.
  96. "The Myth Of AI". www.edge.org. Archiviert aus dem Original am 11. März 2020. Abgerufen am 11. März 2020.
  97. Bostrom, Nick, Superintelligence: paths, dangers, strategies (Hörbuch), ISBN 978-1-5012-2774-5.
  98. Sotala, Kaj; Yampolskiy, Roman V (19. Dezember 2014). "Responses to catastrophic AGI risk: a survey". Physica Scripta. 90 (1): 12. Bibcode:2015PhyS...90a8001S. doi:10.1088/0031-8949/90/1/018001. ISSN 0031-8949.
  99. Pistono, Federico; Yampolskiy, Roman V. (9. Mai 2016). Unethical Research: How to Create a Malevolent Artificial Intelligence. OCLC 1106238048.
  100. Haney, Brian Seamus (2018). "The Perils & Promises of Artificial General Intelligence". SSRN Working Paper Series. doi:10.2139/ssrn.3261254. ISSN 1556-5068. S2CID 86743553.
  101. Russell, Stuart (30. August 2017). "Artificial intelligence: The future is superintelligent". Nature. 548 (7669): 520–521. Bibcode:2017Natur.548..520R. doi:10.1038/548520a. S2CID 4459076.
  102. a b c Max Tegmark (2017). Life 3.0: Being Human in the Age of Artificial Intelligence (1. Ausgabe). Mainstreaming AI Safety: Knopf. ISBN 978-0-451-48507-6.
  103. Kumar, Vibhore. "Council Post: At The Dawn Of Artificial General Intelligence: Balancing Abundance With Existential Safeguards". Forbes. Abgerufen am 23. Juli 2023.
  104. a b "Pause Giant AI Experiments: An Open Letter". Future of Life Institute. Abgerufen am 30. März 2023.
  105. "AI Principles". Future of Life Institute. 11. August 2017. Archiviert aus dem Original am 11. Dezember 2017. Abgerufen am 11. Dezember 2017.
  106. "Elon Musk and Stephen Hawking warn of artificial intelligence arms race". Newsweek. 31. Januar 2017. Archiviert aus dem Original am 11. Dezember 2017. Abgerufen am 11. Dezember 2017.
  107. Martin Ford (2015). "Chapter 9: Super-intelligence and the Singularity". Rise of the Robots: Technology and the Threat of a Jobless Future. Basic Books. ISBN 978-0-465-05999-7.
  108. Bostrom, Nick (2016). "New Epilogue to the Paperback Edition". Superintelligence: Paths, Dangers, Strategies (Taschenbuchausgabe).
  109. "Why Uncontrollable AI Looks More Likely Than Ever". Time. 27. Februar 2023. Abgerufen am 30. März 2023. It is therefore no surprise that according to the most recent AI Impacts Survey, nearly half of 731 leading AI researchers think there is at least a 10 % chance that human-level AI would lead to an "extremely negative outcome," or existential risk.
  110. Maas, Matthijs M. (6.2.2019). "How viable is international arms control for military artificial intelligence? Three lessons from nuclear weapons of mass destruction". Contemporary Security Policy. 40 (3): 285–311. doi: 10.1080/13523260.2019.1576464. ISSN 1352-3260. S2CID 159310223.
  111. Parkin, Simon (14.6.2015). "Science fiction no more? Channel 4's Humans and our rogue AI obsessions". The Guardian. Archiviert vom Original am 5. Februar 2018. Abgerufen am 5. Februar 2018.
  112. Jackson, Sarah. "The CEO of the company behind AI chatbot ChatGPT says the worst-case scenario for artificial intelligence is 'lights out for all of us'". Business Insider. Abgerufen am 10. April 2023.
  113. a b "Impressed by artificial intelligence? Experts say AGI is coming next, and it has 'existential' risks". ABC News. 23. März 2023. Abgerufen am 30. März 2023.
  114. Rawlinson, Kevin (29.1.2015). "Microsoft's Bill Gates insists AI is a threat". BBC News. Archiviert vom Original am 29. Januar 2015. Abgerufen am 30. Januar 2015.
  115. Post, Washington (14.12.2015). "Tech titans like Elon Musk are spending $1 billion to save you from terminators". Chicago Tribune. Archiviert vom Original am 7. Juni 2016.
  116. "Doomsday to utopia: Meet AI's rival factions". Washington Post. 9. April 2023. Abgerufen am 30. April 2023.
  117. "UC Berkeley — Center for Human-Compatible AI (2016) - Open Philanthropy". Open Philanthropy -. 27. Juni 2016. Abgerufen am 30. April 2023.
  118. "The mysterious artificial intelligence company Elon Musk invested in is developing game-changing smart computers". Tech Insider. Archiviert vom Original am 30. Oktober 2015. Abgerufen am 30. Oktober 2015.
  119. Clark 2015a.
  120. "Elon Musk Is Donating $10M Of His Own Money To Artificial Intelligence Research". Fast Company. 15. Januar 2015. Archiviert vom Original am 30. Oktober 2015. Abgerufen am 30. Oktober 2015.
  121. Tilli, Cecilia (28 April 2016). "Killer Robots? Lost Jobs?". Slate. Archiviert vom Original am 11. Mai 2016. Abgerufen am 15. Mai 2016.
  122. Khatchadourian, Raffi (23.11.2015). "The Doomsday Invention: Will artificial intelligence bring us utopia or destruction?". The New Yorker. Archiviert vom Original am 29. April 2019. Abgerufen am 7. Februar 2016.
  123. "Warning of AI's danger, pioneer Geoffrey Hinton quits Google to speak freely". www.arstechnica.com. 2023. Abgerufen am 23. Juli 2023.
  124. "AI experts challenge 'doomer' narrative, including 'extinction risk' claims". VentureBeat. 31. Mai 2023. Abgerufen am 8. Juli 2023.
  125. Coldewey, Devin (1.4.2023). "Ethicists fire back at 'AI Pause' letter they say 'ignores the actual harms'". TechCrunch. Abgerufen am 23. Juli 2023.
  126. "DAIR (Distributed AI Research Institute)". DAIR Institute. Abgerufen am 23. Juli 2023.
  127. Kelly, Kevin (25.4.2017). "The Myth of a Superhuman AI". Wired. Archiviert vom Original am 26. Dezember 2021. Abgerufen am 19. Februar 2022.
  128. Jindal, Siddharth (7.7.2023). "OpenAI's Pursuit of AI Alignment is Farfetched". Analytics India Magazine. Abgerufen am 23. Juli 2023.
  129. "Mark Zuckerberg responds to Elon Musk's paranoia about AI: 'AI is going to... help keep our communities safe.'". Business Insider. 25. Mai 2018. Archiviert vom Original am 6. Mai 2019. Abgerufen am 6. Mai 2019.
  130. Elliott, E. W. (2011). "Physics of the Future: How Science Will Shape Human Destiny and Our Daily Lives by the Year 2100, by Michio Kaku". Issues in Science and Technology. 27 (4): 90.
  131. Kaku, Michio (2011). Die Physik der Zukunft. Unser Leben in 100 Jahren. Rowohlt (2012). ISBN 978-3-498-03559-4 "Ich persönlich glaube, dass der wahrscheinlichste Weg der ist, dass wir Roboter bauen werden, die wohlwollend und freundlich sind."
  132. "But What Would the End of Humanity Mean for Me?". The Atlantic. 9. Mai 2014. Archiviert vom Original am 4. Juni 2014. Abgerufen am 12. Dezember 2015.
  133. Dadich, Scott. "Barack Obama Talks AI, Robo Cars, and the Future of the World". WIRED. Archiviert vom Original am 3. Dezember 2017. Abgerufen am 27. November 2017.
  134. Kircher, Madison Malone. "Obama on the Risks of AI: 'You Just Gotta Have Somebody Close to the Power Cord'". Select All. Archiviert vom Original am 1. Dezember 2017. Abgerufen am 27. November 2017.
  135. Clinton, Hillary (2017). What Happened. Simon and Schuster. p. 241. ISBN 978-1-5011-7556-5. via Hillary Clinton on AI risk Archiviert 1.12.2017 in Wayback Machine
  136. LIPPENS, RONNIE (2002). "Imachinations of Peace: Scientifictions of Peace in Iain M. Banks's The Player of Games". Utopianstudies Utopian Studies. 13 (1): 135–147. ISSN 1045-991X. OCLC 5542757341.
  137. "Elon Musk says AI could doom human civilization. Zuckerberg disagrees. Who's right?". 5. Januar 2023. Archiviert vom Original am 8. Januar 2018. Abgerufen am 8. Januar 2018.
  138. "AI doomsday worries many Americans. So does apocalypse from climate change, nukes, war, and more". 14. April 2023. Archiviert vom Original am 23. Juni 2023. Abgerufen am 9. Juli 2023.
  139. Tyson, Alec; Kikuchi, Emma. "Growing public concern about the role of artificial intelligence in daily life". Pew Research Center. Abgerufen am 17. September 2023.
  140. Kaj Sotala; Roman Yampolskiy (19. Dezember 2014). "Responses to catastrophic AGI risk: a survey". Physica Scripta. 90 (1).
  141. Barrett, Anthony M.; Baum, Seth D. (23. Mai 2016). "A model of pathways to artificial superintelligence catastrophe for risk and decision analysis". Journal of Experimental & Theoretical Artificial Intelligence. 29 (2): 397–414. arXiv:1607.07730. doi:10.1080/0952813x.2016.1186228. ISSN 0952-813X. S2CID 928824.
  142. Sotala, Kaj; Yampolskiy, Roman V (19. Dezember 2014). "Responses to catastrophic AGI risk: a survey". Physica Scripta. 90 (1): 018001. Bibcode:2015PhyS...90a8001S. doi:10.1088/0031-8949/90/1/018001. ISSN 0031-8949. S2CID 4749656.
  143. Ramamoorthy, Anand; Yampolskiy, Roman (2018). "Beyond MAD? The race for artificial general intelligence". ICT Discoveries. ITU. 1 (Special Issue 1): 1–8. Archiviert aus dem Original am 7. Januar 2022. Abgerufen am 7. Januar 2022.
  144. Carayannis, Elias G.; Draper, John (11. Januar 2022). "Optimising peace through a Universal Global Peace Treaty to constrain the risk of war from a militarised artificial superintelligence". AI & Society: 1–14. doi:10.1007/s00146-021-01382-y. ISSN 0951-5666. PMC 8748529. PMID 35035113. S2CID 245877737.
  145. Carayannis, Elias G.; Draper, John (30. Mai 2023), "The challenge of advanced cyberwar and the place of cyberpeace", The Elgar Companion to Digital Transformation, Artificial Intelligence and Innovation in the Economy, Society and Democracy, Edward Elgar Publishing, S. 32–80, doi:10.4337/9781839109362.00008, ISBN 978-1-83910-936-2, abgerufen am 8. Juni 2023
  146. Vincent, James (22. Juni 2016). "Google's AI researchers say these are the five key problems for robot safety". The Verge. Archiviert aus dem Original am 24. Dezember 2019. Abgerufen am 5. April 2020.
  147. Amodei, Dario, Chris Olah, Jacob Steinhardt, Paul Christiano, John Schulman, and Dan Mané. "Concrete problems in AI safety." arXiv preprint arXiv:1606.06565 (2016).
  148. Johnson, Alex (2019). "Elon Musk wants to hook your brain up directly to computers — starting next year". NBC News. Archiviert aus dem Original am 18. April 2020. Abgerufen am 5. April 2020.
  149. Torres, Phil (18. September 2018). "Only Radically Enhancing Humanity Can Save Us All". Slate Magazine. Archiviert aus dem Original am 6. August 2020. Abgerufen am 5. April 2020.
  150. Barrett, Anthony M.; Baum, Seth D. (23. Mai 2016). "A model of pathways to artificial superintelligence catastrophe for risk and decision analysis". Journal of Experimental & Theoretical Artificial Intelligence. 29 (2): 397–414. arXiv:1607.07730. doi:10.1080/0952813X.2016.1186228. S2CID 928824.
  151. Piper, Kelsey (29. März 2023). "How to test what an AI model can — and shouldn't — do". Vox. Abgerufen am 28. Juli 2023.
  152. Piesing, Mark (17. Mai 2012). "AI uprising: humans will be outsourced, not obliterated". Wired. Archiviert aus dem Original am 7. April 2014. Abgerufen am 12. Dezember 2015.
  153. Coughlan, Sean (24. April 2013). "How are humans going to become extinct?". BBC News. Archiviert aus dem Original am 9. März 2014. Abgerufen am 29. März 2014.
  154. Bridge, Mark (10. Juni 2017). "Making robots less confident could prevent them taking over". The Times. Archiviert aus dem Original am 21. März 2018. Abgerufen am 21. März 2018.
  155. McGinnis, John (Summer 2010). "Accelerating AI". Northwestern University Law Review. 104 (3): 1253–1270. Archiviert aus dem Original am 15. Februar 2016. Abgerufen am 16. Juli 2014. For all these reasons, verifying a global relinquishment treaty, or even one limited to AI-related weapons development, is a nonstarter... (For different reasons from ours, the Machine Intelligence Research Institute) considers (AGI) relinquishment infeasible…
  156. Kaj Sotala; Roman Yampolskiy (19. Dezember 2014). "Responses to catastrophic AGI risk: a survey". Physica Scripta. 90 (1). „Im Allgemeinen lehnen die meisten Autoren Vorschläge für einen umfassenden Verzicht ab... Vorschläge für einen Verzicht leiden unter vielen der gleichen Probleme wie Vorschläge für eine Regulierung, jedoch in größerem Ausmaß. Es gibt keinen historischen Präzedenzfall, in dem eine allgemeine, vielseitig einsetzbare Technologie, ähnlich wie AGI, erfolgreich für immer aufgegeben wurde, und es scheint auch keine theoretischen Gründe für die Annahme zu geben, dass Abtretungsvorschläge in der Zukunft funktionieren würden. Daher halten wir sie als Kategorie von Vorschlägen für nicht brauchbar.“
  157. Allenby, Brad (11. April 2016). "The Wrong Cognitive Measuring Stick". Slate. Archiviert aus dem Original am 15. Mai 2016. Abgerufen am 15. Mai 2016. It is fantasy to suggest that the accelerating development and deployment of technologies that taken together are considered to be A.I. will be stopped or limited, either by regulation or even by national legislation.
  158. a b Yampolskiy, Roman V. (2022). Müller, Vincent C. (Hrsg.). "AI Risk Skepticism". Philosophy and Theory of Artificial Intelligence 2021. Studies in Applied Philosophy, Epistemology and Rational Ethics. Cham: Springer International Publishing. 63: 225–248. doi:10.1007/978-3-031-09153-7_18. ISBN 978-3-031-09153-7.
  159. McGinnis, John (Sommer 2010). "Accelerating AI". Northwestern University Law Review. 104 (3): 1253–1270. Archiviert aus dem Original am 15. Februar 2016. Abgerufen am 16. Juli 2014.
  160. "Why We Should Think About the Threat of Artificial Intelligence". The New Yorker. 4. Oktober 2013. Archiviert aus dem Original am 4. Februar 2016. Abgerufen am 7. Februar 2016. Natürlich könnte man versuchen, superintelligente Computer gänzlich zu verbieten. Aber „der Wettbewerbsvorteil - wirtschaftlich, militärisch, sogar künstlerisch - jedes Fortschritts in der Automatisierung ist so zwingend“, schrieb der Mathematiker und Science-Fiction-Autor Vernor Vinge, „dass der Erlass von Gesetzen oder die Etablierung von Bräuchen, die solche Dinge verbieten, lediglich sicherstellt, dass es jemand anderes tut.“
  161. Baum, Seth (22. August 2018). "Superintelligence Skepticism as a Political Tool". Information. 9 (9): 209. doi:10.3390/info9090209. ISSN 2078-2489.
  162. "Elon Musk and other tech leaders call for pause in 'out of control' AI race". CNN. 29. März 2023. Abgerufen am 30. März 2023.
  163. "Open letter calling for AI 'pause' shines light on fierce debate around risks vs. hype". VentureBeat. 29. März 2023. Abgerufen am 20. Juli 2023.
  164. Vincent, James (14. April 2023). "OpenAI's CEO confirms the company isn't training GPT-5 and "won't for some time"". The Verge. Abgerufen am 20. Juli 2023.
  165. "The Open Letter on AI Doesn't Go Far Enough". Time. 29. März 2023. Abgerufen am 20. Juli 2023.
  166. Domonoske, Camila (17. Juli 2017). "Elon Musk Warns Governors: Artificial Intelligence Poses 'Existential Risk'". NPR. Archiviert aus dem Original am 23. April 2020. Abgerufen am 27. November 2017.
  167. Gibbs, Samuel (17. Juli 2017). "Elon Musk: regulate AI to combat 'existential threat' before it's too late". The Guardian. Archiviert aus dem Original am 6. Juni 2020. Abgerufen am 27. November 2017.
  168. Kharpal, Arjun (7. November 2017). "A.I. is in its 'infancy' and it's too early to regulate it, Intel CEO Brian Krzanich says". CNBC. Archiviert aus dem Original am 22. März 2020. Abgerufen am 27. November 2017.
  169. Dawes, James (20. Dezember 2021). "UN fails to agree on 'killer robot' ban as nations pour billions into autonomous weapons research". The Conversation. Abgerufen am 28. Juli 2023.
  170. a b Fassihi, Farnaz (18. Juli 2023). "U.N. Officials Urge Regulation of Artificial Intelligence". The New York Times. ISSN 0362-4331. Abgerufen am 20. Juli 2023.
  171. "International Community Must Urgently Confront New Reality of Generative, Artificial Intelligence, Speakers Stress as Security Council Debates Risks, Rewards". United Nations. Abgerufen am 20. Juli 2023.
  172. Sotala, Kaj; Yampolskiy, Roman V (19. Dezember 2014). "Responses to catastrophic AGI risk: a survey". Physica Scripta. 90 (1): 018001. Bibcode:2015PhyS...90a8001S. doi:10.1088/0031-8949/90/1/018001. ISSN 0031-8949.
  173. Geist, Edward Moore (15. August 2016). "It's already too late to stop the AI arms race—We must manage it instead". Bulletin of the Atomic Scientists. 72 (5): 318–321. Bibcode:2016BuAtS..72e.318G. doi:10.1080/00963402.2016.1216672. ISSN 0096-3402. S2CID 151967826.
  174. Maas, Matthijs M. (6. Februar 2019). "How viable is international arms control for military artificial intelligence? Three lessons from nuclear weapons of mass destruction". Contemporary Security Policy. 40 (3): 285–311. doi:10.1080/13523260.2019.1576464. ISSN 1352-3260. S2CID 159310223.
  175. "Amazon, Google, Meta, Microsoft and other tech firms agree to AI safeguards set by the White House". AP News. 21. Juli 2023. Abgerufen am 21. Juli 2023.
  176. "Amazon, Google, Meta, Microsoft and other firms agree to AI safeguards". Redditch Advertiser. 21. Juli 2023. Abgerufen am 21. Juli 2023.