Superintelligenz

Eine Superintelligenz wird definiert als Intellekt, der auch dem besten menschlichen Hirn in den meisten oder allen Bereichen überlegen ist, und zwar sowohl hinsichtlich kreativer und problemlöserischer Intelligenz wie auch bei sozialen Kompetenzen. Dabei bleibt dahingestellt, ob sie biologisch, technisch oder als Hybrid dazwischen realisiert werden kann. Auch die Frage, ob sie ein Selbstbewusstsein oder Erinnerungsvermögen besitzt, bleibt außen vor.[1] Es wird zwischen starker und schwacher Superintelligenz unterschieden. Die schwache Superintelligenz ist ein Intellekt, der qualitativ auf dem Niveau menschlicher Denkprozesse, aber quantitativ um ein Vielfaches schneller arbeitet. Eine starke Superintelligenz arbeitet dagegen auf einem auch qualitativ übergeordneten Niveau.[2]

Umgangssprachlich werden bereits Hochbegabte oder auch Inselbegabte (sogenannte „Savants“) als superintelligente Menschen bezeichnet, sie weisen aber nicht die übergeordneten Fähigkeiten einer Superintelligenz auf. Ferner werden auch besonders gute oder schnelle Suchmaschinen oder das Semantische Web als superintelligent bezeichnet; sie sind dem Menschen aber kognitiv nur in Teilaspekten überlegen. Auch eine weltweite „Gemeinschaft der Forscher“ kann nicht als Superintelligenz gewertet werden, da sie nicht klar eingegrenzt werden kann, geschweige denn eine einzelne Entität darstellt.[1]

1965 entwickelte I. J. Good als erster die Vorstellung einer Superintelligenz und einer möglichen Intelligenzexplosion:

„Eine ultraintelligente Maschine sei definiert als eine Maschine, die die intellektuellen Fähigkeiten jedes Menschen, und sei er noch so intelligent, bei weitem übertreffen kann. Da der Bau eben solcher Maschinen eine dieser intellektuellen Fähigkeiten ist, kann eine ultraintelligente Maschine noch bessere Maschinen bauen; zweifellos würde es dann zu einer explosionsartigen Entwicklung der Intelligenz kommen, und die menschliche Intelligenz würde weit dahinter zurückbleiben. Die erste ultraintelligente Maschine ist also die letzte Erfindung, die der Mensch zu machen hat.“[3]

Darüber hinaus geht eine Idee von Mihai Nadin, der in seinem Werk MIND – Anticipation and Chaos von 1997 vorträgt, dass eine sogenannte kritische Masse an normalen Intelligenzen durch Interaktion verbunden werden könne, die dann transzendent interagiere.[4]

Der Autor Ray Kurzweil geht davon aus, dass Computer gegen das Jahr 2030 die Menschen an Intelligenz übertreffen. Diese These hat er 1999 in seinem Buch The Age of Spiritual Machines (deutscher Titel: Homo S@piens) aufgestellt. Auch Hans Moravec befasste sich mit dem Thema.[5]

Ein zielstrebiges, seriöses Projekt zur direkten Erschaffung einer Superintelligenz existiert nicht. Jedoch zeichnen sich im Bereich der Simulation erste Erfolge ab, die im Rahmen verschiedener Großprojekte wie dem Human Brain Project der EU (Etat 1 Mrd. EUR) und der Brain Activity Map Project der USA (Etat 3 Mrd. US-$) in einer vollständigen Nachbildung des menschlichen Gehirns münden sollen. Ein vollständig simuliertes Gehirn könnte die Ausgangsbasis einer (schwachen) Superintelligenz bilden.

Über den konkreten Weg zur Realisierung einer Superintelligenz und bei der Einschätzung vorhandener Technologie herrscht im Transhumanismus wie dem Posthumanismus bislang keine Einigkeit. Möglicherweise könnte es bereits genügen, bestehende und zukünftige Technologien lediglich auf die richtige Weise zu kombinieren, oder aber es ist notwendig, dass die entsprechende Technologie wie auch die Konzepte erst noch entwickelt werden müssen.

Einige Transhumanisten gehen davon aus, dass die immer schneller fortschreitende Entwicklung in allen Bereichen der Wissenschaft bereits in den nächsten Jahrzehnten zur Realisierung einer Superintelligenz führen könnte (25 Jahre[1] bis 50 Jahre[6]). 2009 hielt Henry Markram ein dem Menschen ebenbürtiges, künstliches Gehirn binnen eines Jahrzehnts für möglich.[7]

Mögliche Entwicklungsrichtungen zur Realisation einer Superintelligenz sind die technische Weiterentwicklung von Computern, die gentechnische Weiterentwicklung von Menschen, die Verschmelzung von beidem in Cyborgs, sowie die Simulation auf neuronaler Ebene:

• Künstliche Intelligenz: Eine reine Beschleunigung der Rechengeschwindigkeit von Computern führt ebenso wenig zu höherer Intelligenz wie die Implementierung von stärkeren Algorithmen.[8] Hingegen wird es als möglich erachtet, ein selbst lernendes Programm zu implementieren, eine sogenannte starke künstliche Intelligenz oder Artificial General Intelligence (kurz AGI, zu deutsch generelle Künstliche Intelligenz). Die Forschung bemüht sich bereits seit Jahrzehnten, sich selbst verbessernde Künstliche Intelligenzen zu kreieren, jedoch bislang nur mit Erfolgen bei schwacher KI. Nach der Veröffentlichung von GPT-4 im März 2023 unterzeichneten allerdings viele Experten, darunter Stuart Russel einen offenen Brief, der zu einem mindestens halbjährigen Stopp aller Forschung an potenteren KI-Systemen aufrief, da ihnen AGI nach neuesten Entwicklungen realistischer und näher erscheint, sodass Vorsicht und Regulation angebracht erscheinen.[9]

• Biologische Kognition: Mittels Gentechnik könnten Übermenschen gezüchtet werden – diese würden nicht auf Anhieb den Status einer Superintelligenz erreichen, in mehreren Generationen bestünde dafür aber zumindest eine Chance für Intelligenzerhöhung. Dafür wird im Rahmen der Embryonenselektion diskutiert, die hinderliche Generationenfolge zeitlich zu verkürzen. Embryonen müssten dafür in einem frühen Stadium Somazellen entnommen und in Keimzellen umgewandelt werden, die eine neue Generation begründen. Geburt und Wachstum könnten auf diese Weise umgangen und ein Mehrgenerationen-Selektionsprozess für die gewünschten genetischen Eigenschaften der Intelligenz, die bekannt sein müssten, drastisch abgekürzt und effizient gestaltet werden.[10] Diese Richtung ist als Eugenik weitgehend abgelehnt. Es ist jedoch nicht auszuschließen, dass erste positive Erfolge in einem Land, das sich hierfür nicht sperrt, zu einem Wandel der Sichtweise führt.

• Gehirn-Computer-Schnittstelle: Der von vielen Transhumanisten bevorzugte Ansatz besteht in der Ausrüstung von Menschen mit verbessernden Implantaten, etwa Mikroprozessoren, um die Denkfähigkeiten massiv zu erhöhen. Über das weitere Vorgehen im Detail herrscht Uneinigkeit, das vorgeschlagene Endziel des Transhumanismus besteht in einer Implementierung menschlichen Bewusstseins in digitalen Speichern von Roboterkörpern oder Cyborgs.[11] Auch hier befindet sich die technische Realisierung noch im Anfangsstadium. Durchbrüche bei der Integration von menschlichem Gehirn und künstlichen Implantaten – vor allem Prothesen zur Behandlung von Behinderungen – führen gelegentlich zu Euphorie in der Presse,[12][13][14][15][16] eine tatsächliche Verbesserung des menschlichen Gehirns durch eine Computerschnittstelle steht allerdings aus.

• Gehirnemulation: Eine weitere, auch praktisch verfolgte Möglichkeit ist, das menschliche Gehirn im Computer vollständig nachzubilden und so dessen Funktionen beliebig schnell zu simulieren (schwache Superintelligenz). Dazu gibt es zwei Großprojekte, die BRAIN Initiative beschränkt sich zunächst auf eine vollständige Kartierung. Das Human Brain Project visiert eine vollständige Simulation an. Die vollständige Simulation ist seit 2005 Zielsetzung des Blue-Brain-Projekts. Dessen Leiter, Henry Markram, hielt 2009 ein künstliches Gehirn bis 2019 für möglich.[7] 2007 wurde ein Etappenziel erreicht, die Simulierung einer kompletten neurokortikalen Säule (bestehend aus 100 Millionen Synapsen – das Großhirn besteht aus 1 Million miteinander vernetzter Säulen). 2013 gelang es dem japanischen Forschungsinstitut RIKEN in Kooperation mit dem Forschungszentrum Jülich auf dem 10 Petaflop K Supercomputer in 40 Minuten Rechenzeit etwa 1 % der Gehirnaktivität für 1 Sekunde zu simulieren (1,7 Milliarden Neuronen mit 10 Billionen Synapsen). Der Leiter der Forschungsgruppe prognostizierte 2013, dass mit der innerhalb der nächsten Dekade zu erwartenden neuen Generation von Exa-Scale-Computern das ganze Gehirn vollständig simulierbar sei.[17]

Eine Superintelligenz soll in der Lage sein, sich selbst Ziele und Werte zu geben und diese situationsbedingt auch anpassen zu können.[18] Beispiele für solche Werte seien Freiheit, Gerechtigkeit, Glück oder konkreter: „Minimiere Ungerechtigkeit und unnötiges Leid“, „sei freundlich“, „maximiere den Unternehmensgewinn“. Technisch muss die Wertgebung mit einer mathematischen Nutzenfunktion programmiert werden, die Istzuständen der Umgebung der Superintelligenz einen messbaren Nutzen zuweist. In heutigen Programmiersprachen existieren jedoch keine Wertbegriffe wie „Glück“ und andere. Die Verwendung von Begriffen aus der Philosophie erweist sich als ungelöst schwierig, da sie nicht in Computersyntax umsetzbar sind. Das Problem ist ferner spiegelbildlich zum Problem des Menschen selbst, Ziele und Werte messbar und nachprüfbar zu formulieren und zu kodifizieren, da Werte unserer komplexen Welt entspringen, der wir uns oft nicht bewusst sind. Auch gibt es gute Gründe zu der Annahme, dass unsere moralischen Vorstellungen in verschiedener Hinsicht falsch sind,[19] so dass sie für eine Übernahme in ein KI-System ungeeignet wenn nicht gefährlich wären. Wird der Ansatz verfolgt, dem System zunächst möglichst einfache Werte von außen vorzugeben, aus denen es selbst mit Hilfe der ihm eigenen Saat-KI seine Wertgebung weiterentwickeln und erlernen soll, treten vielfältige neue Probleme auf. Sie könnten darin bestehen, dass Werte in einer veränderten Welt nicht mehr erwünscht sind oder dass unvorhergesehene Zielkonflikte entstehen und erwartet wird, dass das System sie erkennt und korrigiert. Vielfach sind Zielkonflikte aber nicht auflösbar.[20] Das Wertgebungsproblem ist somit ungelöst. Es ist nicht bekannt, wie eine Superintelligenz auf dem Weg über Wertlernen verständliche menschliche Werte installieren könnte.[21] Selbst wenn das Problem gelöst wäre, existierte das nächste Problem, das darin besteht, welche Werte gewählt werden sollen und welche Auswahlkriterien hierfür zu verwenden sind. Weitere Problemkreise entstehen: Sollen die Absichten der Superintelligenz vor der Ausführung nochmals durch Menschen überprüft werden? Ist das von Menschen, angesichts der Komplexität der Fragestellungen, im notwendigen Zeitrahmen überhaupt leistbar? Lässt das System eine solche Kontrolle dauerhaft zu?

Aus einer aus Sicht der Menschen falschen oder unzureichenden Wertgebung für die Superintelligenz resultiert das Kontrollproblem. Dieses besteht darin sicherzustellen, dass die Menschheit die Kontrolle über die Maschine behält. Nick Bostrom demonstriert das Problem an folgendem Beispiel: „Stellen Sie sich eine Maschine vor, die mit dem Ziel programmiert wurde, möglichst viele Büroklammern herzustellen, zum Beispiel in einer Fabrik. Diese Maschine hasst die Menschen nicht. Sie will sich auch nicht aus ihrer Unterjochung befreien. Alles, was sie antreibt, ist, Büroklammern zu produzieren, je mehr, desto besser. Um dieses Ziel zu erreichen, muss die Maschine funktionsfähig bleiben. Das weiß sie. Also wird sie um jeden Preis verhindern, dass Menschen sie ausschalten. Sie wird alles tun, um ihre Energiezufuhr zu sichern. Und sie wird wachsen – und selbst dann nicht aufhören, wenn sie die Menschheit, die Erde und die Milchstraße zu Büroklammern verarbeitet hat. Das ergibt sich logisch aus ihrer Zielvorgabe, die sie nicht hinterfragt, sondern bestmöglich erfüllt.“[22]

Wie kann diese Entwicklung verhindert werden? Bostrom beschreibt hierzu prinzipiell zwei Faktoren. Der erste betrifft die Motivation der Konstrukteure der superintelligenten Maschine. Entwickeln sie die Maschine zu ihrem persönlichen Vorteil oder aus wissenschaftlichem Interesse oder zum Wohle der Menschheit? Dieser Gefahr kann durch Kontrolle des Entwicklers durch den Auftraggeber gebannt werden. Der zweite Faktor betrifft die Kontrolle der Superintelligenz durch ihre Konstrukteure. Kann eine am Ende der Entwicklung höher qualifizierte Maschine durch einen geringer qualifizierten Menschen überwacht werden? Die dazu notwendigen Kontrollmaßnahmen müssten dann vorab eingeplant und in die Maschine eingebaut werden, ohne dass diese im Nachhinein durch die Maschine selbst wieder manipuliert werden können. Hierzu gibt es zwei Ansätze: Kontrolle der Fähigkeiten und Kontrolle der Motivation der Maschine. Entgleitet auch nur eine der beiden, kann die Superintelligenz die Kontrolle über die Menschheit erlangen.[23]

Einige KI-Experten und Philosophen denken, dass die Entwicklung von Superintelligenz zum Aussterben der Menschheit oder zu einer anderen unumkehrbaren globalen Katastrophe führen könnten.[24][25][26] Ein Argument stellt sich wie folgt dar: Der Mensch ist anderen Arten überlegen, weil das menschliche Gehirn über besondere Fähigkeiten verfügt, die anderen Tieren fehlen. Sollte die KI also eine übermenschliche allgemeine Intelligenz oder Superintelligenz entwickeln, könnte es schwierig oder unmöglich werden, sie zu kontrollieren.[27]

Wie plausibel eine existenzielle Katastrophe durch KI ist, wird breit diskutiert und hängt zum Teil davon ab, ob AGI oder Superintelligenz erreichbar sind, wie schnell sich gefährliche Fähigkeiten und Verhaltensweisen entwickeln[28] und ob es konkrete Szenarien für eine Machtübernahme durch KI gibt.[29] Besorgnis über Superintelligenz wurde von führenden Computerwissenschaftlern und Firmenchefs wie Geoffrey Hinton,[30] Yoshua Bengio,[31] Alan Turing, Elon Musk,[32] und dem CEO von OpenAI Sam Altman geäußert.[33] In einer Umfrage unter KI-Forschern aus dem Jahr 2022 mit einer Antwortrate von 17 % gab die Mehrheit der Befragten an, dass die Unfähigkeit KI zu kontrollieren, mit einer Wahrscheinlichkeit von 10 % oder mehr zu einer existenziellen Katastrophe führen wird.[34][35]

Zwei Quellen der Besorgnis ergeben sich aus den Problemen der KI-Kontrolle und -Ausrichtung: Es könnte schwierig sein, eine superintelligente Maschine zu kontrollieren oder ihr menschliche Werte zu vermitteln. Viele Forscher glauben, dass eine superintelligente Maschine sich gegen Versuche, sie zu deaktivieren oder ihre Ziele zu ändern, wehren würde, da dies sie von der Verfolgung ihrer derzeitigen Ziele abhielte. Es wäre äußerst schwierig, eine Superintelligenz mit der gesamten Bandbreite bedeutsamer menschlicher Werte und Grenzen in Einklang zu bringen.[24][36][37]

Eine dritte Quelle der Sorge ist, dass eine plötzliche „Intelligenzexplosion“ die unvorbereitete Menschheit überraschen könnte. Derlei Szenarien ziehen die Möglichkeit in Betracht, dass eine KI, die intelligenter ist als ihre Schöpfer, in der Lage sein könnte, sich selbst mit exponentiell steigender Geschwindigkeit rekursiv zu verbessern, und zwar so schnell, dass sie von ihren Betreibern und der Gesellschaft als Ganzes nicht länger kontrolliert werden kann.[24][36] Empirische Beispiele wie das Programm AlphaZero, das sich selbst das Gospielen beibrachte, zeigen, dass sich bereichsspezifische KI-Systeme manchmal sehr schnell von dem Menschen unterlegenen zu Akteuren mit übermenschlichen Fähigkeiten entwickeln können, obwohl solche Systeme keiner Änderung ihrer grundlegenden Architektur bedürfen.[38]

Die philosophischen und ethischen Implikationen einer Superintelligenz werden innerhalb wie außerhalb der transhumanistischen Bewegung kontrovers diskutiert. Es gibt verschiedenartige Kritik an dem Ziel, eine Superintelligenz zu erschaffen.

Skeptiker zweifeln, ob eine Superintelligenz überhaupt technisch realisierbar ist. Die Vorgänge in einem biologischen Gehirn seien viel zu komplex, um sie zu entschlüsseln und um sie mit einem technischen Gerät zu imitieren. Auch die Verbindung von menschlichen Synapsen zur Elektronik in einem Cyborg sei problembehaftet, da ein schnelles, aber starres elektronisches System mit langsameren, aber lebendigen Hirnkomplexen nicht einfach verdrahtet werden könne. Dieser Kritik wird zum einen entgegengehalten, dass die Erkenntnisse über die genauen Vorgänge in einem menschlichen Gehirn nicht prinzipiell zu komplex sind, um jemals verstanden zu werden. Ein praktisches Beispiel sind hochentwickelte elektronische Hörgeräte. Zum anderen sei künstliche Intelligenz keineswegs auf die Imitation eines biologischen Gehirns festgelegt, sondern könne ihre Intelligenz auch auf einer anderen Funktionsweise begründen.

Andere Kritiker stören sich an der Hybris, den Menschen verbessern zu wollen. Gerade die Verbesserung durch Gentechnik ist als Eugenik in vielen Ländern gesellschaftlich geächtet. Es besteht außerdem die Frage, ob superintelligente Wesen ihre Fähigkeiten zum Wohle oder zum Nachteil der Menschheit einsetzen. Zwar meinen Befürworter, dass eine Superintelligenz per definitionem charakterlich besser sein müsse als ein normaler heutiger Mensch, aber bei einem Versuch, sie zu erschaffen, würde die Vision möglicherweise nur zum Teil umgesetzt und eine übelwollende Intelligenz erschaffen. Es ist anzumerken, dass auch die legitimen Interessen verschiedener Parteien kollidieren können.

Schließlich besteht eine Abneigung, sich von möglicherweise fehlerhaften Implantaten abhängig zu machen. Gerade die Verfechter des Transhumanismus argumentieren, dass die Verweigerer der neuen Technik von der Avantgarde früher oder später verdrängt oder abgehängt werden. Die Folge wäre, so die Kritiker, dass reichere Menschen sich leistungsfähigere Ergänzungen zu ihrem Gehirn erkaufen können und mit ihrer erhöhten Geisteskapazität die nicht aufgerüsteten Menschen umso besser unterdrücken oder ausbeuten können.

Vereinzelt wird deshalb für einen Stopp der Entwicklung und Implementierung künstlicher Intelligenz plädiert, der auch vor dem Begriff der Artificial General Intelligence (AGI) sowie der möglichen Auslöschung der Menschheit diskutiert wird.[39] So unterzeichneten etwa im April 2023 prominente Tech-Unternehmer wie Elon Musk und IT-Experten wie Stuart Russel einen offenen Brief, der aus Sorge über die zu schnelle, unregulierte Entwicklung von KI zu einem mindestens sechsmonatigen Stopp in der Forschung an Systemen aufrief, die stärker sind als GPT-4.[9]

Viele Science-Fiction-Romane und -Filme kennen Überwesen. Die zumeist scheinbar allwissenden oder allmächtigen Wesen erfüllen häufig die eingangs genannten Kriterien der Superintelligenz. Die Idee einer komplett vergeistigten, d. h. körperlosen Superintelligenz tauchte erstmals im Jahre 1962 in der Science-Fiction-Serie Perry Rhodan in Form der Superintelligenz ES auf.

• Künstliches Leben
• Golem XIV

• Shane Legg: Machine Super Intelligence – Dissertation, Universität Lugano 2008. (PDF; 200 S.; 1,6 MB)
• Nick Bostrom: „Superintelligence“ | Talks at Google (YouTube)
• Elon Musk Nick Bostrom Ray Kurzweil Superintelligence Elon Musk and other panellists talk AI and answer the question: “If we succeed in building human-level Artificial general intelligence (AGI), then what are the likely outcomes? What would we like to happen?” (YouTube)
• Bill Gates Joins Stephen Hawking in Fears of a Coming Threat from „Superintelligence“

1. Nick Bostrom: How long before Superintelligence? - letzte Aktualisierung 2005
2. Begriffe des Transhumanismus, Abschnitt »Was ist eine Superintelligenz« (Memento vom 16. Juli 2011 im Internet Archive). Abgerufen am 5. April 2024.
3. I. J. Good: Speculations Concerning the First Ultraintelligent Machine – 1965 (Memento vom 4. März 2016 im Internet Archive). Abgerufen am 5. April 2024.
4. Mihai Nadin: „Mind Antizipation und Chaos“
5. Aus: Computer übernehmen die Macht: Vom Siegeszug der künstlichen Intelligenz. Hamburg 1999, S. 136. – wird von Dirk Evers, Tübingen, in Der Mensch als Turing-Maschine? – Die Frage nach der künstlichen Intelligenz in philosophischer und theologischer Perspektive online (PDF; 71 kB)
6. Bostrom et al: FAQ von 1999
7. Artificial brain '10 years away'. BBC News, 22. Juli 2009, abgerufen am 19. Juni 2013 (englisch).
8. Hans Moravec: When will computer hardware match the human brain? - 1997 (Memento vom 15. Juni 2006 im Internet Archive). Abgerufen am 5. April 2024.
9. Pause Giant AI Experiments: An Open Letter. In: Future of Life Institute. Abgerufen am 24. November 2023 (amerikanisches Englisch).
10. Bostrom, Nick: Superintelligenz. Szenarien einer kommenden Revolution. Suhrkamp 2016. S. 68ff
11. Gerhard Fröhlich: Techno-Utopien der Unsterblichkeit aus Informatik und Physik. In: Ulrich Becker, Klaus Feldmann, Friedrich Johannsen (Hrsg.): Tod und Sterben in Europa. Neukirchener Verlag, Neukirchen-Vluyn 1997, ISBN 3-7887-1569-3, S. 184–213 (jku.at [PDF; 81 kB]).
12. Erste gedankengesteuerte Armprothese. In: derstandard.at
13. Prothesen – Höher, schneller, weiter. In: zeit.de
14. Spiegel 1997: Als Cyborg ewig leben
15. Schrittmacher fürs Gehirn. In: focus.de
16. Spiegel 2008: Die Sprache des Gehirns
17. Largest neuronal network simulation achieved using K computer. RIKEN, 2. August 2013, abgerufen am 13. August 2013 (englisch).
18. Bostrom, Nick: Superintelligenz. Szenarien einer kommenden Revolution. Suhrkamp 2016. S. 260–291
19. Bostrom, Nick: Superintelligenz. Szenarien einer kommenden Revolution. Suhrkamp 2016. S. 299
20. Bostrom, Nick: Superintelligenz. Szenarien einer kommenden Revolution. Suhrkamp 2016. S. 270ff
21. Bostrom, Nick: Superintelligenz. Szenarien einer kommenden Revolution. Suhrkamp 2016. S. 277
22. Interview der Zeit mit Nick Bostrom
23. Die Zukunft der Evolution; Kommentar von Bertram Köhler zu dem Buch „Superintelligenz“ von Nick Bostrom
24. Russell, Stuart; Norvig, Peter (2009). "26.3: The Ethics and Risks of Developing Artificial Intelligence". Artificial Intelligence: A Modern Approach. Prentice Hall. ISBN 978-0-13-604259-4.
25. Bostrom, Nick (2002). "Existential risks". Journal of Evolution and Technology. 9 (1): 1–31.
26. Turchin, Alexey; Denkenberger, David (3. Mai 2018). "Classification of global catastrophic risks connected with artificial intelligence". AI & Society. 35 (1): 147–163. doi:10.1007/s00146-018-0845-5. ISSN 0951-5666. S2CID 19208453.
27. Bostrom, Nick (2014). Superintelligence: Paths, Dangers, Strategies (1. Ausgabe). Oxford University Press. ISBN 978-0-19-967811-2.
28. Vynck, Gerrit De (23. Mai 2023). "The debate over whether AI will destroy us is dividing Silicon Valley". Washington Post. ISSN 0190-8286. Abgerufen am 27. Juli 2023.
29. Metz, Cade (10. Juni 2023). "How Could A.I. Destroy Humanity?". The New York Times. ISSN 0362-4331. Abgerufen am 27. Juli 2023.
30. ""Godfather of artificial intelligence" weighs in on the past and potential of AI". www.cbsnews.com. 25. März 2023. Abgerufen am 10. April 2023.
31. "How Rogue AIs may Arise". yoshuabengio.org. 26. Mai 2023. Abgerufen am 26. Mai 2023.
32. Parkin, Simon (14. Juni 2015). "Science fiction no more? Channel 4's Humans and our rogue AI obsessions". The Guardian. Archiviert aus dem Original am 5. Februar 2018. Abgerufen am 5. Februar 2018.
33. Jackson, Sarah. "The CEO of the company behind AI chatbot ChatGPT says the worst-case scenario for artificial intelligence is 'lights out for all of us'". Business Insider. Abgerufen am 10. April 2023.
34. "The AI Dilemma". www.humanetech.com. Abgerufen am 10. April 2023. 50 % der KI-Forschenden gaben die Wahrscheinlichkeit des Aussterbens der Menschheit durch gescheiterte Kontrolle von KI mit 10 % oder mehr an.
35. "2022 Expert Survey on Progress in AI". AI Impacts. 4. August 2022. Abgerufen am 10. April 2023.
36. Yudkowsky, Eliezer (2008). "Artificial Intelligence as a Positive and Negative Factor in Global Risk" (PDF; 0,5 MB). Global Catastrophic Risks: 308–345. Bibcode:2008gcr..book..303Y. Archiviert (PDF) aus dem Original am 2. März 2013. Abgerufen am 27. August 2018.
37. Russell, Stuart; Dewey, Daniel; Tegmark, Max (2015). "Research Priorities for Robust and Beneficial Artificial Intelligence" (PDF; 0,6 MB). AI Magazine. Association for the Advancement of Artificial Intelligence: 105–114. arXiv:1602.03506. Bibcode:2016arXiv160203506R. Archiviert (PDF) aus dem Original am 4. August 2019. Abgerufen am 10. August 2019., zitiert "AI Open Letter - Future of Life Institute". Future of Life Institute. Januar 2015. Archiviert aus dem Original am 10. August 2019. Abgerufen am 9. August 2019.
38. "AlphaGo Zero: Starting from scratch". www.deepmind.com. Abgerufen am 28. Juli 2023.
39. Émile P. Torres: How AI could accidentally extinguish humankind. In: The Washington Post. 31. August 2022, abgerufen am 6. September 2022 (amerikanisches Englisch).