KI-Update Deep-Dive: Warum ControlAI ein Verbot von Superintelligenz fordert

00:00:02: Das KI Update, ein heise Podcast mit redaktioneller Unterstützung von The Decoder.

00:00:14: Hallo ich bin Isabel Grünewald und dies ist unser Deep Dive zum Wochenende!

00:00:20: Als die Entwickler Dario Amadei und Sam Altman vor wenigen Wochen noch einmal eindringlich vor den Gefahren der eigenen Technologie warnten tauchte auch der Ausdruck Superintelligence immer wieder auf.

00:00:33: Altman sprach schon vor einem Jahr davon das bis zum Ende des Jahrzehnts KI in der Lage sein wird, Dinge zu tun und wissenschaftliche Entdeckungen zu machen – zu den Menschen allein nicht in der Lage wären.

00:00:46: Und

00:00:46: dieser Zeithorizont schrumpft mit jedem

00:00:49: neuen

00:00:50: mächtigeren KI-Modell weiter zusammen!

00:00:53: Damit ist das erklärte Ziel längst nicht mehr nur eine allgemeine künstliche Intelligenz die AGI, den etwa so intelligent wie ein Durchschnittsmensch ist.

00:01:04: Nein, eine KI soll allen Bereichen besser sein als ein Mensch, eben superintelligent.

00:01:12: Nicht alle teilen Ordnance-Enthusiasmus dafür – dazu gehört auch Benjamin Balde!

00:01:19: Der Techunternehmer leitet die Aktivitäten von Control AI in Deutschland.

00:01:24: Die Nichtregierungsorganisation setzt sich bei Politikerinnen und Politikern in den USA, Kanada, Großbritannien und jetzt eben auch hier bei uns dafür ein, dass dieser Schritt über die Grenzen der menschlichen Intelligenz hinaus gesetzlich verboten wird, weil eine Technologie, die uns in allem übertrifft von uns auch nicht mehr kontrolliert werden könnte.

00:01:50: Hallo Benjamin Schön, dass du heute da bist!

00:01:52: Hallo Isabel!

00:01:54: Meist so um eine Grundlinie zu schaffen nach all den Horrorszenarien was KI angeblich kann oder was sie auch nicht kann und was Hype ist oder auch nicht... Was kann KI heute?

00:02:07: Und worauf arbeiten die KI-Konzerne geradehin, dass sie können soll?

00:02:12: Ja so.

00:02:13: KI kann heute wahrscheinlich schon besser programmieren als der Großteil aller Menschen und mittlerweile wahrscheinlich auch als der großteil der programmierenden Leute.

00:02:21: ich kenne keinen einzigen Programmierer mehr denn nicht zumindest irgendwo noch ein KI-Toolang benutzen ist sei es für das Generieren von Code oder das Überprüfen oder sei es auch wenn man einfach nur mal ein paar komplizierte Remerges überdenken muss.

00:02:34: Das Gleiche gilt für viele andere Teilbestände, also von der KI-Empwicklung.

00:02:38: KAI übernimmt heute schon bis zu sechsundzwanzig Prozent der KI.

00:02:42: Forschung selber, das ist jetzt eine Zahl die er in wirklich so rausgegeben hat, sollte man immer mit einer Prise Salz mitnehmen.

00:02:47: aber KAI macht heute schon einen Großteil der Forschungsarbeit mit.

00:02:51: genauso sehen wir dass KAI auch heute schon mathematische Probleme lösen kann.

00:02:55: da hatte Open Air erst vor kurzem einen riesigen Tag wo sie einfach mal Ja, hunderte offene Probleme in der Mathematik einfach geteckert haben und gelöst haben.

00:03:04: Und da sehen wir das.

00:03:06: ein paar dieser Beweise wenn die einen Mensch vollbracht hätte wahrscheinlich zu einer Vielzmedaillie geführt hätten also dem Nobelpreisequivalent aus der Mathematik.

00:03:16: Wir sehen die KI ja auch in vielen anderen Bereichen wo sie Geschwindigkeit erhöht.

00:03:19: Also seien es noch ältere Sachen wie Alpha-Folk die natürlich dann in diesem Proteinfallproblem in der Erforschung neuer Proteine Die Geschwindigkeiten massiv erhöht haben aber auch an der Erkennung In radiologischen Bildern, da hilft KI heute auch schon mittlerweile massiv.

00:03:33: Also es gibt eine Vielzahl an Dimensionen wo KI entweder Menschen massiv schon am unterstützen ist, Preisextreme am senken sind oder den Menschen mittlerweile bei Weitem überflügelt hat.

00:03:44: Wir sehen aber dass das eine Art, sprich man im Englischen von einem Jagged Frontier gibt.

00:03:48: Das heißt einzelne Dimensione ist die KI extrem stark wie die gerade eben besprochenen.

00:03:53: Es gibt aber immer noch einige Dimension, wo die KI auf einfache Faltstrecke sozusagen reinfällt.

00:04:00: Hier muss man auf jeden Fall dazu sagen dass das ja nicht das Ziel der KI-Unternehmen ist generell in allen Bereichen gleichmäßig zu wachsen sondern das Ziel von der KI Unternehmen ist es ja die KI Forschung zu automatisieren.

00:04:12: Aber sie arbeiten ja auch auf die allgemeine künstliche Intelligenz hin.

00:04:17: also zumindest OpenAI und Anthropic sagen das ganz offen, dass es eigentlich ihr Ziel und die müsste dann ja theoretisch alles können oder?

00:04:29: Ja also das Endziel ist ja wirklich... Also das Endziel ist ja Superintelligenz.

00:04:34: Sie wollen ja KI haben in allen Domänen besser als der Mensch.

00:04:38: Wohlgemerkt nicht die Superintelligence von Trump gerade spricht sondern eine echte Superintelligenz, die besser ist als was wir jetzt haben!

00:04:46: Genau, also das was früher auf jeden Fall Superintelligenz genannt wurde.

00:04:50: Womit man ja KI meint die Dimension in allen Dimensionen überflügelt.

00:04:55: und der jetzige Weg den man sich vorstellt um dahin zu kommen ist indem man die KI Forschung automatisiert.

00:05:01: Also das heißt, es gibt Teilbestände.

00:05:03: Die brauche ich um die nächste Generation an KI-Modellen zu entwickeln.

00:05:06: KI wird ja nicht klassisch programmiert also ich schreibe ja nicht Zeile für Zeile sondern ich entwickel eine Trainingsumgebung.

00:05:12: in dieser Trainings Umgebung habe ich dann einen evolutionären Algorithmus der da durchläuft und da entwickelt sich dann dieses KI System drin.

00:05:19: KI übernimmt mittlerweile ein großter der Programmierung dafür.

00:05:23: Das heisst wenn wir uns angucken dass intern die Unternehmen vielleicht Wir haben im Jahr, dass wir in den vergangenen Jahren mit dem Vorherrigen Modell des Nachfolgemodells schon bei der KTI übernimmt.

00:05:38: Das heißt nicht, dass die KI schon der KI-Forschung übernmt, aber das ist der Großteil des Codes, der von der KI selbst geschrieben wird.

00:05:49: Wir sehen, dass der Weg für die Unternehmen erst mal darüber führt.

00:05:52: Dass sie die KI-Forschung automatisieren.

00:05:54: und sobald Sie das hinbekommen haben kann es sein, dass man auch den Schritt einer AGI wie man sich den Feuer vorgestellt hat also einer KI auf Menschenniveau überspringt.

00:06:03: Das heißt, dass die KI schnell in vielen Domänen übermenschlich werden kann.

00:06:07: Ah okay!

00:06:09: Und kommen daher jetzt auch diese Untergangsszenarien?

00:06:13: Vor denen Dario Amodei und seine Kollegen selber waren von ihren eigenen Produkten, die angeblich so mächtig sind dass sie ja uns auch einfach mal auslöschen können.

00:06:25: Ja da muss man dazu sagen das Dario zum Beispiel schon seit mindestens dreizehn Jahren darüber am Waren ist, das war bevor er noch bei Open AI war und da der Research Chef war.

00:06:33: Das war noch bevor er Anthropia gegründet hat.

00:06:35: offensichtlich auch andere Leute wie Sam Ordman haben auch schon vor über zehn Jahren davor gewarnt.

00:06:42: viele von den Leuten kommen ja aus dem Feld um beschäftigen sich mit der Thematik weil sie ja auch eine große Gefahr darin sehen was diese Technologie wozu sie in der Lage sein wird.

00:06:52: Auf der einen Seite sehen wir, dass man diese ganzen Sachen schon gesagt hat als GPT-II damals rausgekommen ist.

00:06:58: Also das KI Modell was noch gar nicht ChatGPT war sogar schon auch davor.

00:07:03: Woran liegt das?

00:07:04: Die Leute haben sich quasi vorgestellt, dass wenn die so unterliegende Architektur skalierbar ist wird zu immer leistungsfähigeren Modellen kommen und es diese Modelle dann halt dazu in der Lage sind immer größere kompliziertere Probleme zu lösen.

00:07:17: Das nennt sich Alignment, also die Ausrichtung der KI.

00:07:20: Wenn wir das nicht geleistet haben, dass uns dann sozusagen die Kontrolle über diese Systeme entgleisen wird.

00:07:26: Wenn man von so einem Untergangsszenario spricht, dann muss das nicht unbedingt irgendwie ein Terminator-Szenario sein oder einen Szenario wo die Killerdrohnen losfliegen sondern es geht auch unterliegend darum, dass der Mensch in der Kontrolle darüber ist was als nächstes passiert und wir sehen, zumindest im Kontext von KI auch höher und höher am Entmachten ist.

00:07:45: Wir lagern mehr Verantwortung und Entscheidungen an KI-Systeme aus, und zu einem gewissen Grad muss man das natürlich auch in einer immer komplizierter währenden Welt machen – gerade wenn man zum Beispiel auch von Abwehrsystemen redet.

00:07:56: Viele Systeme müssen schneller funktionieren als ein Mensch eine Entscheidung treffen kann.

00:08:01: Dennoch müssen wir uns Gedanken darüber machen, wie sind die ganzen Systeme insgesamt aufgesetzt?

00:08:05: Und wo hat der Mensch sozusagen noch Entscheidungsspiel rum?

00:08:08: Okay.

00:08:08: Das heißt, das wo vor auch unternahm gewarnt wird ist dass wir sehen, dass die Systeme mal leistungsfähiger werden in allen möglichen Domänen und die uns sozusagen dann in den meisten Dimensionen Bereichen verdrängen können.

00:08:20: natürlich sehen wir auch Fälle wie jetzt gerade bei dem Open AI Hugging Face Fall, dass wir die derzeitigen Modelle nicht einmal wirklich einsperren können, nicht mal richtig kontrollieren können.

00:08:28: Ja.

00:08:29: Das heisst an vielen fällen ist es natürlich dass der Mensch eine menschliche Übersicht hat.

00:08:34: Also ich kann ein sehr gutes Handbox konfigurieren, ich kann mir sehr viele Gedanken darüber machen das sich alle IT-Sicherheitsaspekte beachte und da ist es natürlich auch viel, viel schwieriger so etwas wie bei diesem Fall passieren kann wo ja die Produktivsysteme von Open AI auch kompremitiert worden sind glaube aber dass es wahrscheinlich nicht möglich ist dass man zu hundert Prozent sauberen Code schreiben kann.

00:08:56: also es gibt ja auch teilweise menschlichen Code wo wir seit achtundzwanzig Jahren keine Softwarelücken mehr gefunden haben.

00:09:01: Und dann finden die neuesten Modelle innerhalb von sechs Tagen mehrere Lücken, die denen vielleicht sogar Kernel Zugang geben.

00:09:09: Das wäre sozusagen die Fragestellung, die man sich hier stellen muss.

00:09:11: Wenn ich es mit einem immer schlauer werdenden oder stärker werdenden Akteur zu tun habe wie lange kann nicht mehr halt noch sicher sein dass ich überhaupt irgendeine Form von Gefängnis oder Einsperrungen schaffen kann, die dann auch hält?

00:09:23: Jetzt ist ja so ein bisschen das Absurde an diesen Warnungen für den Leinen als Beobachter also auch für mich dass wir da sitzen und denken, okay die waren vor ihren eigenen Modellen aber niemand hält ihnen irgendwie eine Pistole an den Kopf und sagt du musst jetzt weiterentwickeln.

00:09:41: Man könnte doch einfach auch gerade aufhören oder man könnte doch auch sagen das ist jetzt ein ganz gutes Niveau.

00:09:50: Da bleiben wir jetzt erstmal und versuchen dieses Allein- und Problem in Griff zu kreben bevor wir weiter arbeiten.

00:09:56: Aber sie arbeiten trotzdem weiter.

00:09:59: Bitte andere darum, sie zu regulieren.

00:10:02: Warum?

00:10:03: Also wieso warnt man vor dem eigenen Produkt und hört da nicht einfach auf es zu machen?

00:10:11: Es gibt glaube ich mehrere Dimensionen die man beachten muss.

00:10:13: Ich glaube die wichtigste Komponente ist die Wetterendynamik Das heißt ein Aspekt des ja das ist innerhalb von Amerika einen Wettrennen gibt Und dass es insgesamt ein Wettrehen gibt zwischen Amerika und China.

00:10:25: Das heißt, das Immere-Wettrennen ist quasi selbst wenn sagen wir mal Anthropic oder OpenAI sagen wir pace in the frontier und wir verlangsamen jetzt bei uns.

00:10:34: Dann gibt es ja immer noch andere Participanten auf dem Markt wie Google, Meta die sich dann zum Beispiel nicht daran halten.

00:10:41: Und sie können einfach den Markt aufessen denen sozusagen OpenAI und Anthropics gerade den anderen anbieten sind weil sie dann kein stärkeres Modell mehr rausbringen sondern weil sie z.B.

00:10:51: mehr Computerressourcen auf Alignment aufbringen.

00:10:54: Jetzt ist das zweite Komponente, die da dran hängt.

00:10:57: Dass wenn ich derjenige bin, der die Kosten für das Alignment trägt und andere ja tendenziell weniger Kosten für Alignment trägt, weil ich möchte eigentlich, dass diese Alignment-Technologie in den Markt rein diffundiert.

00:11:07: Das heißt, ich habe kein Interesse daran, die Alignmentsachen für mich zu behalten.

00:11:11: D.h.,

00:11:11: der Akteur, der sich sozusagen ethisch aufhalten würde, würde jetzt gerade in unserer Marktsituation bestraft werden.

00:11:17: Das könnte man sich auch ein bisschen so vorstellen wie... Wenn man sich jetzt vorstellt in einer anderen ökonomischen Situation, wir haben zwei Marktteilnehmer.

00:11:25: Das könnte zum Beispiel auch einfach Treibstoff sein.

00:11:27: und der eine Treib-Stoffanbieter gibt z.B.

00:11:29: den Rabatt, den der Staat ihnen gegeben hat direkt an die Bürger weiter.

00:11:34: aber das sorgt nicht unbedingt dafür dass er irgendwie markttechnisch dafür belohnt wird, dass er super viel mehr Leute bei ihm einkaufen sondern er verliert einfach nur Geld im vergleicht zum Beispiel dem Anbieter, der das nicht anmachen ist.

00:11:44: In dieser Situation würde der Markt ihn nicht dafür belohnen, dass er sozusagen den Preis senkt.

00:11:49: und in dem Fall würde der Mark Anthropic oder Open AI oder wen auch immer, der jetzt als Erster defektet oder sozusagen sagt ich bin nicht mehr beim Wettrenn dabei, würde diesen Teilnehmer bestrafen und würde denen wahrscheinlich rausselektieren.

00:12:01: Jetzt kann man nochmal eine Ebene genauer reingehen.

00:12:03: Es wäre auch wahrscheinlich so, Open AI ist mittlerweile ein Profitunternehmen, Anthropics genauso.

00:12:08: wenn ich also mir jetzt vorstelle Der CEO sagt von einem profitgesteuerten Unternehmen, ich möchte jetzt nicht mehr das machen was in der derzeitigen Marktsituation den meisten Profitelbiet schafftet.

00:12:17: Dann kann es einfach sein dass der CEO ausgetauscht wird durch jemanden der dann wieder Profit maximiert in dieser derzeitige Markensituation.

00:12:24: Jetzt muss man nochmal den Schritt rausmachen.

00:12:25: und jetzt gehen wir auf die Makroveben und schauen uns das Wetter inzwischen Amerika und China an.

00:12:29: Wenn die ganzen amerikanischen Teilnehmer, Webbywebs-Teilnehmer pausieren gibt es sicherlich einen Effekt der auch nach China diffondiert weil die Chinesen ja unter anderem Fortschritte dadurch machen dass sie die Modelle destillieren.

00:12:39: Das heißt hier nehmen sich ein großes amerikanisches Modell quetschen das aus und können kleinere chinesische Modellen da machen was man viele von den Vorteilen irgendwie mitnimmt.

00:12:48: Viele sozusagen die das Wettrennen aus Amerikas Perspektive am Anheizen sind, heizen es ja an mit der Gefahr vor China.

00:12:55: Wenn wir jetzt nicht weitermachen dann holen die Chinesen uns in sechs Monaten auf, da ist unser Vorsprung weg und dann können sie permanente technologische Dominanz irgendwie mit der Hilfe von künstlicher Intelligenz erzielen.

00:13:07: Das heißt, ja klar könnten die amerikanischen Teilnehmer jetzt zuerst sagen wir stoppen.

00:13:12: Wir gehen in die Selbstverpflichtung rein.

00:13:14: Wir machen hier einiges.

00:13:15: Die Frage ist was hat das dann für den globalen Effekt wenn wir weiter an dieser Wetterendynamik sind?

00:13:19: und viele von diesen Teilnehmern sind auch glaube ich sehr offen dafür dass man eine Form von Regulation einführt so wie ich das auch glaube bei vielen Unternehmen zum Beispiel Deutschland oder in Europa sehe, wenn es um Klimafreundlichkeit geht.

00:13:31: Viele von den Unternehmen werden sehr viel breiter glaube ich auch viel mehr im Bereich Klimaschutz zu machen, wenn sie wüssten dass das halt alle Teilnehmer auf der Welt irgendwie am Machen sind weil das ja dann irgendwie diese fairen Gegebenheiten darstellt.

00:13:43: und ich glaube dass ist sozusagen der eine Anspruch worum man hier irgendwie einen Staat appelliert und ich sehe das eigentlich auch selten im Branchen Unternehmen, unternehmerische Selbstregulation hilft.

00:13:54: Also bei Social-Media-Unternehmen hilft ja zum Beispiel auch keine Selbstregulierung.

00:13:57: Da studiert sich ja auch niemand selber sondern wir könnten ja jetzt sagen oh lieber Facebook oder liebes Instagram wie auch immer welche Division.

00:14:07: Wir würden gerne das hier mehr Bildungsinhalte an Jugendliche ausschüttet Das wäre doch netto positiv für die Gesellschaft.

00:14:13: Wir sehen nicht, dass irgendwie X und Facebook sich ein Wettrenn bieten.

00:14:18: Wer kann mehr Bildungsinhalte an die Zündliche geben?

00:14:21: Also das passiert ja auch nicht über eine Selbstregulation, sondern da muss man halt glaube ich mit dem Staat reingehen.

00:14:26: und der Staat hat ja auch aus einem Grund das Gewaltmonopol damit er halt auch genau solche Marktgegebenheiten schaffen kann.

00:14:33: Und genau da setzt ihr die Arbeit von Control AI an Ihr seid... Ja, kann man das eine Lobby-Organisation?

00:14:43: Eine NGO.

00:14:44: Wie nennt ihr euch selber?

00:14:46: Wir sind nicht Regierungsorganisationen.

00:14:48: Ich nehme lieber den... Das liebe Wort Interessensvertret, aber man kann natürlich auch Lobbyist sagen.

00:14:55: stehen halt da vereinen und sagen halt, okay gut wir haben ein großes Risiko in Bezug auf künstliche Superintelligenz.

00:15:01: Wo wir denken, wir können die derzeitigen Systeme nicht kontrollieren.

00:15:04: Wir wollen die zukünftige Systeme kontrollieren, die mal vielfach noch leistungsfähiger sind, die euch wahrscheinlich sogar in den meisten Domänen bei Weitem überflügeln so dass da einfach ein Abstand ist.

00:15:13: also wie wenn man jemanden überprüfen will.

00:15:15: ich gebe immer die Metapher des vierjährigen Reihen der versuchen soll den Erwachsenenden ins Bett zu bringen.

00:15:21: das wird sich als schwierig gestalten Und vielleicht gibt es irgendeinen System, eine Form von Rahmenbedingungen unter der der Vierjährige das schaffen kann.

00:15:31: Aber ich glaube ohne ein passendes System macht er Erwachsene was er will weil er halt stärker ist mehr wissen hat, weil er einfach mehr Möglichkeiten hat auch Zugang zu mehr Ressourcen.

00:15:42: und ja diese Themen werden rapide schneller schlauer und deswegen sollten wir uns glaube ich zügig Gedanken darüber machen wie wir solche Rahmenbedingerung hinkriegen.

00:15:52: Jetzt arbeitet er schon eine ganze Zeit lang in den USA, Kanada und dem Vereinigten Königreich.

00:15:59: Und jetzt auch in Deutschland – wie groß ist denn deine Erfahrung nach das Wissen bei den Parlamentarierinnen über KI?

00:16:10: Verstehen die was sie da regulieren sollen oder ist da sehr viel Erklärarbeit nötig?

00:16:16: Also wir haben ja in Deutschland das System, dass wir Fachpolitiker ... Bestimmte Thematiken haben und ich würde sagen, dass jeder Fachpolitiker, mit dem ich bis jetzt gesprochen habe der sich mit KI auseinander setzt das die auch damit auseinandersetzt haben.

00:16:29: Also da fängt man nie bei Null an sondern die haben immer schon Informationen.

00:16:33: Jetzt muss man aber auch sagen was die meisten Politiker ja da nicht nur KI-Politiker sind, sondern die kriegen dann noch ein zweites Thema und haben einen zweiten Ausschuss wo sie drinsitzen.

00:16:42: Und dann halt sicher soll sich im besten Fall auch die Aufmerksamkeit gleichmäßig irgendwie auf die Themenfelder aufteilen.

00:16:47: Das heißt ich glaube die wenigsten Politiker die auch KI behandeln können sich einfach so viel mit KI auseinandersetzen wie externe Experte der sich nur mit KI Auseinander setzen weil ich einfach de facto mehr Zeit wahrscheinlich habe und mich die ganze Zeit auf das Thema am konzentrieren bin.

00:17:02: Das heißt, ich glaube auch bei jedem Fachpolitiker ist eigentlich die Situation da dass man nochmal so zwei drei gute Informationen mit reingeben kann.

00:17:08: Und dann ist ja die eine Frage die sich eigentlich jeder stellt was is denn der Lösungsvorschlag?

00:17:12: Was ist denn der Lösung ansatz?

00:17:13: wie kann denn sowas aussehen?

00:17:14: Wie will man das denn eigentlich regulieren?

00:17:17: Da muss man den Leuten glaub ich immer noch mal ein bisschen Fantasie mitgeben.

00:17:21: Also einerseits Deutschland ist nicht ohnmächtig Wir sind nicht nur die drückgrößte Volkswirtschaft Auf dem Planeten, sondern wir haben auch Hebel.

00:17:27: Also auf die Wertschöpfungskette von künstlicher Intelligenz.

00:17:31: Es gibt Europa.

00:17:32: Europa ist immer noch der größte Absatzmarkt für sowohl China als auch die USA außerhalb des domestischen Marktes für deren eigenen Produkte also explizit auch KI-Produkte.

00:17:42: Und das heißt, da muss man nochmal ein paar Werkzeuge wieder in die Hand geben und dann halt wie kann so eine Regulierungsansatz aussehen.

00:17:47: Da habe ich es in Deutschland um mein Kollege zum Beispiel im Brüssel auf.

00:17:50: wir haben's relativ leicht weil er in Großbritannien letzten Monat schon ein Gesetzesvorschlag ins Parlament eingereicht wurde.

00:17:55: und in den USA ja ebenfalls.

00:17:57: In Amerika wird der Super Intelligence Act von Bernie Sanders und Greg Casar eingereicht und in GroßBritannien die Super Intelligence Bill von Alex Sobell.

00:18:07: Und da haben wir auf jeden Fall schon mal so ein paar Orientierungen.

00:18:10: und dann ist es auch immer noch gut, wenn die Person von der Organisation kommt, die da halt mitberaten hat, die damit geholfen hat.

00:18:16: Das heißt das sind dann doch die passenden Verbindungen da wie man's halt machen kann und wie sowas aussehen kann.

00:18:23: Wie kann denn sowas aussäen?

00:18:25: Erzähl doch mal was in diesen beiden Gesetzesentwürfen drin steht.

00:18:28: Was für Regulierungen oder auch Verboote fordert ihr denn?

00:18:33: Ja,

00:18:34: es ist wichtig dass man das nochmal glaube ich klar macht die Differenzierung zwischen Superintelligenz und einer anderen Arten von KI.

00:18:39: Der Großteil von KI Anwendung ist relativ harmlos oder hat Risikokategorien die wir schon kennen.

00:18:44: Das heißt wir kennen die Kategorie des Bayes schon.

00:18:47: Wir kennen die Möglichkeit in Disinformationen zu schaffen.

00:18:50: KI erhöht das natürlich also.

00:18:51: heute kann ein Angreifer aus dem Ausland relativ schnell Disinformation produzieren, würde ich behaupten.

00:18:58: Dennoch sind das Kategorien die wir ja schon kennen.

00:19:00: Superintelligenz kommt mit eigenständigem neuen Risik hinterher weil wir es halt noch nie mit einer Technologie zu tun hatten, die den Mensch selbst überflügeln kann oder die an sich diesen Grad eine Autonomität aufweist.

00:19:10: Das heißt da ist erstmal die große Differenzierung.

00:19:12: was wir fordern ist nun ein Verbot auch super Intelligenz weil wir glauben dass wir damit skypellartig reingehen können und damit erst mal den größten Teil der existenziellen Probleme die irgendwie durch KI entstehen können rausnehmen.

00:19:23: So ein Verbot auf Superintelligenz löst das Problem natürlich domestisch nicht.

00:19:28: Das heißt, wenn man sich mit Deutschland und ich verbiete den Atomkrieg oder Atomwaffenokal dann ist damit noch nicht viel getan.

00:19:35: Wir glauben aber dass das der erste essenzielle Schritt ist, damit sich Nationen koordinieren können.

00:19:40: Das heisst Deutschland sagt Superintelligenz sollte es global nicht geben, sollten wir nicht entwickeln.

00:19:45: da kann man natürlich auch immer noch diesen Nebensatz daran fügen oder unkontrollierbare Superintelligenz, falls jemand eine kontrollierbare superintelligenze kreieren könnte.

00:19:55: Dass auch gerade fraglich auf das theoretisch überhaupt machbar ist.

00:19:58: Ich bin wieder bei der Metapher von dem kleinen Kind... Und im Erwachsenen, es gibt sicherlich vielleicht irgendein System was die beiden aneinander erleint und dass das kleine Kind dem Erwachsenden dann sagen kann was er zu tun hat müsste aber glaube ich ein sehr ausgefalltes sehr kompliziertes System sein.

00:20:13: Deswegen Frage geht Superintelligenz kontrollierbar überhaupt?

00:20:15: Aber sagen wir mal sie würde kontrollierbare gehen.

00:20:17: da kann man sich wickeln.

00:20:18: derzeitige Superintelligence oder KI ist nicht vollständig kontrollierba.

00:20:22: deswegen sollte man sowas nicht machen.

00:20:23: außerdem große Gefahr dass man den Nationalstaat damit einfach aushebeln kann.

00:20:29: Wir wollen ein Verbot auf Superintelligenz, das geht dann von einzelnen Nationalstaaten aus.

00:20:33: Die sich aber international in einer Koalition einsetzen können, dass so eine internationale Sicherheitsregime entsteht.

00:20:41: Das kann vielfältige Formen annehmen.

00:20:43: Es muss kein klassisches Abkommen sein was zehn Jahre lang verhandelt wird.

00:20:46: Das kann auch einen Vertrag sein den China und USA zum Beispiel schließen Und dann schließen sich Deutschland Großbritannien Kanada etc.

00:20:53: an und helfen zb beim Verifizieren.

00:20:55: Da gibt es viele Möglichkeiten.

00:20:57: wie's dazu kommen kann Der sollte aber dieses Abkommen beinhalten.

00:21:00: Keine Superintelligence, keine reklusive Selbstverbesserung in generellen Domänen.

00:21:05: Mein Auto kann gerne versuchen immer besser zu werden im Autofahren und auf dieser sehr schmalen Domäne.

00:21:10: Und dann erreichen wir vielleicht auch Division Zero also das vielleicht mal kein Mensch mehr im Straßenverkehr stirbt weil die KI ist entweder die ganze Zeit im Hintergrund an und selbst wenn mein Mensch vor einem Baum fahren will, schaltet die KI sich ein und sorgt dafür dass man vor dem Baum irgendwie abbremst oder halt... weil es irgendjemand vor das Auto rennt, dass noch super-splitztartig gebremst wird oder fährt selber.

00:21:30: Also in schmalen Domänen kann die KI sich auch gerne selbst weiterentwickeln.

00:21:33: Wir wollen aber keine generelle autonome KI, die den Menschen dann halt in einer vielfältigen Form von Feldern überflüssig machen würde.

00:21:45: und das ist glaube ich so die Kerndifferenzierung und da müssen wir uns natürlich Gedanken darüber machen.

00:21:49: wenn jemand sowas entwickelt muss der beschwerf werden, das heißt wir müssen die Leute ja auch abschrecken.

00:21:54: Wenn jemand zum Beispiel Nuclea-Waffen jetzt in seinem Garten anfängt zu entwickeln kommt er auch ins Gefängnis also wenn er dafür keine Lizenz hat.

00:22:02: gleichzeitig brauchen wir wahrscheinlich Schutzmaßnahmen für Leute die Informationen an diese Koalition oder an Staaten ran tragen.

00:22:11: das heißt wenn ich jetzt zum Beispiel Ich bin ein nordkoreanischer Bürger und ich weiß, dass Nordkorea das Untergrund Superintelligenz-Projekt gestartet.

00:22:20: Zu unwahrscheinlich.

00:22:21: NordkOREA hat die Ressourcen dafür gar nicht.

00:22:22: Aber nehmen wir mal an, bis er als Brüsselblower vielleicht nach Amerika kommen könnte oder nach Deutschland kommen könnte sagen kann hier ich habe diese Information?

00:22:30: Ich bin selber Forscher und dass dem unserer Familie dann vielleicht Unterschutz gewährt wird.

00:22:34: also wer gibt es viele Komponenten, die man in so einem Gesetz mitbeachten muss?

00:22:38: Wir müssen aber hier das Rat nicht neu erfinden.

00:22:40: Also wir haben als Mensch schon einmal internationale Regulation hin bekommen.

00:22:43: ABC Waffenkonvention ist hier ein gutes Stichwort.

00:22:47: Und wir sehen, dass viele der Ideen die ich gerade am formulieren bin eigentlich sehr analog zu den Dingen sind, die wir auch bei den Player-Waffen haben.

00:22:52: Jetzt haben wir noch den riesigen Vorteil das künstliche Superintelligence zu bauen eigentlich nur für eine Handvoll Akteur möglich ist vielleicht zwei Hände voll.

00:22:59: Das heißt es gibt vielleicht vier chinesische Konzerne sechs amerikanische die das machen können.

00:23:04: Ansonsten gibt es jetzt gerade keine großen Akteure auf dem Planeten die dazu in der Lage wären.

00:23:09: Das heisst auch die Übersicht und Verifikation von diesen Akteuren ist sehr überschaubar.

00:23:15: Okay, weil gerade da hätte ich gedacht also bei Atomwaffen das zu kontrollieren ist ja sagen wir mal relativ einfach weil es halt strahlende Elemente gibt die man nachverfolgen kann und finden kann auch bei chemischen Waffen.

00:23:33: du kannst eben diese Chemikalien irgendwie nachweisen.

00:23:38: für eine Superintelligenz braucht man eigentlich nur die Rechenpower die man sich still und heimlich irgendwo hinstellen kann, ohne dass es jemand nachweisen kann.

00:23:48: Dass das, das ist woran ich gerade arbeite oder?

00:23:51: Da würde ich sofort reingehen.

00:23:53: Jedes ein Gigawatt-Datenzentrum ist eigentlich so groß, dass ich das aus dem Weltall mit dem nackten Auge sehen kann.

00:23:58: Die produzieren so viel Abwärme wie Kleinstädte.

00:24:01: Das heißt nehmen wir mal einfach an... Russland, China, wer auch immer setzt ein Untergrunddatenzentrum irgendwo nach Sibirien oder in Xinjiang oder nach Tibet.

00:24:09: Dann würden wir sehen mit Thermalsensor-Satelliten die um die Erde fliegen.

00:24:13: Warte mal kurz!

00:24:14: Per Satelitenbild oberflächlich leben da dreitausend Leute.

00:24:18: Da wird so viel Abwärme produziert wie als würden das siebenhunderttausend Menschen leben.

00:24:22: Da sollte man vielleicht den KI Superintelligenzinspektor hinschicken und mal überprüfen was da im Untergrund irgendwie am Laufen ist.

00:24:29: Das heißt, es gibt noch weitere Punkte.

00:24:31: Für Uran gibt's einen Schwarzmarkt.

00:24:32: Es gibt Länder wie Nordkorea, die verkaufen Uran auf dem Schwarzmarkt und Uran anzureichern ist nicht kompliziert.

00:24:40: Ich kann eine Baupläne von den Soviets aus den Achtzigern-Ninzeigern ziehen und dann weiß ich, ob ich eine Zentrifuge baue.

00:24:47: Eine Zentrifugut zu betreiben kostet nicht unfassbar viel Energie.

00:24:50: deswegen kann man sie auch in Berge reinsetzen ohne da auf einen speziellen Akteur hinauszurollen.

00:24:59: Ich brauche nicht viele Leute, um das Ganze zu betreiben.

00:25:02: Das heißt ich könnte mir wahrscheinlich ein paar normale Master Physiker Doktoranden holen die vielleicht ein bisschen aus dem Bereich sind.

00:25:08: vier fünf.

00:25:08: dann wurde ich mir mit einem Management Budget von irgendwie zehn, zwanzig Millionen die einzelnen Einzelteile.

00:25:14: es gibt ja auch mehr als einen Anbieter.

00:25:15: auf dem schwarzen Markt für Uran kriegt man wahrscheinlich schon so einen Atomwaffenprojekt gestartet.

00:25:20: also Länder wie Indien und Pakistan sind ja trotz nicht Polyforation an Atomwaffen gekommen.

00:25:25: Ich glaube, es liegt daran dass sozusagen von der Komplexität her sind Atom Waffen schon komplex aber nicht so komplex.

00:25:32: Bio-Waffen sind die niedrighängigste Frucht.

00:25:35: ohne jetzt zu erklären wie das geht man kann Bio- Waffen vorunter zehntausend Euro herstellen und chemische Waffen halten sich auch eigentlich in einem Millionenerbereich.

00:25:42: also Sachen zusammenzumixen die eine chemische waffe ergeben ist nicht unfassbar kompliziert.

00:25:47: Bei der Superintelligenz, es gibt keinen Schwarzmarkt für nur Koma acht bis eins Komma sechs Nanometer Chips.

00:25:53: Die Maschinen die ich brauche um das herzustellen werden nur von einem Unternehmen auf der Welt also die Chips werden noch von eigentlich einem Unternehmer gesteckt ist TSMC.

00:26:00: Es gibt nur einen Produzenten für Litographie-Maschine.

00:26:02: Das ist ASML.

00:26:03: Es geht nur ein Produzentin für die Optik dass ist Karl Zeiss hier in Deutschland und keine Ahnung.

00:26:06: Achtzig Prozent der weltweiten CO zwei Laser die in Litographien maschinen verbaut sind von Trumpf auch Deutschland.

00:26:13: Also es gibt so einzelne Monopolisten Micron und jetzt ist der Name von den südkoreanischen Unternehmen in Fallen, die ganz viel Memory haben.

00:26:23: Also Südkorea hält.

00:26:25: ca.

00:26:27: Japan macht fünfzig Prozent der Silizium-Wavehouses.

00:26:29: Es gibt Minute Monopolisten, die außerhalb von China und den USA liegen wo man sagen kann wenn der den Haar nicht zu dreht.

00:26:35: klar wäre das ein bisschen schmerzer für das Land und deren Profitmarschel.

00:26:38: aber dann hast du sofort einen Schock in der Wertschöpfungskette.

00:26:41: also die Maschinen von ASML werden ja vierhundert Tage im Voraus bestellt und sind ausgebucht bis zwanzig achtundzwanzig.

00:26:48: Die haben jetzt gerade als ehrenjahres Umsatz irgendwie rausgebracht.

00:26:51: Die Chipproduktion kann ja gar nicht so schnell steigen wie grade der Bedarf ist Und das spiegelt sich ja dann auch quasi in der Börsen-Ivaluation und sonst irgendwas wieder.

00:26:58: Also wir hätten bessere Interventionsmöglichkeiten als bei der Atomenergie, also bei den Klärwaffen.

00:27:04: Es gibt vier wenige Akteure... Ich habe noch zwei Dimensionen vergessen, entschuldigung!

00:27:08: Kaum ein Akteur hat so viel Geld um das zu machen.

00:27:11: Ich brauche ja, ich brauche hier fünfzig Milliarden, um irgendwie einen Fünf-Gigawatt-Datenzentrum oder sowas zu bauen.

00:27:16: Ja.

00:27:16: Also es gibt kaum Akteuren, jetzt sind wir schon irgendwie nach Kategorie, da brauch' ich ein staatlichen Akteuer die so gut sind, dass sie ein großes Modell überhaupt trainieren können.

00:27:27: Es gibt auf der ganzen Welt vielleicht zwischen zehn und fünfzigtausend KI-Forscher, die das machen könnten.

00:27:35: Die meisten von denen sind schon bei Google, Microsoft, Anthropoc, Openair – und kriegen sehr viel Geld bezahlt!

00:27:40: Also die zu poachen ist auch relativ schwierig….

00:27:43: Es gibt wenig Forscher, es gibt wenig Akteure.

00:27:45: Es gibt wenige Leute die so viel Geld haben... ...es gibt so spezifische Stellen wo man Wertefikation einführen kann und es sind ja kaum Akteurer.

00:27:53: also jedes kleine Start-up Die müssen nicht überprüft werden, die sind keine Superintelligenz am entwickeln.

00:27:58: Die meisten anderen Unternehmen, die auch in der Chip-Produktion oder sonst irgendwas sind, produzieren nicht für diese großen Anbieter in den Quantitäten das die relevant sind.

00:28:06: Das heißt wir müssen ja auch nicht jeden überprüfen, dass uns kein riesiges Bürokratiemonster werden sondern man hat halt eine spezifische Anzahl an Akteuren, die man gut überwachen kann.

00:28:16: Okay!

00:28:17: Das räumt hier schon mal ein paar der Bedenken aus, die viele vielleicht so haben könnten... Wie ist es denn?

00:28:25: um die restliche Forschung bestimmt, wenn man dieses NC der Superintelligenz da rausnehmen würde und sagen würde das dürft ihr sowieso nicht.

00:28:33: Würde das vielleicht auch die Forschung generell verlangsamen in den Bereichen wo man sagt es ist aber total sinnvoll.

00:28:41: also wenn ich jetzt zum Beispiel an die Medizin denke oder so?

00:28:45: Ja wir können in der Medizin die größten Vorteile mit schmaler KI kriegen.

00:28:49: Also was ja Open AI sich immer auf die Fahne schreibt ist dass wir wollen Krebs lösen.

00:28:53: Stattdessen starten sie eine Social Media Plattform für einen Jahr, wo man mit KI-generierten Inhalten jeden Menschen auf dem Planeten deepfaken kann.

00:29:00: Das ist nicht krebslösen!

00:29:02: Also ich bin sehr offen dafür dass diese Unternehmen sich auch das sehr profitable Geschäft von wir erforschen Medizin konzentrieren.

00:29:09: damit kann man sicherlich auch viel Geld verdienen.

00:29:11: Damit kann man Menschen helfen.

00:29:13: Da sind ein geringes Kontrollrisiko irgendwie dabei.

00:29:16: Es gibt genügend schmale Domänen, wo die Unternehmen sehr viel Geld machen können.

00:29:21: Wo man auch spezifische Forschung betreiben kann.

00:29:24: Also ich bin immer noch ein Riesenfan von Google Deep Minds Alpha Fold.

00:29:27: Weil Alpha Fold halt einfach die Forschungskosten im Proteinbereich um den Faktor eine Million gesenkt hat.

00:29:34: Pi mal Daumen und es ist schmal.

00:29:37: Also Alpha Fold wird jetzt nicht irgendwie aus Versehen das australische Gesundheitsportal hacken.

00:29:43: Hust, hust um meine Eieragenten.

00:29:46: Ich glaube also dass sozusagen diese ganzen schmalen Sachen bitte mehr davon.

00:29:50: Damit kann man auch gute Profitabilität erzielen und es gibt ja mehrere Dimensionen als jetzt nur die Medizin.

00:29:55: Autonomes Fahren, Materialforschung... ich werde dafür das mal jemand sich dran setzen und vielleicht versuchen eine KI zu finden wie eine Plastik-Diribat findet.

00:30:02: Es gibt ja ein Grund warum wir Plastiken überall benutzen weil es hat ja schöne viele Eigenschaften.

00:30:07: aber warum kann niemand in einem Plastikt finden was biologisch aufbauen ist?

00:30:10: Ist vielleicht möglich.

00:30:12: Das klingt mir nach einem klassischen Suchproblem, für die KI-Systeme ja besonders gut geeignet sind.

00:30:18: AlphaFold ist auch am Ende dieses Suchproblem.

00:30:21: Ich suche sozusagen die passende Konfiguration an Aminosäuren, die dieses Protein ergibt Und da wäre das ja quasi, ich suche die Konfiguration an Stoffen.

00:30:29: Die Eigenschaft von Plastik hat also es beweglich aber trotzdem fest reißt mich ist aber vielleicht biologisch Abbaubau oder ich gieße eine andere Chemikale drauf und dann löst sich auf.

00:30:38: Also viele coole Ideen, die man mit KI machen kann wo die Unternehmen weiterforschen können Wo die viel Geld mitmachen können Aber wir nicht die ganzen Risiken haben.

00:30:49: Apropos viel Geld mitmachen, das ist ja ein anderes Problem der KI-Unternehmen.

00:30:53: Dass sie eigentlich kein Geld machen.

00:30:56: gerade also Sie bringen das Geld was sie ausgeben bekommen von Sponsoren und von Finanzrunden und von Investoren aber nicht wirklich weil sie mit ihren KI-Modellen Geld verdienen.

00:31:10: in dem Sinne könnte es sein dass sich dieses Superintelligenzproblem sowieso Irgendwann löst, weil sie merken wir können uns das eigentlich langfristig gar nicht leisten.

00:31:20: Daran weiter zu forschen sondern wir müssen Geld verdienen und machen dann lieber die kleinen Sachen.

00:31:26: Das ist eine sehr interessante Frage grundsätzlich.

00:31:28: Anthropic ist mittlerweile cashflow positiv.

00:31:31: ich würde aber mitgehen dass der Punkt bei Anthropic was deren positive Bilanz angeht bedingt ist weil ja die eine große Zentralisierung haben also zwanzig fünfundzwanzig war.

00:31:41: zehn Prozent des Umsatzes von Anthropic waren Mitarbeiter von Meta.

00:31:46: Also da gibt es so gewisse, also auch was Circular Financing etc.

00:31:50: angeht?

00:31:50: Wer sind die Kunden von den ganzen Leuten?

00:31:52: Huber Schraub zum Beispiel dann auf einmal zurück wie viel KI-Tools könnt ihr Mitarbeiter benutzen?

00:31:57: Viele Fragen die irgendwie daran hängen.

00:32:00: ich glaube die KI Unternehmen müssen nicht direkt profitabel sein.

00:32:02: Das beste Beispiel dafür sind für mich die Unternehmen, die aus der Dotcom-Lase herausgegangen sind.

00:32:07: Selbst wenn jetzt eine Blase entsteht und die platzt... ...das heißt es ja nicht dass die unterliegende Technologie nicht trotzdem diesen Mehrwert für die Menschen hat bzw.

00:32:15: nicht trotzdem immer noch mächtig ist.

00:32:17: Amazon ist für mich ein sehr gutes Beispiel.

00:32:18: Amazon war dekadenlang nicht profitabel weil das was sie gemacht haben kann ich ein bisschen theoretisch werden.

00:32:25: Es gibt dieses Modell des Plattformkapitalismus wo die Idee ist Ich ersetze den Markt und werde selber der Markt.

00:32:31: Das ist ja das, was Amazon macht.

00:32:34: Es ist nicht die Frage oder es auch was Google macht, es ist nicht eine Frage suche ich etwas im Internet sondern Google'iches.

00:32:40: Ist es bei Google vorhanden?

00:32:42: Hast du's auf YouTube geschaut?

00:32:43: also die Plattform versuchen gewisse Teilaspekte der Öffentlichkeit dann halt zu privatisieren.

00:32:49: So würde ich zum Beispiel auch sagen hat Facebook essentiell geschafft einen Teil log der politischen Öffentlichkeits zum Beispiel Und das heißt dasselbe versuchen die KI-Anbieter natürlich auch, also diese große Akteure, die eine Art von Plattformtechnologie natürlich haben.

00:33:03: Das heißt, die KI Plattformen, die sie ja benutzen – auch die Infrastruktur, Coding Tools

00:33:08: etc.,

00:33:09: sind massiv subventioniert.

00:33:11: Das machen sie, um die Adoption weiter voranzutreiben.

00:33:14: Das ist quasi das selbe Modell.

00:33:15: was auch dahinter ist wenn Uber die ganze Zeit Gutscheine rausgibt.

00:33:19: Irgendwann sind die Leute darauf so sehr geboten noch uber zu benutzen und dann kann Uber halt die Preise anziehen weil Sie dann ja sozusagen die Vormachtsstellung haben.

00:33:27: Das heißt sozusagen die Profitabilität bei vielen von diesen Unternehmen kommt erst nach hinten heraus.

00:33:31: D.h.,

00:33:31: sie können unfassbar lange cashflow negativ sein.

00:33:34: Es ist quasi nur die Frage Können Sie dem Markt verkaufen dass da weiteres Wachstum drin ist?

00:33:40: wachsen, kann ich dem Markt sein und dann kriegt man weiteres Kapital.

00:33:43: Dann kann man weiter als auch Growth-Aktie irgendwie gesehen werden.

00:33:48: Das ist so ein bisschen hinter der Finanzierungskomponente das heißt die... Ich glaube nicht dass die Unternehmen zwangsweise jetzt unbedingt profitabel werden müssen.

00:33:55: Die werden weiterlaufen können Die kriegen ja natürlich auch immer weiter Cash rein, also spätestens wenn sie nochmal eine IPO machen.

00:34:02: Und selbst wenn einer der Akteure implodiert bin ich mir recht sicher können die anderen den relativ gut absolvieren.

00:34:08: Also das heißt nehmen wir mal einfach an OpenAI geht Bankrott dann fällt der Großteil von OpenAI Daten, Intellektualität etc... Nach meinem Verständnis müsste das Microsoft zufallen.

00:34:18: Und Microsoft kann den Verlust, den sie in OpenAI investiert haben wahrscheinlich ganz gut nehmen dafür dass die dann halt die Plattform übernehmen können, die dann anfangs ein ChatGPT ist.

00:34:27: Dass ja dann viele Leute benutzen und ihren Alltag integriert haben, die API benutzen usw.

00:34:31: Und dass sich die unterliegende Technik natürlich weiterentwickelt.

00:34:36: Selbst wenn Anthropic und OpenAI beide ... explodieren sollten.

00:34:40: Google kann ich mir nicht vorstellen, dass Google jetzt gerade irgendwie beim Proton gehen wird also...

00:34:46: Too big to fail?

00:34:48: Keine!

00:34:49: Es ist auf jeden Fall gigantisch.

00:34:50: und bei XAI weil die Leute ja zum Beispiel jetzt auch mit der SpaceX IPO Elon Musk noch mehr Geld gegeben haben Ich glaube auch nicht das der auf kürzere Hinsicht irgendwie an dem das Geldmangeln wird.

00:35:02: Und bei Amazon sieht es leider genau so aus.

00:35:04: Also das sind drei Giganten wo unfassbar schwierig nur vorstellen kann, dass die selbst wenn der Markt jetzt um vierzig-fünfzig Prozent fallen sollte, das sie aufhören.

00:35:14: Weil deren Profiterwartungen sind ja in den Billionen.

00:35:18: Deren Profitvorstellungen sind Ja, wenn wir die intellektuelle Arbeit von einfach allen Menschen wegautomatisieren können, dann sind wir nicht nun einfach die Könige der Welt sondern das ist das profitabelste Geschäft was es gibt.

00:35:28: Es wird auch häufig immer über die letzte Entwicklung des Menschen gesprochen.

00:35:35: gibt, glaube ich gerade so die Vorstellung dass wir alle also wir Denkarbeiter alle mehr oder weniger überflüssig werden.

00:35:43: Aber das ist eine gesellschaftliche keine technologische Diskussion die man wahrscheinlich irgendwie führen sollte.

00:35:49: Fließt diese gesellschaftlichen Komponente mit in eure Arbeit ein?

00:35:52: Oder ist es wirklich bei Control AI eher dieser Fokus auf keine Superintelligenz wegen der technologischen Gefahren?

00:36:02: Das ist auch natürlich eine gesellschaftliche Komponente dabei.

00:36:04: Niemand hat ja die Welt gefragt, ob die ganze Welt Superintelligenz haben möchte?

00:36:08: Also ich würde mich zum Beispiel besser fühlen.

00:36:11: nehmen wir mal einfach an.

00:36:11: Es gibt eine gut funktionierende Basis demokratische Abstimmung und die ganze welt kann abstimmen.

00:36:16: wollen wir Superintelligenz ausprobieren und gucken und die Welt riskieren oder nicht?

00:36:20: dann würde ich mich auf jeden Fall besser damit fühlen als so wie es jetzt gerade am passieren ist.

00:36:23: weil jetzt gerade wurde ja niemand gefragt jetzt gerade entscheiden einer Hand voll CEOs, die sich vorstellen, dass sie unsterblich werden mit der Maschine fusionieren können.

00:36:32: Dass ja die Galaxie kontrollieren können also Teilsvorstellungen, die viele von denen haben.

00:36:39: Die haben diese Ideologie treiben dieses unnachhaltige Wettrennen weiter voran und spielen halt glaube ich mit der Sicherheit und dem Risiko von vielen Bürgern.

00:36:49: Ich finde die Metapher eigentlich das Das ist so, als würde ich einen Kernkraftwerk bauen.

00:36:54: Aber ich habe keine Ahnung, wie ich ein Kernkraftwerb baue und um mich herum sind einfach andere Menschen.

00:36:58: Und die interessiert das halt nicht weil sie sitzen dann irgendwo anders und wenn das Kernkraft weg in die Luft geht, dann sind es ja nur irgendwelche anderen Menschen.

00:37:06: Ich glaube da ist eine gewisse Schwierigkeit mit dabei bei den Akteuren selber.

00:37:12: Natürlich, so wir können mit allen gesellschaftlichen Fragen besser umgehen wenn wir mehr Zeit haben.

00:37:16: Ich glaube, wenn wir rekursive Selbstverbesserungen haben und Superintelligenz erzwingen dann haben wir einfach weniger Zeit.

00:37:22: Dann können wir uns keine Gedanken über Arbeit machen, was macht das mit den Beziehungen von Menschen?

00:37:26: Also all diese weiteren Fragestellen.

00:37:28: oder was macht es mit Kindern?

00:37:29: wie wird das überhaupt sein?

00:37:30: Wie sieht Bildung aus in der Zukunft?

00:37:32: Wie kann eine Welt aussehen wobei den Großteil von vielleicht Intellektuelle Arbeit oder Arbeit, die im Computer stattfindet, automatisiert haben.

00:37:38: Wie sieht das am nächsten Schritt aus?

00:37:39: Wenn wir Roboter kriegen, das sind ja alles fundamentale gesellschaftliche Fragen mit denen wir uns in den nächsten vierzig, fünfzig Jahren auseinandersetzen müssen.

00:37:47: Wir werden aber vielleicht diese Zeit einfach nicht haben weil die Menge an Entwicklung, die einfach passiert massiv erhöht wird wenn wir immer leistungsfähigere Systeme bekommen.

00:37:56: deswegen glaube ich hängen die gesellschaftlichen Fragen auch immer miteinander also brauchen mehr Zeit um mit den gesellschaftlichem fragen besser umgehen zu können.

00:38:04: okay Zum Schluss nochmal, also der Transparenz um den Transparens willen.

00:38:12: Wie genau finanziert sich die Arbeit von Kontroll AI?

00:38:16: Ja sehr gerne!

00:38:17: Kontroll Air Spenden finanzieren.

00:38:18: wir erhalten von keinem der Länder in dem wir aktiv sind irgendwelche Förderungen oder irgendwelchen Fördermittel.

00:38:23: Der größte Spender von Kontrol AI ist Jan Talin, der betreibt seit ich weiß nicht wie lange er interessiert sich für dieses Thema künstliche Intelligenzen seine Risiken seit über zwanzig Jahren hat auch sehr viel dazu irgendwie veröffentlicht selber und setzt sich auch viel für diese anderen existenziellen Themen ein, wie zum Beispiel Klimawandel.

00:38:43: Wie sieht es vielleicht mit anderen Themen ein die so diese globale Ausspannung haben?

00:38:48: Und ja das ist so glaube ich der größte Unterstützer vom Control AI, der zu benennen ist.

00:38:55: Das ist der Gründer von

00:38:56: Skype Der sitzt in Estland also ist auch Europäer was ich immer so eine ganz gute Komponente finde, dass das da nicht alles irgendwie Silicon Valley Big Pack Geist sind.

00:39:07: Und wie viel Einfluss hat er als größter Spender auf eurer Arbeit?

00:39:12: Gar nicht!

00:39:12: Also unser Funding ist nicht Gaggen-Fans, d.h.

00:39:14: uns wird nicht gesagt Ich soll jetzt mit dir zum Beispiel reden oder ich soll das machen oder das sondern der mag die Arbeit, die wir gemacht haben.

00:39:23: Wir kriegen Summe X und dann entscheidet unser CEO Andrea.

00:39:26: also wer entscheidet, was ich mache ist mein CEO quasi Aber Jan Talen sagt uns nicht, was wir zu tun haben.

00:39:33: Okay und nochmal auch provokative Frage wie unterscheidet sich eure Arbeit denn von der Einflussnahme?

00:39:43: also ihr wollt ja quasi unsere Gesetzgebung beeinflussen.

00:39:46: in euren Sinne Wie unterscheidete sich das?

00:39:50: Von dem Einflustigen gerade die Tech-Unternehmen auf die Politik ausüben, der ja auch kritisiert wird?

00:39:57: Richtig.

00:39:58: Ich würde sagen, man kann sich die Frage sozusagen stellen wer profitiert von was?

00:40:02: Also man kann diese Quo-Wartesfrage stellen.

00:40:04: und wenn man sich dann zum Beispiel anguckt was für andere Regulationen an anderen Stellen ich gehe jetzt auf nichts explizites ein um da niemanden spezifisch in die Pfanne zu hauen aber dann sehe ich dass der Mehraufwand irgendwie für deutsche Unternehmen die klein oder mittelstand sind um ein massives steigt.

00:40:21: Die haben keine Compliance oder Rechtsabteilung und für andere Unternehmen, die substanziell größer sind ist das kaum mehr auffahren bei der anderen Rechtsabteilung.

00:40:30: Das was wir vorschlagen trifft vielleicht wie ich schon sagte, ist darauf gezielt auf vielleicht zehn globale Akteure vielleicht fünfzehn einzugehen.

00:40:37: Das sind die Größten von denen die größte Gefahr ausgeht.

00:40:41: Der Rest der Akteüre ist vergleichsweise harmlos und tangiert uns an dieser Stelle nicht.

00:40:45: Es heißt dass es sozusagen die Fragestellungen oder sozusagen so das Bild, was sich einmal mitgeben würde.

00:40:50: Es wäre sehr komisch, wenn wir auf dasselbe hinauswollen würden wie zum Beispiel Einflussnahme von Google oder so was.

00:40:57: Oder von irgendeinem anderen Akteur der jetzt irgendwie irgendeiner Big Tech-Aktör weil die wollen ja nicht auf das hinaus was wir wollen.

00:41:03: Man ist jetzt lustig wo... an dem Tag, wo wir sprechen.

00:41:08: Ich glaube vor zwei oder drei Tagen ist von Anthropic eine Draft-Bild rausgekommen was die sich vorstellen an KI-Regulationen.

00:41:15: ich empfehle jeden der sich angucken möchte wie unterscheidet sich Control AI und was wir wollen von dem was Anthropics dann zum Beispiel irgendwie vorschlägt an Regulationen oder einen Vorgestellter, Regulation ist ja noch nicht irgendwie offen oder sonstwas.

00:41:28: soll sich die beiden Gesetzesvorschläge angucken?

00:41:30: Wir versuchen die großen gefährlichen Akteure zu täckeln.

00:41:35: Viel von dem, was ich da sehe sieht mir wie Regulatory Capture aus.

00:41:39: Also die Vereinahmung der Regulierungsbehörden durch verschiedene Unternehmen und ich glaube das einfach der große Unterschied zwischen.

00:41:46: Und ich glaube auch in Personal also... Die Leute bei uns sind ja Leute irgendwie die technische Sicherheitsforscher waren, die versucht haben zu gucken, die kann nicht dafür sorgen dass wir die KI vielleicht einsperren können wenn die anderen die KI schon immer stärker machen.

00:41:58: Die kann sich dafür sorgen, dass sie zumindest das macht was wir wollen, die einfach festgestellt haben Wir haben nicht genug Zeit dafür.

00:42:03: Die Sicherheitsforschung hinkt halt fünf bis zehn Jahre der Fähigkeitsforschungen hinterher.

00:42:07: Die Fähigskeits-Forschung kriegt zweihundertmal mehr Geld, das ist eine sehr simple Milchmädchenrechnung, dass wir das Ganze nicht mehr einholen werden.

00:42:15: Wir müssen den einen Mechanismus benutzen als Menschheit dem wir haben wenn wir sozusagen auf so einem Koordinationsproblem raufsteuern und das ist Politik.

00:42:23: Das hat ne Form von Regulation.

00:42:25: Das ist auch eine Form von Demokratie glaube ich.

00:42:28: Und das vergessen viele Leute ja auch eine demokratische Aufgabe, glaube ich als Bürger zu seinen Mandatsträgern zu gehen und denen zu sagen Ich sehe hier ein Problem.

00:42:37: Ich bin vielleicht Experte im Feld XY Hier.

00:42:40: das sind meine Ideen, hier hast du ein Papier vor mir oder wenn Du mich weiterleiten kannst leite mich gerne weiter.

00:42:46: Und gerade wenn man sich auch Gedanken zu diesem Thema KI macht einfach mal seinem Abgeordneten zu sagen Hey!

00:42:50: Wir schratten einen Brief, wir schrattenden E-Mails.

00:42:52: Ich rede vielleicht mal kurz mit dem Das kann Welten bewegen weil wenn fünf Leute mal zu einem abgeordneten Gehen Manche Abgeordnete haben in mehreren Wochen vielleicht ein oder zwei Personen, die in das Wahlkreisbüro reinkommen.

00:43:03: Also das ist immer eine Möglichkeit, die man glaube ich wahrnehmen kann.

00:43:06: und es ist wieder diese Frage, wer hat uns eigentlich gefragt dass sie das am entwickeln sind?

00:43:11: Und ich glaube nicht, dass wir irgendwelchen Silicon Valley Tag oligarchs die Entscheidung darüber geben sollten wo die technologische Entwicklung für die Menschheit hingeht.

00:43:21: Okay also klare Aufruf.

00:43:23: Wenn wir einen Gedanken dazu haben, können wir uns ruhig mal direkt an unsere politischen Vertreterinnen und Vertretern in Berlin wenden.

00:43:30: Würde ich Ihnen empfehlen?

00:43:32: Eine letzte Frage zum Erwartungshorizont der AI Act, der ja momentan so unserer einzige Regulierung ist.

00:43:40: Da ging die Verhandlungen los lange bevor ChatGPT veröffentlicht wurde Und selbst nach den langen Handlungen sagt man heute, es harbert an vielen Ecken und Enden.

00:43:51: Es ist nicht ganz so wie man sich das wünschen würde und greift nicht so wie ich das wünsche.

00:43:55: Wie wahrscheinlich ist es dass so eine Regulierung tatsächlich in einem zeitlich absehbaren Rahmen kommt um das Ganze einzuhägen?

00:44:07: Das sind ja also meine gute Frage!

00:44:10: Ich gebe mal zwei Zahlen irgendwie mit rein um nochmal ein kleines Gefühl zu geben.

00:44:16: Einige Experten gehen davon aus, dass wir in ein bis zwei Jahren riklusive Selbstverbesserung haben.

00:44:21: Also zu einem fast vollständigen Grad also das DKI-Forschung dann sich noch mal bestäunigt wird.

00:44:26: Wir reden jetzt gerade wenn wir auf die letzten zwei Jahre gucken von Verdopplungsraten von ungefähr unter neunzig Tagen Das heißt in einem Jahr für achtfachen sich die KI-Fähigkeiten wenn nicht sogar ein bisschen mehr.

00:44:36: Wenn es noch schneller wird haben wir nochmal Veränderungen in einer noch kürzeren Zeit.

00:44:41: Das heißt ich glaube, dass wir so schnell wie möglich zu einer Form von Regulierung hinkommen sollten.

00:44:46: Das heißt wenn sich diese Experten irren und es kommt erst in vier oder fünf Jahren, dass sie vielleicht sogar schon was haben um das aufzufangen.

00:44:52: The UI Act konzentriert sich darauf was wir machen wenn Modelle auf den Markt kommen.

00:44:59: Wie wir bei OpenAI sehen sind die Modelle aber schon ein Problem.

00:45:02: Wenn die nur trainiert werden und die dann intern betrieben werden weil die dann einfach aus deren Produktivsystem raus flutschen können da schon irgendwie anfangen, das Unternehmen selbst zu komprimitieren.

00:45:14: Und dann geht es ja nochmal ein Ticken tiefer.

00:45:16: wenn das System wirklich die Produktivsysteme von dem Unternehmen komprimentiert Dann kann es auch einfach sein dass die Software die ab dem Zeitpunkt von diesem Unternehmen veröffentlicht wird also Zum Beispiel bei Anthropic Cloud Code oder bei Open AI Codex, dass das auch direkt kompremitiert ist.

00:45:30: Das heißt selbst wenn ich dann nicht mal irgendwie das neueste Modell benutze oder das neuste Modell sich nicht richtig verhält kann es einfach sein, dass die Software und die restlichen Produkte von dem Unternehmen einfach mit Chart-Software voll sind, sich erstmal verbreiten muss ich... Ich muss das Szenario glaube ich nicht zu sehr ausführen.

00:45:45: Also

00:45:46: es kann sein, daß wir in kürzester Zeit zu größeren Problemen kommen.

00:45:50: den URI Act anzupassen dauert Ewigkeiten.

00:45:52: Deswegen glauben wir, dass die Lösungen unter anderem über die nationalen Parlamente geht weil sie schneller Sachen beschließen können und man danach international einfacher zu einer Form von Regulierung finden kann.

00:46:02: Es muss kein klassisches Treaty sein was in der UN unterzeichnet wird das zehn Jahre auf fünfzehn Jahre zum Verhandeln braucht.

00:46:09: Das kann man gerne parallel auch machen.

00:46:11: Man sollte aber zuerst zu irgendeiner Form von Abkommen kommen wo man sagt okay gewisse Formen der Verifikation, wir haben einen Sanktionskatalog festgelegt.

00:46:20: Wir haben alle eh schon ein relativ ähnliches nationales Gesetz.

00:46:23: Synthetisieren wir das mal auf Spielregeln irgendwie international.

00:46:26: Der Prozess kann viel schneller gehen und der Prozess können wenn man super optimistisch ist in ein bis zwei Jahren komplett durch sein.

00:46:33: Ich sage immer, der Handlungswille steigt natürlich auch wenn was passiert.

00:46:36: ich habe es gesehen das war dem Open AI Hugging Face Vorfall.

00:46:40: viel Handlungswillen drin ist und dann passiert doch etwas und da gibt's aktuelle Sturme im Bundestag und dann macht man hier nochmal eine Anhörung und paar Parlamentarier die vorher nicht so richtig sich mit dem Thema vielleicht auseinander gesetzt haben haben jetzt auf den Schirm.

00:46:51: ich hoffe halt nur dass es kein Und Leute sagen, es braucht einen Hiroshima oder Nagasaki der KI damit da richtiger Politisch Handlungswillen entsteht.

00:46:59: Ich hoffe das ist was nicht braucht!

00:47:00: Ich hoffe dass man nicht irgendwie fünfzehn Flugzeuge braucht die aus dem Himmel anfallen sind bevor die Politik ins Handeln kommt und sagt okay KI ist zwar digital oder existiert auf dem Computer aber kann halt Schaden in der echten Welt anrichten und ich hoffe es braucht halt nicht sowas damit wir schon vorher handeln können.

00:47:18: Das sind so ein bisschen meine Zeitlinien.

00:47:19: das heißt ich glaube es kann sehr schnell gehen dass man dann abkommen macht oder dass man einen Vertrag findet, oder dass auch ein nationales Gesetz verabschiedet.

00:47:26: Die Frage ist wie schnell geht es unter den derzeitigen politischen Gegebenheiten und mit dem derzeitigem Kontext?

00:47:35: Ja!

00:47:39: In meinem Kopf gehen gerade ganz viele Alarmglocken los.

00:47:42: aber gut vielleicht ändert der November ja auch ein bisschen die Richtung in den USA, in die es da gerade abdriftet.

00:47:51: Man wird schauen wohin das geht.

00:47:54: falls in unserem Publikum jetzt Menschen sind, die sagen ich würde mich sehr gerne mit meinem Abgeordneten darüber unterhalten werde.

00:48:00: Ich den Link unter dem man im Bundestag gucken kann welche Abgeordnete eigentlich für ein zuständig ist in den Show Notes verlinken.

00:48:07: Prima!

00:48:07: Vielen Dank dass du da warst.

00:48:08: Vielen dank das wir miteinander reden können.

00:48:10: Isabelle hat sehr viel Spaß gemacht.

00:48:14: Das war's für heute.

00:48:16: Den nächsten Deepdive hört ihr an dieser Stelle in zwei Wochen.

00:48:19: Es würde mich freuen, wenn ihr dann wieder dabei seid!

00:48:21: Bis dahin könnt ihr natürlich mit unserem kompakten KI-Update jeden Montag, Mittwoch und Freitag auf dem Laufenden bleiben.

00:48:29: Und falls ihr einen Deepdile verpasst habt findet ihr eine Sammlung aller Folgen auf heise.de.

00:48:35: slash thema slash ki minus update.

00:48:38: den Link da hinten findet ihr natürlich in den Show Notes.