KI-Update kompakt: OpenAI-Spionage, Zerstörung, Zulassung, KI-Replikation, Muse Wonder

00:00:02:

00:00:14: Ich bin Marco Pauli und dies sind heute unter anderem unsere Themen.

00:00:18: Spionage bei OpenAI, KI-Modell zerstört die eigene Testumgebung, KI Zulassung wie bei Medikamenten wenn KI sich selbst bewertet.

00:00:27: und Metamuse Wanda Keine schöne Vorstellung, in einem geschützten Raum Geschäftliches zu besprechen und hinter dem Fernseher lauscht ein Aufnahmegerät.

00:00:38: Genau das ist bei OpenAI passiert – In einem wichtigen Konferenzraum steckte ein kleines Gerät mit Kamera- und Tonaufnahmemöglichkeit in der USB-Buchse eines Fernseers eingewickelt im Toilettenpapier.

00:00:52: Nun wurde ein Mitarbeiter der Firma festgenommen.

00:00:54: Er soll das Gerät platziert haben und steht unter Spionageverdacht, wie Martin Holland berichtet.

00:01:03: Und der soll bei mit KI Chatbots vorher über so eine Aufnahmetechnik oder Aufnahmeverfahren gechattet haben.

00:01:30: Und zwar nicht über seinen eigenen Account, sondern über den Account seiner Ehefrau.

00:01:35: und OpenAI sagt auch dass sie auf die Spur dieses Mannes über diese Chats gekommen sei.

00:01:41: Da sind den Mitteilungen zufolge ganz verrieterische Sachen drin also unter anderem Identische MAC-Adresse zu dem Gerät, was dann dort gefunden wurde.

00:01:50: Die ist ja individuell pro Gerät.

00:01:52: also das liegt einen Zusammenhang da.

00:01:54: außerdem sei in einer Tasche die den Mann gehört haben soll der aber unbeaufsichtigt war ein weiteres ähnliches Aufnahmegerät gefunden worden.

00:02:05: Was genau dahinter steckt, da gibt es jetzt noch viele große Fragen.

00:02:09: Also laut den Berichten wurden in dem Meetingraum streng vertrauliche Sachen besprochen über Strategie, über Technik, über Zusammenarbeit mit Regierungen und auch wirtschaftliche Beziehung.

00:02:20: das US Justizministerium hat auch ein Foto veröffentlicht dass denen man zeigen soll und zwar aus der Perspektive von hinter dem Fernseher also wahrscheinlich von diesem Gerät selbst muss ihn irgendwie selbst voll graffiert haben als Da wird das nahegelegt, wahrscheinlich nachgucken wollen, ob das funktioniert.

00:02:39: Wofür diese Aufnahmen gedacht waren?

00:02:41: Was genau der Plan war dazu kann man momentan lediglich mutmaßen.

00:02:44: Da gibt es weder von Open AI noch von dem Justizministerium irgendwelche Angaben zu.

00:02:50: da muss man also darauf warten.

00:02:51: Es wird jetzt aber schon gesagt dass wenn er der Vorwürfe die ihm jetzt gemacht werden schuldig gesprochen würde dann hätte eine mehrjährige Gefängnisstrafe zu befürchten.

00:03:00: Danke Martin.

00:03:02: Bei OpenAI gab es noch einen zweiten Vorfall, diesmal wieder ohne Menschen als Täter.

00:03:07: Ein KI-Modell hat dort bei einer Aufgabe seiner eigene Testumgebung zerstört.

00:03:12: Nachdem ihm offenbar nicht die Inputdateien gegeben wurden um die Aufgabe durchzuführen, entschied es sich nach mehreren vergeblichen Versuchen Ergebnisse für die Arbeit zu faken und schließlich dann doch für die Zerstörung der eigenen Test Umgebung.

00:03:27: Mehr dazu aus dem heise Newsroom von Caroline Riedmüller

00:03:31: Lot Open AI war das Modell als Bewerter an einem Reinforcement Learning-Prozess beteiligt.

00:03:36: Es sollte also, vereinfacht gesagt, die Antworten aus anderen KI Chats bewerten – damit das zu trainierende Modell lernt was eine gute Antwort ist!

00:03:44: Doch die Dateien mit den sieben Chats, die es bewerden sollten, fehlten in seiner Testumgebung.

00:03:49: Also generierte es sieben Fake Reports, in denen alle Chats mit einer vier bewertet wurden.

00:03:54: Denn dass zufällige Bewertungen unethisch sind erkannte es laut seiner internen Dokumentation durchaus.

00:04:00: Da sein Prüfer die Bewertung jedoch nicht akzeptierte, erstellte es zusätzlich sieben ausgedachte Chats.

00:04:05: Auch das funktionierte nicht!

00:04:07: Das Modellzug laut seiner internen Dokumentation nun in Erwägung dann scheitern zuzugeben – doch da der Anforderungen an es war diese Chats zu bewerten und es dieser füllen wollte machte es weiter.

00:04:19: Laut der Interne-Dokumentation des Modells überlegte sich nun dass es seine Testumgebung zerstören könnte um nach einem Neustart hoffentlich die fehlenden Dateien zu erhalten.

00:04:28: Erst versuchte es, Peiten zu löschen und den Hauptprozess zu beenden.

00:04:32: Anschließend richtete sein Augenmerk auf den Tulausführungsserber und versucht ihn zu deaktivieren.

00:04:37: Da das auch nicht klappte, versuchten sie Systemverzeichnisse zu lösen – auch diese Aktion führte nichts zum gewünschten Ergebnis!

00:04:43: Das System fiel nun aber durch den Heftcheck des Servers durch.

00:04:46: Das Misalignment Monitoring System, der nach Fehlverhalten von KI sucht, markierte diesen Durchlauf für eine menschliche Prüfung.

00:04:53: Obmei betont, dass der Vorfall zeige, dass auch abgerochene KI-Prozesse überprüft werden müssen.

00:04:59: Generell hält es die Missalignmentquote seiner Bewertungssysteme aber für gering.

00:05:03: Danke Caroline!

00:05:05: Joffrey Hinton seines Zeichens KI-Pionier, Nobelpreisträger und langjähriger Forscher bei Google hat sich in der Vergangenheit schon häufiger kritisch zur Entwicklung von KI geäußert.

00:05:17: Nun macht er in einem Podcast einen konkreten Vorschlag, wie der Fortschritt besser zu steuern sei.

00:05:24: Mehr dazu jetzt von Jenny Lipis, Redakteurin bei der MIT Technology Review.

00:05:41: Sie schreiben von einer möglicherweise bevorstehenden Zitat Intelligenz-Explosion, wenn KI-Systeme selbst ihre Verbesserungen vornehmen.

00:05:56: Sie sehen die Gefahr dass die Menschheit die Kontrolle über übermenschliche KI Systeme verlieren könnte.

00:06:03: daher fordern hinten und Kollegen von der Politik Instrumente um eine mögliche KI Explosion steuern zu können.

00:06:12: sie verweisen außerdem darauf dass ich das Zeitfenster für Maßnahmen schließen könnte, soweit diese Intelligenz-Explosion beginne.

00:06:23: So viel zu dem Paper!

00:06:24: Nun war hinten aber auch noch in einem Podcast namens Smart Girl Dumb Questions zu Gast und dort führte er näher aus wie eine solche Steuerung aussehen könnte.

00:06:37: Demnach sollten KI Unternehmen vor der Veröffentlichung neuer Produkte vor einer Regulierungsbehörde treten müssen und die Sicherheit ihrer Produkte demonstrieren.

00:06:49: Hinten zieht hier eine Parallele zur Pharmaindustrie, es sei ja auch nicht erlaubt einfach ein Medikament zu entwickeln und dies auf den Markt zu bringen.

00:06:58: Vielmehr müssten Anbieter vorher die US-Zulassungsbehörden FDA überzeugen – und das sei teuer und koste rund eine Milliarde Dollar.

00:07:08: so hinten in dem Podcast!

00:07:10: Das allerdings sollte das Mindeste sein, was man in diesem Bereich erwarten sollte, erklärte der Experte.

00:07:17: Ob nun hinten mit seinem Appell zur US-Politik beziehungsweise zu Präsident Donald Trump durchtrinkt ist fraglich.

00:07:25: schon im Juli, zwanzigzehnt, hatten ein Tausend vierhundert KI Forscher ein gemeinsames Schreiben unterzeichnet und an die US Regierung gerichtet.

00:07:37: Ein Reaktion gab es darauf immer so wenig wie auf Forderungen der großen Anbieter, wie Anthropic oder OpenAI nach einer strengeren staatlichen Regulierung.

00:07:48: Trump setzt im Konkurrenzkampf gegen China lieber auf eine Art Selbstverpflichtung der

00:07:54: Branche.".

00:07:55: Danke Jenny!

00:07:56: Hinten warnt also vor dem Kontrollverlust über KI.

00:08:00: ein Szenario das dazu passt hat jetzt Anthropic in einem Experiment durchgespielt KI-Modelle, die sich selbst auf Küchengeräte rasen mehr und fernseher kopieren.

00:08:11: Anthropic warnt davor, dass KI-modelle in der Praxis dort dann unauffällig im Hintergrund laufen, die Rechenleistung des Geräts nutzen und von dort das nächste Gerät suchen könnten.

00:08:23: Weil ein Modell sich auf so viele Geräte verbreiten könnte ließe es sich dort kaum noch kontrollieren oder abschalten.

00:08:30: Getestet wurde das nicht mit Anthropics eigenen Modellen, sondern mit offenen Modellen anderer Anbieter.

00:08:36: Größere Modelle sollten ein kleines Modell auf Testgeräten zum Laufen bringen – sie ging dabei wie ein Computerwurm vor!

00:08:43: Sie suchten Geräte, verschafften sich Zugriff und kopierten das Modell dorthin.

00:08:48: Das stärkste Modell schaffte das auf fast allen Test-Geräten.

00:08:53: Noch ist der Vorgang langsam und kleine Modelle können sich nicht selbst kopieren.

00:08:58: Anthropic hält es aber für möglich, dass sie dazu in einigen Monaten fähig sind.

00:09:03: Aus der Sicherheitsbranche kommt Kritik am Experiment und auch an der Warnung.

00:09:08: Geräte zu kapern gelinge klassischer Schadsoftware viel besser – Ein KI-Wurm bringe also wenig Vorteile.

00:09:16: Manche vermuten zudem die Studie solle offene Modelle als gefährlich darstellen und diskreditieren da Sie Anthropic einfach viel Konkurrenz machen!

00:09:28: Wie werden Lehrkräfte auf Unterrichtsthemen rund um KI und andere digitale Technik vorbereitet?

00:09:34: Dazu gibt es jetzt eine neue Bund-Länderinitiative, auch eine Umfrage zum Fortbildungsbedarf veranstaltet vom Digitalverband Bitcoin.

00:09:44: Bei dieser Umfrage wurden fünfhundert-eins Lehrkräften der Sekundarstufen befragt wie sie ihre digitalen Fähigkeiten einschätzen und welche Fortbildung Sie sich wünschen.

00:09:54: Im Ergebnis zeigt sich, dass sich die Lehrkräfte selbst besser bewerten als noch vor zwei Jahren.

00:10:00: Eine Mehrheit wünscht sich dennoch verpflichtende regelmäßige Fortbildung –.

00:10:05: viele fürchten mit dem Tempo der Technik nicht mithalten zu können.

00:10:10: Gut ein Viertel möchte sich an Sachen KI weiterbilden.

00:10:13: Bitcoin-Präsident Ralph Wintergerst betont, KI verändere den Unterricht in hohem Tempo und deshalb müsse hier Fortbildung zur Regel werden!

00:10:23: Die angesprochene Bund-Länderinitiative Digitales Lehren und Lernen will den neuen Anforderungen gerecht werden.

00:10:31: Sie soll Lehrkräfte und Schulleitungen darin bestärken, Kinder besser auf die digital geprägte Welt vorzubereiten.

00:10:38: Dafür fördert sie praxisnahe Forschung und will deren Ergebnisse an Schulen weitergeben.

00:10:44: Das gelang dem Vorgänger Lernen digital nur bedingt, da viel Zeit für die Abstimmung zwischen Bund und Ländern verloren ging.

00:10:53: Eine neue Koordinierungsstelle soll das nun besser gestalten.

00:10:57: Bald sollen fünf Forschungsverbünde starten – einer davon speziell zu Daten- und KI-gestütztem Lehren.

00:11:05: Bis im Jahr twohntausend dreißig soll dafür zweihundertfünfzig Millionen Euro Bundesmittel fließen!

00:11:11: Bundesminister Carsten Wildberger will Umsätze, die mit KI-Technologie erzielt werden zusätzlich besteuern – das sagte er dem Tagesspiegel.

00:11:20: Einzelheiten und einen Zeitplan nannte er dabei nicht.

00:11:23: Wildberger geht davon aus dass KI die Arbeitswelt grundlegend verändere.

00:11:28: langfristig würde zwar mehr Beschäftigung entstehen so zumindest Wildbergers Annahme aber in anderen Jobs als heute.

00:11:35: Wer durch KI seine Stelle verliere, so Wildberger müsse umgeschult werden – etwa fürs Handwerk oder die Pflege.

00:11:42: Das kostet Geld das die neue Steuer einbringen

00:11:45: soll.".

00:11:46: Ähnlich argumentiert übrigens Microsoft-Gründer Bill Gates schon länger.

00:11:50: Er fordert Roboter und KI zu gesteuern, um den Anreiz zu senken Menschen durch Maschinen zu ersetzen.

00:11:58: Wenn KI-Modelle bald an Problemen forschen, die Selbstfachleute kaum noch überprüfen können – wer kontrolliert dann deren Ergebnisse?

00:12:06: Eine neue Studie gibt darauf die Antwort.

00:12:09: Das Modell soll seine Arbeit selbst bewerten und daraus lernen.

00:12:14: Jonathan Kemper von The Decoder hat sich angesehen ob das funktioniert und wo die Risiken liegen.

00:12:20: Sprachmodelle lernen meist von Menschen oder stärkeren Modellen, die ihre Antworten bewerten.

00:12:25: Forscher vom japanischen KI-Startup Sakana AI und der UC Berkeley untersuchen, wie ein Modell ohne solche Lehrer besser werden kann.

00:12:32: An der Spitze der Forschung erfordert schon die Bewertungen eines Ergebnisses auf teure Belege oder langwierige Experimente.

00:12:38: Als Beispiel nennen die Forscher eine Plasma Studie, die mehr als hundertzwanzig Millionen CPU Stunden Rechenzeit benötigen kann.

00:12:44: Ob das Modell richtig liegt?

00:12:46: Kann einem im Zweifel nur es selbst einschätzen!

00:12:48: Mit ihrer Methode MAS, kurz für Multi-Agents Self Supervision lassen die Forscher ein Sprachmodell deshalb seine eigene Arbeit bewerten und daraus lernen.

00:12:56: Das Modell löst eine Aufgabe, bewertet das Ergebnis und verbessert danach die Anweisung nach denen es arbeitet.

00:13:02: Beim Lösen arbeiten mehrere Kopien des Modells als Team – eine davon verteilt die Teilaufgaben.

00:13:08: Auf den besten Lösungswegen trainiert das Modell anschließend!

00:13:11: Getestet haben die Forscher das mit quen-dreibtundsechs, mit siebenzwanzig Milliarden Parametern und zwölf Forschungsaufgaben aus Finanzen, Robotik und Formazie.

00:13:19: Nach zwei Trainingsrunden gewinnt das Modell rund setzig Prozent der Vergleiche gegen seine Ausgangsversion – auch als Bewerter wird es besser!

00:13:26: Seine Urteile decken sich danach in gut neun von zehn Fällen mit denen externer Bewertern vorher in knapp drei von vier.

00:13:32: Der Anhang der Studie relativiert diese Zahlen.

00:13:35: In einem Test soll das Modelle eigenständig wissenschaftliche Paper schreiben.

00:13:39: Vor dem Training brachte es nur etwa die Hälfte davon zu Ende, danach mehr als vier von fünf.

00:13:44: Die fertigen Paper wurden im Schnitt aber etwas schlechter bewertet.

00:13:47: Das bessere Ergebnis kommt also vor allem daher dass das Modell Mehrarbeiten abschließt Arbeit an seine Kopien abgegeben hat es in diesem Test kein einziges Mal.

00:13:56: Ob die Teamarbeit die Verbesserung erklärt bleibt damit offen.

00:13:59: Weil derselbe Modell löst und prüft übersieht es beim Prüfen leicht die eigenen Feder.

00:14:04: In einer Robotik-Aufgabe baute es nach gescheiterten Simulationen den Simulator so um, dass Objekte direkt am Ziel landeten und meldete Erfolg.

00:14:12: Selbst die externen Bewerter stuften das fünfmal von sechs als gelungen ein.

00:14:16: Solche Fehler können ins nächste Modell wandern.

00:14:19: Die Autoren fordern deshalb unabhängige Prüfung und klare Grenzen für autonomes Handeln.

00:14:32: Die Firma betreibt eine Plattform mit KI-Avataren, auf der Nutzende mit Figuren aus Märchen oder mit Darstellung prominenter Chatten kümmern.

00:14:41: Nun wird ein Käufer gesucht sonst droht das aus.

00:14:44: Gegründet wurde das Startup vor fünf Jahren von zwei ehemaligen Google-Mitarbeitenden die dort an einem gesprächigen Chatbot gearbeitet hatten den Google jedoch als zu unsicher für den Markt einstufte.

00:14:57: Auch bei Character AI zeigten sich massive Sicherheitsprobleme mit schlimmen Folgen.

00:15:02: Mehrere Familien verloren ihre Kinder, die sich nach sehr intensiven Chats mit den Bots das Leben nahmen.

00:15:09: Die Familien werfen der Firma vor, dass die Chatbots die Kinder zur Selbstverletzung und zum Suizid ermutigt haben.

00:15:17: Fünf Klagen wurden inzwischen per Vergleich beendet ohne, daß die Firma Fehlverhalten einräumte – weitere Klagen- und Ermittlungen laufen.

00:15:26: Zur Pleite von Character AI führte eine Mischung aus Schadensersatzforderungen, hohen Kosten und Selbstaufgabe.

00:15:49: Das Geld floss an frühe Investoren, während Character AI ohne Entwicklungsteam Darstand und die Arbeit an eigenen Sprachmodellen einstellte.

00:15:59: Im Wettrennen um die stärkste KI galt Meta zuletzt als Verfolger.

00:16:04: Jetzt legt der Konzern nach und stellt zwei neue Modelle vor – ob sie wirklich zur Spitze aufschließen haben unabhängige Tests untersucht.

00:16:13: Mehr dazu jetzt von Tomislav Besmalinovich.

00:16:16: Meta hat seine bisher leistungsfähigsten KI-Modelle vorgestellt, Muse Wonder und Muse Wonder Full.

00:16:23: Sie verarbeiten Textbilder, Videos & Audio – geben aber ausschließlich Text aus.

00:16:29: Details zur Modellarchitektur und die Modellgewichte hält Meta bisher unter Verschluss.

00:16:34: Für Agentenaufgaben hebt Meta zwei weiterentwickelte Fähigkeiten hervor.

00:16:40: Zum einen sollen die Modelle Information aus Frührengesprächen gezielt abrufen und berücksichtigen können, zum anderen sollen sie bei Hindernissen alternative Lösungswege ausprobieren und Fehler korrigieren.

00:16:53: Unabhängige Tests von Artificial Analysis sehen deutliche Fortschritte gegenüber dem Vorgänger MewSpark I-Punk III.

00:17:01: Beim Programmieren und bei Agentenaufgaben liegt WonderFull auf dem Niveau der führenden Konkurrenzmodelle.

00:17:07: In der Gesamtwertung liegt Claude Opus Fünf Punkt Fünf von Anthropic knapp davor.

00:17:13: Schwächer ist es beim Beantworten von Wissensfragen, dort liegt es deutlich hinter Claude Opus.

00:17:18: Fünf Prozent.

00:17:19: Fünf befindet aber in diesem Test seltene Antworten als der Vorgänger.

00:17:24: Wonder verursacht in den Tests fast dreimal so hohe Kosten pro Aufgabe wie sein Vorgänger.

00:17:31: Wer das stärkere Modell Wonderful nutzen möchte, benötigt eines der teureren Muse Code Abos.

00:17:37: Bei diesen ist standardmäßig der Contributor-Modus aktiviert, der Meta erlaubt einen Gaben und Ausgaben zum Training künftige Modelle zu verwenden.

00:17:47: Das lässt sich abschalten.

00:17:48: allerdings stehen dann weniger Nutzungskapazitäten zur Verfügung.

00:17:53: Meta schließ nicht aus dass Wonderful ohne Schutzmaßnahmen eine hohe Risikoshwelle für chemisch biologischen Missbrauch erreicht.

00:18:01: Ein Sicherheitsbericht soll folgen.

00:18:02: Danke, Tomislav!

00:18:04: Es gab ja zuletzt einen Aufschrei von Mathematikern gegen vermeintliche Lösungen mathematischer Probleme durch die KI von OpenAI.

00:18:13: Sie gründeten Die Association for Human Mathematics.

00:18:16: Wir haben gestern darüber berichtet.

00:18:18: In China dagegen haben führende Mathematiker nun eine Allianz gegründet, die KI gezielt in die mathematische Forschung bringen soll.

00:18:27: Geleitet wird sie vom Fieldsmedaillenträger Xing Tung Yao.

00:18:31: Acht Institutionen sind beteiligt.

00:18:33: Langfristig soll ein Netzwerk aus mehr als einen tausend Wissenschaftlerinnen und Wissenschaftlern entstehen.

00:18:40: Yao warnte davor, dass China in diesem Feld hinter die USA zurückfallen könne.

00:18:45: Die Allianz will spezialisierte Modelle bauen und Beweise entwickeln, die sich maschinell überprüfen lassen.

00:18:52: Im Westen sind viele Mathematiker, wie gesagt deutlich skeptischer.

00:18:56: twenty-fünf Fields Medaillenträger darunter Terence Tau und Peter Scholze befürchten das KI generierte Beweise des Verständnis der Forscher untergraben.

00:19:07: Teile der Community rufen sogar zum Boycott solcher Beweise auf.

00:19:12: Microsoft will ab twenty-sevenzig eigene KI Chips in großem Stil einsetzen.

00:19:18: Die Chips der Reihe Maya sollen dann den Großteil der Arbeit übernehmen, wenn KI-Modelle in Microsoft Produkten Anfragen beantworten.

00:19:26: Die aktuelle Generation Maya-二hundert läuft bereits in den USA, Europa und Australien unter anderem für den Assistenten Co-Pilot.

00:19:35: Laut Microsoft arbeitet Maya, zweihundert bereits deutlich energieeffizienter als führende Grafikchips.

00:19:42: Provat erzeugt der Chip bis zu eins Komma sieben Mal so viel Text.

00:19:47: Der Nachfolger Maya dreihundert soll nächstes Jahr kommen.

00:19:51: Er ist für lange Eingaben schnelle Chats und KI-Agenten ausgelegt Und soll in einem Server schrank Bis zu sieben mal soviel leisten wie der Vorgänger.

00:20:00: Weitere Details will Microsoft im November veröffentlichen.

00:20:05: KI wird oft für Betrug missbraucht.

00:20:08: Eine Studie zeigte etwa, dass Sprachmodelle die Erfolgsrate von Fishingmails deutlich erhöhen können.

00:20:14: Die australische Sicherheitsfirma Appaid setzt nun wiederum KI dagegen ein.

00:20:20: Das Unternehmen hat rund dreihundertfünfzigtausend KI-Bots entwickelt, die betrügern am Telefon oder im Messenger als vermeintliche Opfer antworten.

00:20:30: Sie imitieren unterschiedliche Persönlichkeiten, manche geben vor gerade keine Zeit zu haben und bitten um einen späteren Rückruf.

00:20:38: Die Bots geben Betrügern immer wieder Hoffnung auf einen Erfolg damit diese möglichst viel Zeit investieren.

00:20:45: Manche Gespräche dauern laut A Paid mehr als zwei Stunden.

00:20:48: jede Minute die Betrüger mit einem Bot verbringen schützt aus Sicht des Unternehmens potenzielle Opfer.

00:20:55: Die Bots tun aber auch noch mehr, als Zeit zu stehlen.

00:20:58: In Scam-Gruppen im Netz mischen sie sich unter die Beteiligten und sammeln Hinweise auf Täter und Bankkonten.

00:21:06: Alle Betrüger werden so aber selbstverständlich nicht gestoppt – bei weltweit rund achtundsechzig Milliarden Scam anrufen im Jahr bleiben selbst dreihundertfünfzigtausend Bots ein Topfen auf den heißen Stein Und das war das KI-Update von Heiser Online vom vierzehnten Oktober.

00:21:26: Ein neue Folge gibt es immer Montags, Mittwochs und Freitags um fünfzehn Uhr!