KI-Update kompakt: DSA-Verfahren gegen X, Grokpedia, Anthropic, Justiz

Shownotes

Das ist das KI-Update vom 26.01.2026 unter anderem mit diesen Themen:

ChatGPT nutzt Grokpedia Verkehrssicherheitsrat fordert KI-Überwachung des Handy-Verbots Anthropic muss Einstellungstests ständig erneuern, weil Claude sie löst und Sinnvoller Einsatz von KI bei Gericht

=== Anzeige / Sponsorenhinweis === Dieser Podcast wird von einem Sponsor unterstützt. Alle Infos zu unseren Werbepartnern findet ihr hier. https://wonderl.ink/%40heise-podcasts === Anzeige / Sponsorenhinweis Ende ===

Links zu allen Themen der heutigen Folge findet Ihr im Begleitartikel auf heise online: https://heise.de/-11154048

Weitere Links zu diesem Podast: https://www.heise.de/thema/KI-Update https://pro.heise.de/ki/ https://www.heise.de/newsletter/anmeldung.html?id=ki-update https://www.heise.de/thema/Kuenstliche-Intelligenz https://the-decoder.de/ https://www.heiseplus.de/podcast https://www.ct.de/ki

Eine neue Folge gibt es montags, mittwochs und freitags ab 15 Uhr.

Transkript anzeigen

00:00:02: Das KI Update, ein Heise-Podcast mit redaktioneller Unterstützung von The Decoder.

00:00:13: Ich bin Isabel Grünewald und die sind heute unter anderem unsere Themen.

00:00:18: EU-Kommission eröffnet Digital Services-Aktverfahren gegen X. ChatGPT nutzt Gorkypedia.

00:00:25: Anthropic muss Einstellungstests stetig erneuern, weil Claude sie löst und sinnvoller Einsatz von KI bei gerecht.

00:00:35: Die EU-Kommission hat ein drittes Verfahren gegen Elon Musk's Ex eingeleitet.

00:00:40: Dabei geht es um das Zusammenspiel zwischen der Social-Media-Plattform, die einst als Twitter bekannt war, und dem hauseigenen Allzweck-KI-Modell Grog.

00:00:49: Letzteres hatte in den vergangenen Wochen für Schlagzeilen gesorgt, weil die Technik teilweise eindeutig strafbewährte Inhalte wie Nacktbilder, Minderjähriger, Gewalt-Fantasie-Fotos und, aus Sicht der EU-Kommission, mutmaßlich geschlechtsspezifische Gewaltdarstellungen generierte.

00:01:05: Mit der nun eingeleiteten Untersuchung will die Aufsichtsbehörde herausfinden, ob Ex seinen rechtlichen Pflichten nachgekommen oder ob es die Rechte der EU-Bürger als Kollateralschaden für seinen Dienst behandelt habe.

00:01:18: In einem zweiten Aspekt der heutigen Entscheidung verlangt die EU-Kommission von der MASK-Plattform weitere Auskünfte, wie die Empfehlungssystematik der Plattform funktioniert.

00:01:28: Also wann, welchen Nutzerinnen und Nutzern, welche Inhalte gezeigt werden.

00:01:33: Für die Untersuchung bei X arbeitet die Kommission in Brüssel eng mit der irischen DSA auf sich zusammen.

00:01:39: Das europäische Tochterunternehmen hat seinen Sitz nämlich in Dublin.

00:01:44: Der Digital Services Act ist bei der Nudify-Problematik allerdings nur eines von einer ganzen Reihe von Gesetzeswerken, die zur Anwendung kommen können.

00:01:53: Neben dem jeweils nationalen Strafrecht sind auch das Datenschutzrecht sowie gegebenenfalls zivilrechtliche Schadenersatz und Unterlassungsansprüche möglich.

00:02:02: Diese werden jedoch nicht von der EU-Kommission verfolgt.

00:02:06: Und wir bleiben bei Elon Musk's KI.

00:02:09: XAI hat im vergangenen Herbst eine eigene Enzyklopädie vorgestellt.

00:02:14: Denn Musk findet, Wikipedia habe einen Bias.

00:02:17: Konservative Ansichten tauchten zu wenig auf.

00:02:20: Grogipedia, wie sich das Gegenstück nun nennt, soll anders ausgerichtet sein.

00:02:25: Die Inhalte tauchen allerdings auch in anderen Chatbots auf.

00:02:28: Konkret in ChatGPT und Claude.

00:02:31: Mehr dazu weiß Eva-Maria Weiß von Heise Online.

00:02:34: Grockypedia ist eine KI-generierte Enzyklopädie.

00:02:39: Sicherlich wird dort auch händisch noch nachgearbeitet, sodass die Inhalte zur Ausrichtung der Betreiber passen.

00:02:46: Der Guardian berichtet nun, in der Grockypedia würde stehen, dass Pornografie zur AIDS-Krise direkt beigetragen habe.

00:02:54: Und außerdem werden Transgender-Person dort wohl ziemlich abfällig bezeichnet und es tauchen auch Rechtfertigungen für die Sklaverei auf.

00:03:03: Das wiederum taucht in Teilen auch bei Chatchi Pity und Claude auf.

00:03:08: Beide Chatbots haben laut Guardian Informationen aus Grockypedia übernommen, crude Informationen.

00:03:16: Dabei sollen die Chatbots auch noch die Quelle verschleiert haben.

00:03:19: Während die Informationen also ganz deutlicher Herkunft waren, tauchte Grockypedia nicht in den Quellen auf.

00:03:26: Es sind nur kleine Tests, die der Guardian jetzt durchgeführt hat, bei denen Inhalte in ChatGPT aufgetaucht sind.

00:03:33: Aber es zeigt eben auch ganz klar, wie beeinflussbar so ein Chatbot einfach ist.

00:03:39: Vielen Dank Eva.

00:03:41: Einer aktuellen Studie zufolge kann künstliche Intelligenz bereits anspruchsvolle Aufgaben wie das Schreiben von Zero Day Exploits erledigen, die bisher von menschlichen Experten erledigt wurden.

00:03:53: Das Papier sorgt in der Security Community entsprechend für Aufsehen.

00:03:57: Der Autor, John Helen, dokumentiert genau, was er wie gemacht hat und warum.

00:04:02: Helen demonstriert unter dokumentierten, verifizierbaren Rahmenbedingungen, wie KI die IT-Sicherheit unumkehrbar verändert.

00:04:10: Man kann Angeswerkzeuge für Tokens kaufen.

00:04:13: Dabei geht es längst nicht mehr um Millionen Investments.

00:04:16: Für das Lösen der anspruchsvollsten Aufgabe benötigte ChatGPT etwas mehr als drei Stunden.

00:04:21: Die Kosten für diesen Agentenlauf beliefen sich auf etwa fünfzig US-Dollar.

00:04:25: Das ließe sich also leicht verzehnt, verhundert.

00:04:29: oder gar vertausendfachen, ohne das Budget einer mittelgroßen Cybercrime-Bande zu sprengen.

00:04:35: Damit skaliert das in einer Art und Weise, die bislang nicht für möglich gehalten wurde.

00:04:40: Es wäre somit erstmals realisierbar, mit einem überschaubaren Investment ein ganzes Arsenal von funktionierenden Zero-Darexploits für nahezu alle mit dem Internet verbundenen Geräte zu erstellen.

00:04:53: Für dieses Szenario müssen wir Security neu denken, betont heise Security-Experte Jürgen Schmidt in seiner Analyse.

00:05:00: Die zentrale Herausforderung ist, wie wir die bekannten Methoden in die Fläche bekommen, damit das Vorhandensein von Sicherheitslücken eine Ausnahme wird und nicht die Regel.

00:05:12: Die Notwendigkeit verstärktes Security zeigt auch eine Ankündigung von OpenAI für sein Code-Modell Codex im kommenden Monat.

00:05:20: Die Neuerung versieht CEO Sam Altman mit einer ungewöhnlichen Warnung.

00:05:25: Das Modell werde erstmals die Stufe hoch im unternehmenseigenen Cybersecurity-Risiko-Framework erreichen.

00:05:33: Laut OpenAI-Srichtlinien kann ein Modell auf dieser Stufe bestehende Hürden für Cyberangriffe beseitigen.

00:05:40: Dazu gehören automatisierte Angriffe auf gut geschützte Ziele oder das automatische Finden von Sicherheitslücken.

00:05:47: Solche Fähigkeiten könnten das Gleichgewicht zwischen Angriff und Verteidigung stören und die Menge an Attacken stark erhöhen.

00:05:56: Oberhalb von hoch gibt es nur noch die Stufe Critical.

00:05:59: Ein Modell auf dieser Stufe könnte ohne menschliches Eingreifen bisher unbekannte Sicherheitslücken in kritischen Systemen finden und ausnutzen.

00:06:08: Zunächst will das Unternehmen mit Produktbeschränkungen verhindern, dass Menschen die Modelle für Cyberkriminalität nutzen.

00:06:15: Wie diese aussehen sollen, ist bisher allerdings nicht bekannt.

00:06:19: Langfristig sollen die Modelle Menschen aber auch beim Beheben von Sicherheitslücken helfen.

00:06:24: Denn Ordmann begründet die Veröffentlichung trotz der Risiken damit, dass es schon bald viele sehr leistungsfähige Modelle geben werde.

00:06:32: Deshalb sei es wichtig, aktuelle KI-Modelle schnell einzusetzen, um Software sicherer zu machen.

00:06:39: Das KI-Unternehmen Anthropic kämpft mit einem ungewöhnlichen Problem im Recruiting.

00:06:45: Das Team muss ständig neue Tests für Bewerberinnen und Bewerber entwickeln, weil die eigenen KI-Modelle menschliche Kandidaten überholen.

00:06:53: Mehr dazu von Max Treiner von The Decoder.

00:06:56: Laut Tristan Hume, Leiter des Performance-Optimierungsteams bei Anthropic, hat das Unternehmen seinen Programmiertest bereits dreimal überarbeiten müssen, denn jede neue Cloud-Version machte die vorherige Testversion unbrauchbar.

00:07:09: Der ursprüngliche Test basiert auf einem Python-Simulator für einen fiktiven Computership.

00:07:15: Kandidaten erhalten ein funktionierendes Programm und sollen das schneller machen.

00:07:19: Bewerber durften KI-Werkzeug genutzen, denn das ist Arbeitsalltag bei Anthropic, doch die Probleme begannen schleichend.

00:07:26: Mit Claude.Sieben so nett hätte bereits über die Hälfte der Kandidaten besser abgeschnitten, wenn sie die Aufgabe komplett an Claude delegiert hätten.

00:07:35: Im Mai übertraf dann Claude.Opus.Vier Fast alle menschlichen Lösungen, die um Verkürze die Testzeit darauf hin von vier auf zwei Stunden, doch Cloud Opus four Punkt fünf, das neuest und größte Modell des Unternehmens, erreichte auch in dieser Zeit dieselbe Punktzahl wie die besten menschlichen Kandidaten.

00:07:54: Menschliche Kandidaten übertreffen das Modell aber weiter, wenn sie eben unbegrenzt Zeit haben, aber das ist nicht praktisch für einen solchen Test.

00:08:03: Ein KI-Verbot im Test kam für Joom aber auch nicht in Frage, denn die Ingenieure im echten Job, die setzen diese KI-Assistenten ja ebenfalls ein.

00:08:12: Der Test sollte zeigen, wie gut jemand damit umgehen kann.

00:08:15: Für die Lösung orientierte sich Joom dann eben stark an einer neuen Idee, nämlich Programmierpuzzle spielen, die mit stark eingeschreckten Programmierumgebungen daherkommen.

00:08:25: Spieler müssen dort mit minimalen Befehlen und wenig Speicher auskommen, was kreative Lösungen erzwingt und der neue Enthropic-Test nutzt ähnlich ungewöhnliche Einschränkungen.

00:08:37: Solche Aufgaben kommen dann kaum im Clothes-Training-Start natürlich vor und daran scheitert das Modell dann deshalb.

00:08:43: Und das macht es dann eben wieder sinnvoll für ein Test.

00:08:46: Aber dieser Test, sagt Jum, hat anders als die früheren wiederum weniger mit den realen Aufgaben zu tun, die die Bewerber vor Ort erwarten.

00:08:55: Aber, so sagt Jum, Realismus im Test könnte ein Luxus sein, den sich Anthropic eben einfach nicht mehr leisten kann.

00:09:02: Danke schön, Max.

00:09:04: Wenn sich Ende Januar Juristinnen, Gutachter und Verbände zum sechselsten Verkehrsgerichtstag in Goslar treffen, steht die Debatte über das Ziel von Nullverkehrstoten in einer zunehmend digitalen Welt im Vordergrund.

00:09:19: Für den Deutschen Verkehrssicherheitsrat steht vorab bereits fest, Prävention muss tiefer im Gesetz verankert werden.

00:09:26: Ein zentraler Streitpunkt wird dabei der Einsatz von künstlicher Intelligenz zur Überwachung des fließenden Verkehrs sein.

00:09:33: Der DVR empfiehlt dem Bundesländern den flächendeckenden Einsatz von MonoCams.

00:09:38: Solche KI-gestützten Systeme, die an Brücken oder Straßenrendern platziert werden, sollen vollautomatisch erkennen können, ob eine Person am Steuer ein Smartphone in der Hand hält und so gegen das Handyverbot verstößt.

00:09:51: Rheinland-Pfalz hat das System bereits nach einer Testphase zum Jahresbeginn in den Regelbetrieb überführt.

00:09:57: DVR-Präsident Manfred Wirsch sieht in der technischen Aufrüstung ein wirksames Korrekturmittel für uneinsichtige Fahrer.

00:10:05: Der Einsatz generativer KI in Unternehmen zeigt sich laut aktuellen Studien als zweischneidiges Schwert.

00:10:13: Einerseits berichten Angestellte von Zeitersparnis mit KI-Einsatz.

00:10:17: Andererseits sorgt die KI für zusätzliche Belastungen, weil mangelhafte Ergebnisse nachgebessert werden müssen.

00:10:24: So hat eine Umfrage des HR- und Finanzsoftware-Spezialisten Workday ergeben, dass zwar rund eighty-fünf Prozent der Befragten Angestellten eine bis sieben Stunden pro Woche mit KI einsparen könnten, aber mit bis zu vierzig Prozent werde ein erheblicher Teil der Zeitersparnis für Nacharbeit an fehlerhaften KI-Inhalten wieder aufgebraucht.

00:10:44: Mit all den Fehlerkorrekturen, dem Umschreiben von Inhalten und der Überprüfung der Ergebnisse kommen Workday zufolge nur vierzehn Prozent der Befragten mit KI zu einem durchweg klaren, positiven, nette Ergebnis und besserer Qualität.

00:10:59: Auch messbarer Wert durch die KI-Einführung kommt bei der Mehrheit der Unternehmen bislang noch nicht an, wie verschiedene Studien nahelegen.

00:11:06: Nur rund zwölf Prozent der befragten Unternehmen hätten bislang Kosteneinsparungen und Wertzuwachs damit erzielt, stellte etwa die Beratungsgesellschaft PVC fest.

00:11:17: Metta will den Zugang von Teenagern zu seinen KI-Charakteren vorübergehend in all seinen Apps weltweit pausieren, bis das neue Kinderschutzmodell stehe.

00:11:26: Ergänzend zu den bereits bestehenden Beschränkungen von Teen-Accounts soll es für Eltern die Möglichkeit geben, den Zugang ihrer Kinder zu Einzelgesprächen mit KI-Charakteren zu unterbinden.

00:11:37: Sie sollen auch mehr Einblicke in die Interaktion der Teenager mit KI bekommen.

00:11:41: Die Bekanntgabe der Pause kommt kurz vor Beginn eines Verfahrens gegen Matter in New Mexico.

00:11:47: Indem wird das Unternehmen beschuldigt, sich nicht genug um den Schutz von Kindern vor sexueller Ausbeutung in seinen Apps zu kümmern.

00:11:54: Erst vergangene Woche hatte das Unternehmen ähnliche Anschuldigungen zurückgewiesen und erklärt, dass sich mentale Probleme von Kindern und Jugendlichen nicht direkt auf die Social-Media-Nutzung zurückführen ließen.

00:12:05: Die Herausforderungen, mit denen Jugendliche konfrontiert sind, auf einen einzigen Faktor zu beschränken, ignoriere die wissenschaftliche Forschung und die vielen Stressfaktoren, die junge Menschen heute betreffen, schreibt Meta in seiner Stellungnahme zum Thema Jugendschutz.

00:12:21: Datenschutz gilt überall, auch am Gericht.

00:12:24: Doch wie genau setzen Richterinnen und Richter diese Regeln um, wenn sie selbst täglich mit sensiblen Informationen arbeiten?

00:12:31: Diese Frage steht im Mittelpunkt der aktuellen Folge des CT-Datenschutz-Podcasts Auslegungssache.

00:12:37: CT-Redakteur Höger Bleich und heise Justizjürg Heidrich sprechen dazu mit Christine Benedikt.

00:12:43: Sie ist Richterin an einem bayerischen Verwaltungsgericht, dort auch Datenschutzbeauftragte und Pressesprecherin.

00:12:50: Zuvor leitete sie fünf Jahre lang den Bereich Internet beim bayerischen Landesamt für Datenschutzaufsicht.

00:12:56: In der Podcastfolge geht es unter anderem auch um den Einsatz von KI am Gericht.

00:13:01: Einen Robo-Richter lehnt Benedikt Strigt ab.

00:13:04: Entscheidungen müssen ihre Ansicht nach von Menschen vorbereitet und getroffen werden.

00:13:10: Sinnvoll sei KI aber bei Unterstützenden Aufgaben.

00:13:13: Was ich aber in dem Zusammenhang bei Asylverfahren mir sehr gut vorstellen kann ... Wir führen ja da auch mündliche Verhandlungen durch und haben natürlich das Problem mit unterschiedlichen Sprachen.

00:13:23: Es gibt Sprachbarrieren, einige Klägerinnen und Kläger können natürlich Deutsch einigermaßen gut verstehen.

00:13:29: Die Gerichtssprache ist ja auch Deutsch, aber nicht das so.

00:13:32: trotz haben wir immer Dolmetscher.

00:13:34: Und kann es durchaus sein, dass wir ganz, ganz besondere Konstellationen haben.

00:13:38: Ich wusste zum Beispiel gar nicht, dass auch Gebärdensprache gar nicht so international ist, sondern... dass wir dann vielleicht die russische Gebärdensprache haben oder die spanische.

00:13:49: Und hierfür geeignete Dolmetscher ad hoc zu finden, ist wahnsinnig anspruchsvoll.

00:13:54: Davon gibt es schlichtweg nicht so viele.

00:13:56: Und wenn man sich überlegt, dass hier KI vielleicht unterstützen kann beim Verständnis, dass ich auch diese komplexen juristischen Sachverhalte erst mal den Dolmetscher erkläre, der versucht es dann wieder zu übersetzen, da geht natürlich immer etwas inhaltlich verloren.

00:14:10: Und wenn wir hier zumindest KI... für Dolmetscher Unterstützungstätigkeiten verwenden können, ist das doch auch ein gutes Szenario.

00:14:18: Das heißt, da sind wir weit entfernt von dem Robot Judge, sondern es geht darum, dass wir vielleicht in der täglichen Arbeit Leichtrungen und vielleicht sogar Verbesserungen mithilfe der KI erzielen.

00:14:31: Die ganze Podcastfolge meiner Kollegen und überhaupt alle Folgen der Auslegungssache findet ihr unter heise.de.

00:14:37: slash.

00:14:38: Thema slash Auslegungssache.

00:14:41: Rund zwölf Prozent der japanischen Manga-Künstler, Illustratorinnen und anderen Kreativen haben im vergangenen Jahr Einkommensverluste durch generative Karriere erlitten.

00:14:52: Das ergab eine Umfrage der Freelance League Japan mit knapp twenty-fünftausend Teilnehmenden.

00:14:58: Knapp neun Prozent der Befragten meldeten Einbußen zwischen zehn und fünfzig Prozent, etwa drei Prozent verloren sogar mehr als die Hälfte ihres Einkommens.

00:15:08: Betroffene berichten von kürzeren Fristen und niedrigeren Honoran, weil Auftraggeber den KI-Einsatz mittlerweile voraussetzen.

00:15:15: Manche Kreative verloren Aufträge komplett, weil Kunden auf generative KI umstiegen.

00:15:21: Die Stimmung in der Branche ist entsprechend angespannt und fast neunzig Prozent sehen generative KI als Bedrohung für ihren Lebensunterhalt.

00:15:30: Fast zwei Drittel nutzen keine KI-Tools und planen dies auch nicht.

00:15:34: Die Liga fordert von der japanischen Regierung Transparenzpflichten für Trainingsdaten und Kennzeichnungspflichten für KI-Werke.

00:15:42: Außerdem sollen neue Systeme zur Gewinnbeteiligung für Kreative entstehen.

00:15:48: Die Zahl der registrierten AI-Domains steigt weiter rasant und beschert der Karibikinsel Anguila einen immer größeren Geldsegen.

00:15:58: Vorige Woche hat Premierministerin Korra Richardson-Holsch bekannt gegeben, dass die Gesamtzahl der Domains die Millionenmarke übertroffen hat.

00:16:06: Die Wachstumsrate lag zuletzt bei einem Prozent pro Woche.

00:16:10: Die Regierung des Inselstaates, mit seinen gerade mal sechzehntausend Einwohnerinnen und Einwohnern, hat schon mehrfach versichert, die sprudelnden Einnahmen in langfristige Projekte zu investieren.

00:16:20: Laut der Zeitung Angela Focus wurden damit Straßen saniert und der Flughafen ausgebaut.

00:16:26: Zudem konnte das Land die Gesundheitsversicherung für Kleinkinder kostenfrei machen.

00:16:30: Im Dezember kündigte die Regierung des britischen Übersehgebiets den Aufbau eines Staatsfonds an, um die Einnahmen für künftige Generationen zu sichern.

00:16:39: Das war das KI-Update von Heise Online vom XXVI.

00:16:40: Januar, im Jahr im Jahr im Jahr im Jahr im Jahr im Jahr im Jahr im Jahr im Jahr im Jahr im Jahr im Jahr im Jahr im Jahr im Jahr im Jahr im Jahr im Jahr im Jahr im Jahr im Jahr im Jahr im Jahr im Jahr im Jahr im Jahr im Jahr im Jahr im Jahr im Jahr im Jahr im Jahr im Jahr im Jahr im Jahr im Jahr im Jahr im Jahr im Jahr im Jahr im Jahr im Jahr im Jahr im Jahr im Jahr im Jahr im Jahr im Jahr im Jahr im Jahr im Jahr im Jahr im Jahr im Jahr im Jahr im Jahr im Jahr im Jahr im Jahr im Jahr im Jahr im Jahr im Jahr im Jahr im Jahr im Jahr im Jahr im Jahr im Jahr im Jahr im Jahr im Jahr im.

Neuer Kommentar

Dein Name oder Pseudonym (wird öffentlich angezeigt)
Mindestens 10 Zeichen
Durch das Abschicken des Formulars stimmst du zu, dass der Wert unter "Name oder Pseudonym" gespeichert wird und öffentlich angezeigt werden kann. Wir speichern keine IP-Adressen oder andere personenbezogene Daten. Die Nutzung deines echten Namens ist freiwillig.