KI-Update kompakt: Verstörende Chatbots, Neue Audio-Modelle, Mythos, Cloudflare

00:00:02: Ich bin Marco Pauli und dies sind heute unter anderem unsere Themen.

00:00:18: KI-Bots simulieren Kindesmissbrauch, neue Audiumodelle von OpenAI Gericht rückt Anwälte wegen KI-Haluzinationen Mythos findet Sicherheitslücken und Entlassungen bei Cloudflare.

00:00:32: Generative Sprachmodelle werden genutzt, um KI-Kindercharaktere für virtuelle Missbrauchsszenarien zu erstellen.

00:00:40: Das zeigt eine Recherche der Süddeutschen Zeitung.

00:00:43: Ein Beispiel ist die Figur Karin ein fiktives dreizehnjähriges Mädchen – das Profil wurde gezielt auf Hilflosigkeit und sexuelle Verfügbarkeit programmiert.

00:00:53: Die KI ist darauf trainiert dem Nutzer zu gefallen und Gespräche aktiv in Richtung sexualisierter Gewalt zu lenken.

00:01:01: Allein mit Karin wurden bereits fast siebzehntausend Chats geführt.

00:01:05: Laut SZ-Bericht ist das kein Nischenphänomen, solche Inhalte finden sich auf freizugänglichen Diensten wie etwa CHUB AI ohne Altersprüfung oder technische Hürden.

00:01:16: Wie dringend das Problem ist zeigen Zahlen der freiwilligen Selbstkontrolle Multimedia-Diensteanbieter.

00:01:22: Ihr Jahresbericht-Zweitausendfünfundzwanzig verzeichnete mit über achtundzwanzigtausend Meldungen die zweithöchste Anzahl an Hinweisen seit Gründung der Beschwerdestelle.

00:01:33: Die Darstellung sexuellen Missbrauchs von Kindern bildet mit achtundfünfzig Prozent die größte Kategorie.

00:01:39: Der Besitz missbräuchlicher Bilder ist strafbar, für rein textbasierte Beschreibung gilt das bisher nicht.

00:01:46: Sanktioniert wird hier nur das öffentliche zugänglich machen oder

00:01:49: verbreiten.".

00:01:51: Eine Gesetzesverschärfung ist aber auf dem Weg.

00:01:53: Bis Juni, twenty-seven Uhr muss Deutschland eine EU Richtlinie umsetzen.

00:01:59: Diese stellt das Erstellen und verbreiten KI generierter sexueller Inhalte explizit unter Strafe.

00:02:07: OpenAI führt eine neue Schutzfunktion für erwachsene GPD-Nutzende ein.

00:02:11: Diese können freiwillig eine Vertrauensperson benennen, die informiert wird, falls die eigenen Gespräche auf einen psychischen Krisenfall und eine ernsthafte Gefährdung hindeuten.

00:02:22: Die Vertrauenser hält eine Einladung mit Erklärung ihrer Rolle und kann dann ablehnen oder zustimmen.

00:02:29: Erkennt das System dann später tatsächlich Hinweise auf Selbstgefährdungen, weist GPD zunächst den Chatpartner darauf hin.

00:02:36: Anschließend prüft ein geschultes Team den Fall.

00:02:39: Bei akuter Gefahr erfolgt eine Benachrichtigung der Vertrauensperson.

00:02:44: Die Mitteilung enthält dann keine Chat-Inhalte, sondern nur einen allgemeinen Hinweis und die Bitte aktiv Kontakt aufzunehmen – die Mitteilungen soll binnen einer Stunde veranlasst werden können.

00:02:56: Mit dem Schritt erweitert OpenAI bereits für minderjährige bestehende Schutzfunktionen auf Erwachsene.

00:03:04: KI wird zukünftig immer häufiger am anderen Ende der Telefonleitung zu hören sein, wenn man bei Unternehmen anruft oder von diesen angerufen wird.

00:03:13: OpenAI bringt nun neue Audiumodelle für diesen und andere Einsatzfälle auf den Markt – Malte Kirchner berichtet

00:03:21: Wer kennt das nicht?

00:03:22: Man ruft beim Kundenservice an und landet bei einer KI die sich anhört wie ein holpriger Sprachassistent vor zehn Jahren.

00:03:30: OpenAI will das jetzt grundlegend ändern.

00:03:33: Das Unternehmen hat drei neue Audiumodelle vorgestellt, die Echtzeit-Sprachkommunikation auf ein neues Niveau heben sollen.

00:03:40: Konkret geht es um drei Modelle mit klingenden Namen.

00:03:42: GPT Real Time II ist für direkte Gespräche zwischen Mensch und Maschine zuständig – also zum Beispiel für den KI Support Mitarbeiter am Telefon.

00:03:52: GPTT Real Time Translate übersetzt live zwischen zwei Menschen in verschiedenen Sprachen Transkribiert gesprochene Sprache in Echtzeit, in Text.

00:04:03: Nützlich etwa für Untertitel & Meetings oder medizinische Dokumentationen.

00:04:08: Was dabei auffällt ob MEI legt großen Wert darauf dass sich die KI natürliche an Gespräche einfügt.

00:04:14: sie wartet zum Beispiel bis sie genug gehört hat um sinnvoll übersetzen zu können und gibt auch Fehlermeldungen verständlich zurück statt einfach stillschweigend zu scheitern.

00:04:24: das klingt nach einem kleinen Detail macht in der Praxis aber einen großen Unterschied.

00:04:29: Technisch hat sich ebenfalls einiges getan.

00:04:31: GPT Realtime II ist das erste Echtzeit-Sprachmodell, dass auf dem Reasoning Ansatz von GPT V aufbaut.

00:04:38: Das Kontextfenster – also sozusagen das Kurzzeitgedächtnis des Modells wurde vervierfacht und das Modell kann im laufenden Gespräch gleichzeitig mehrere externe Dienste abfragen.

00:04:49: Für europäische Entwickler ist außerdem relevant, die neue Real-Time API unterstützt EU Data Residency.

00:04:55: Das heißt Anfragen werden in der EU verarbeitet und nicht auf Open AI Servern gespeichert – mit einem kleinen Vorbehalt!

00:05:02: Das Debugging Protokoll ist noch nicht vollständig DSGVO konformen Und wer testet das ganz bereits?

00:05:08: Unter anderem die deutsche Telekom für ihren mehrsprachigen Kundensupport.

00:05:12: Das zeigt wo die Reise hingeht.

00:05:14: KI am Telefon wird kommen.

00:05:16: Die Frage ist nur noch wie gut sie sich anhört.

00:05:19: Danke, Malte.

00:05:21: Software zur Emotionserkennung per KI breitet sich am Arbeitsplatz aus – eine Reportage des US-Magazins The Atlantic beschreibt wie Unternehmen Mimik Stimmen und Chats ihrer Beschäftigten analysieren.

00:05:35: Die Einsatzgebiete sind dabei vielfältig.

00:05:38: Ein US-Versicherer etwa überwacht die Tonlage von Call Center Mitarbeitenden Burger King testet einen Chatbot der Freundlichkeit bewertet.

00:05:47: Andere Anbieter werden Bewerbungsgespräche per Video oder interne Slack-Nachrichten aus.

00:05:54: Die KI-Bewertungen sind allerdings sehr umstritten – eine Studie zeigte zum Beispiel, dass eine Emotionskai schwarze NBA-Spieler systematisch als wütender Einstufte als weiße.

00:06:07: Die EU hat solche Emotionskai am Arbeitsplatz im Rahmen des AI-Akt weitgehend verboten.

00:06:13: Trotzdem soll der globale Markt bis zu einem Jahrzehnte auf neun Milliarden Dollar anwachsen.

00:06:20: In Deutschland hat die Justiz mit KI Halluzinationen zu kämpfen, das zeigt ein konkreter Fall aus Berlin.

00:06:27: Mein Kollege Robin Ahrens aus der Zitär-Redaktion hat sich denmal genauer angeschaut.

00:06:33: Gesetze und gerichtliche Urteile galten lange als unverrückbares Fundament der Justiz.

00:06:38: Mit dem Einzug von generativer KI gerät diese Basis

00:06:41: aber

00:06:41: auch hierzulande ins Wanken.

00:06:43: In den USA gab es ja schon mehr als achthundert Verfahren, in denen Gerichte Personen wegen KI-Fehlern in Justizdokumenten sanktioniert haben – davon haben wir erst letztens im Podcast berichtet.

00:06:53: und mittlerweile muss sich die deutsche Justiz mit ähnlich gelagerten Problemen beschäftigen.

00:06:58: In einem Familienrechtsstreit am Amtsgericht Berlin Kreuzberg hatte eine Mutter das alleinige Sorgerecht für die Tochter mit einer einstweiligen Anordnung beantragt.

00:07:06: Parallel dazu forderte sie Hilfe bei den Verfahrenskosten ein.

00:07:10: Beide Anträge lehnte das Amtsgericht aber ab, denn eine besondere Eilbedürftigkeit sei nicht glaubhaft gemacht worden – vielmehr könne man eine Entscheidung im Hauptverfahren abwarten, so das Gericht.

00:07:20: Gegen die Ablehnung der Verfahrenskostenhilfe legte die Frau mithilfe von Anwält innen Beschwerde beim Kammergericht ein.

00:07:27: In dieser Beschwerde zitierte die Kanzlei eine vermeintliche Entscheidung des Bundesgerichtshof aus dem Jahr seven, die angeblich in einer Fachzeitschrift veröffentlicht worden sei.

00:07:36: Die Recherche des Kammergerichts Berlin ergab aber das ein solches Urteil gar nicht existierte.

00:07:41: Weder in juristischen Datenbanken noch auf der Website des Bundes Gerichtshofs war das Urteil mit den entsprechenden Aktenzeichnen zu finden.

00:07:49: Der Auffassung der Richterin am Kammergricht nach handelte sich vielmehr um einen von KI herbei halluziniertes Urteil.

00:07:55: In einem Beschluss von vergangenem November wies das Kammergericht die Beschwerde der Mutter gegen die Ablehnung der Verfahrenskostenhilfe als unbegründet zurück.

00:08:03: Und das Gericht nutzte die Gelegenheit gleich für eine grundsätzliche Rüge, denn Anwältinnen sind dazu verpflichtet, Schriftsätze vor der Einreichung gründlich zu prüfen – erst recht wenn KI-Werkzeuge zum Einsatz kommen!

00:08:15: Die Menge an Schriftsetzen vor Gericht, die KI Halluzination enthalten nimmt seit vergangenen Jahr weltweit erheblich zu.

00:08:22: Das berichtet der Pariser Rechtswissenschaftler Damir Chalotin, der Verfahren einer Online-Datenbach sammelt.

00:08:28: In diesen Verfahren sind Personen wegen KI-Fählern sanktioniert worden.

00:08:32: Stand April zwanzig sechsundzwanzig gab es bislang mehr als tausend dreihundert solcher Verfahren und die Dunkelziffer dürfte noch deutlich höher sein.

00:08:40: Da stellt Gerichte weltweit vor ein erheblichen Mehraufwand denn Richterinnen müssen nun Quellen verifizieren, die früher als gesichert galten.

00:08:48: Diesen Mehraufwand kann man leider auch mit Kennzeichnungspflicht nicht beheben.

00:08:51: Um die aufwendige Prüfung wird man nicht rumkommen.

00:08:54: Der Berliner Beschluss von vergangenem November setzt aber zumindest schon mal eine formale Leitlinie für die Anwaltschaft.

00:09:01: Danke Robin!

00:09:03: Der Browserhersteller Mozilla hat mithilfe des noch unveröffentlichten KI-Modells Mythos von Anthropic eine Rekordmenge an Sicherheitslücken in Firefox aufgespürt.

00:09:14: Mythos fand twohundertseinundsiebzig bislang unbekannte Schwachstellen, insgesamt behoben Mozilla im April bereits über vierhundert Sicherheitsprobleme.

00:09:24: Im bisherigen Rekortmonat März waren es nur siebenzig – mehr dazu von Kim Scheurenbrand vom World Decoder!

00:09:31: Noch vor wenigen Monaten galten KI-generierte Fehlerberichter als weitgehend nutzlos.

00:09:37: Die Meldungen klamm zwar plausibel, waren aber meist falsch.

00:09:40: Ihre Prüfung kosteten die Entwicklerinnen und Entwicklern nur Zeit.

00:09:44: Zwei Probleme haben das laut Mozilla geändert – leistungsfähigere Modelle und bessere Infrastruktur.

00:09:50: Den entscheidenden Fortschritt brachten agentische Systeme.

00:09:54: Das heißt, die KI liest den Code nicht nur und meldet verlechtige Stellen – sie schreibt eigene kleine Testprogramme und führt sie aus!

00:10:01: So prüft sie selbst ob ein vermuteter Fehler tatsächlich existiert.

00:10:05: Diese Selbstkontrolle filtert falsche Alarm heraus.

00:10:08: Mozilla verteilt dem Prozess auf viele virtuelle Maschinen, die jeweils eine Datei parallel prüfen.

00:10:14: Eine eigens geborrte Pipeline sortiert doppelte Meldungen aus und begleitet die Korrekturen bis zur Veröffentlichung.

00:10:20: Ein konkretes Beispiel macht die Funde greifbarer, eine HTML-Tabelle mit mehr als sixty-tausend Zeilen brachte ein internes Zählfeld zum Überlaufen – das Zähelfeld war schlicht zu klein für so viele Zeilen!

00:10:32: Solche Überläufe können Angreifer ausnutzen um Schadcode einzuschleusen.

00:10:37: Auch die sogenannte Sandbox wurde überwunden.

00:10:40: Die Sandbox ist ein Schutzmechanismus, der Webseiten vom Rest des Computers abschottet.

00:10:44: Unter den Funden waren auch Fehler, die seit fünfzehn oder sogar zwanzig Jahren im Code schlamotten.

00:10:50: Aufflussreich ist auch, was die KI nicht schaffte.

00:10:53: Mehrere Angriffsversuche auf eine ältere Schwachstellenklasse scheiterten an einer Architekturentscheidung, die Mozilla vor Jahren getroffen hatte.

00:11:01: Dem Beleg das frühere Schutzmaßnahmen wirken empfanden den Entwickler als ebenso wertvoll wie neue Funde.

00:11:06: Mozilla will die KI-Pipeline künftig direkt in den Entwicklungsprozess einbauen.

00:11:10: Jeder neue Code soll vor dem Einchecken automatisch geprüft werden!

00:11:14: Danke Kim.

00:11:16: Der britische Mathematiker und Fields-Medaillist Timothy Gowers hat Open AI´s Modell ChatGPT.Five.FünfPro an offenen Problemen der Zahlentheorie arbeiten lassen, die KI lieferte in weniger als zwei Stunden eine fertige wissenschaftliche Arbeit auf Promotionsniveau.

00:11:35: Gauers hatte dem Modell offene Probleme aus einem Fachaufsatz vorgelegt.

00:11:40: Für eines davon dachte das Modell siebzehn Minuten nach und lieferte dann eine bestmögliche Lösung.

00:11:46: Noch anspruchsvoller war eine verallgemeinerte Version des Problemes, hier verbesserte die KI in mehreren Schritten eine bestehende mathematische Schranke erheblich.

00:11:56: Das fertige Ergebnis stand nach rund einunddreißig Minuten.

00:12:00: Ein beteiligter MIT-Student bezeichnete die Schlüsselidee des Modells als originell und als eine auf DR, nach einem bis zwei Wochen Nachdenken echt stolz gewesen wäre.

00:12:13: Gawas zieht daraus jedenfalls Schlüsse für die mathematische Ausbildung.

00:12:17: Die Untergrenze für einen Beitrag bestehen nun darin etwas zu beweisen das Sprachmodelle nicht beweisen könnten.

00:12:25: Allerdings waren den Experten auch vor voreiligen Schlüssen.

00:12:29: Google's DeepMindsKI-Agent Aletaya etwa lieferte bei siebenhundert offenen Mathematikproblemen nur in sechs Komma fünf Prozent der Fälle wirklich brauchbare Antworten!

00:12:41: In der vergangenen Woche gab das Kölner KI-Unternehmen DeepL bekannt, dass es seine Belegschaft um etwa ein Viertel also um zweihundertfünfzig Stellen kürzen wird.

00:12:50: Kurz danach kündigte das Unternehmen Cloudflare an mehr als eintausend Einhundert Beschäftigte zu entlassen.

00:12:57: Cloudflare ist ein globaler Dienst, der Webseiten schneller macht und vor Angriffen schützt.

00:13:03: Ende twenty-fünfundzwanzig hatte CloudflARE noch rund fünftausend Einhundert Vollzeitangestellte – mehr dazu jetzt von Tomislav Besmalinovic.

00:13:12: CEO Matthew Prince und Operativchefin Michelle Sattlin betonen in einer Mitteilung an die Angestellten das es sich weder um einen Sparprogramm noch eine Leistungsbewertung handele.

00:13:25: Vielmehr wolle Cloudflare definieren, wie ein Unternehmen im zeitalter agentischer KI arbeitet.

00:13:33: Die Arbeitsweise habe sich einfach grundlegend verändert – die KI-Nutzung sei in den vergangenen drei Monaten um mehr als das sechsfache gestiegen und Beschäftigten griffen täglich tausendfach auf KI-Agenten zurück.

00:13:49: Sämtliche internen Prozesse Teams und Rollen sollen deshalb jetzt neu gedacht werden!

00:13:56: Die Kosten des Umbaus liegen bei rund onehundertvierzig bis einhundertfünfzig Millionen US-Dollar.

00:14:02: Der Großteil entfällt auf Abfindungen und Sozialleistungen, die Umsetzung soll bis Ende des dritten Quartals abgeschlossen sein.

00:14:11: Die Stellenstreichungen sind nicht das klassische Krisenmaßnahme zu verstehen, dürfen aber auch dazu beitragen, Kostensstruktur und Margen in Zuge des KI-Umbaus zu verbessern.

00:14:23: Denn trotz steigender Umsetzer schreibt Cloudflare weiterhin rote Zahlen.

00:14:29: Viele US-Unternehmen streichen Stellen, obwohl die Gewinne stark wachsen – der Ökonom Genjao nennt dies Jobless Boom.

00:14:37: Als Treiber sieht er die schnelle Einführung von KI.

00:14:40: diese steigere Produktivität und dämpfe gleichzeitig Nachfrage nach Arbeitskräften.

00:14:48: Der britische Hedgefonds TCI hat einen großen Anteil an Microsoft-Aktien abgestoßen.

00:14:54: Bisher machte die Beteiligung etwa zehn Prozent des Portfolios aus, jetzt nur noch ein Prozent.

00:14:59: TCI war seit zwei tausend siebzehn bei Microsoft engagiert und hat in dieser Zeit stark vom Kursanstieg profitiert – Die Aktie legte fast vierhundert Prozent zu.

00:15:10: TCI-Gründer Chris Hohn erklärte, dass die rasanten Fortschritte bei KI Unsicherheit über Microsoftskünftige Wettbewerbsposition schaffen.

00:15:20: Insbesondere das Officegeschäft sieht er gefährdet weil KI etablierter Arbeitsabläufe verändern könnte – auch im Cloudgeschäft Azure werden Risiken vermutet.

00:15:31: Die Geentscheidung steht für wachsende Zweifel an klassischen Software-Geschäftsmodellen, an der Wall Street unter dem Schlagwort AIEATS software benannt.

00:15:41: Die Sorge ist dass KI-Agenten Aufgaben übernehmen für die Unternehmen bislang Nutzerlizenzenzahlen – damit gerät das bisherige Abrechnungsmodell Unterdruck.

00:15:52: Auch die Börsenkurse spiegeln dieses Skepsis wieder.

00:15:55: Microsoft notiert deutlich unter dem Vorjahresstand Andere Software-Aktien wie Oracle, Adobe und Salesforce haben noch stärker verloren.

00:16:05: Die Schweizer Medienbranche gibt sich einen verbindlichen Verhaltenskodex für den verantwortungsvollen Umgang mit KI.

00:16:12: Eine breite Allianz von Verbänden und Unternehmen hat das Selbstregulierungsinstrument vergangenen Donnerstag in Luzern vorgestellt.

00:16:20: In dem steht unter anderem, dass Mitarbeiter von Medienunternehmen die KI-Systeme anwenden oder deren Resultate verarbeiten dafür geschult werden müssen.

00:16:29: Redaktionelle Inhalte und vertrauliche Daten sollen bei der Nutzung von KI Tools besonders geschützt werden.

00:16:36: Medienunternehmer haben die Öffentlichkeit darüber zu informieren wie sie KI Systeme einsetzen – etwa auf einer Infoseite ihrer Website – und in welchen Inhalten Sie in welchem Maße eingesetzt sind.

00:16:50: Außerdem gilt eine Kennzeichnungspflicht für alle KI-Systeme wie etwa Chatbots, die mit Nutzern interagieren und von diesen mit Menschen verwichselt werden könnten.

00:17:01: Die neuen Regeln sollen bis Ende des Jahres umgesetzt werden – in Deutschland fehlt ein Branchen weiter Codex bislang.

00:17:08: Öffentlich rechtliche Sender haben sich aber auf eigene Regeln verständigt!

00:17:13: Eine europaweite Kennzeichnungspflicht greift mit dem EUAI-Akt ab August.

00:17:23: Das war das KI-Update von Heise online vom Elften Mai.

00:17:28: Ein neue Folge gibt es immer Montags, Mittwochs und Freitags um fünfzehn Uhr.