KI-Update kompakt: UN-Bericht zu KI, Plädoyer für Open Source, Vorsicht vor KI-Kollegen

00:00:02: Das KI Update, ein Heise-Podcast mit redaktioneller Unterstützung von The Decoder.

00:00:14: Ich bin Marco Pauli und dies sind heute unter anderem unsere Themen UN Bericht zu KI Risiken die Vorteile von Open Source KI Vorsicht vor dem KI Kollegen und Stargate UK als Luftschloss.

00:00:29: Ein unabhängiges Expertengremium der Vereinten Nationen hat einen vorläufigen Bericht zu den Risiken von KI vorgelegt.

00:00:37: Es ist der erste Versuch, globale Chancen und Gefahren der Technologie wissenschaftlich zu bilanzieren.

00:00:44: Eine zentrale Feststellung der Autoren ist, dass die Entwicklung schneller voranschreitet als Forschung und Regierungen Schritt halten können.

00:00:53: Oder wie es die ON im Bericht formuliert – Die Welt kann nicht regieren was sie nicht versteht!

00:01:00: Der Bericht beleuchtet sieben Kernbereiche, darunter wirtschaftliche Folgen, Medizin, Bildung, nationale Sicherheit, Menschenrechte und Kinderschutz.

00:01:10: Als besonders bedrohlich gilt das potenziell täuschende Verhalten moderner KI-Systeme – der Co-Vorsitzende und KI-Pionier Yoshua Banjo warnt die Wissenschaft könne nicht garantieren dass künftige KI keine katastrophalen Schäden anrichten!

00:01:26: Diese könnten autonom entstehen oder durch böswillige Akteure ausgelöst werden.

00:01:31: Um sinnvoll Gegensteuern und regulieren zu können, müssen die Politik die Technik erst grundlegend verstehen.

00:01:38: Auch die globale Ungleichheit drohe sich zu verstärken – Die Vorteile der KI kommen laut Bericht vor allem dort an wo bereits starke Institutionen und Datenbestände bestehen also etwa in den USA, China oder auch Europa.

00:01:54: In Ländern des globalen Südens dagegen fehlen häufig die nötigen Strukturen.

00:01:58: Zudem können dort Arbeitsplätze durch Automatisierung verloren gehen, etwa in Callscentern oder in der Textilbranche.

00:02:07: Insgesamt wachsen Abhängigkeiten von KI-Systemen, die allerdings ohne Rücksicht auf lokale Bedürfnisse entwickelt wurden.

00:02:15: Beim aktuell stattfindenden globalen Dialog über KI Governance in Genf sollen die Empfehlungen des Berichts in Pläne für ein gemeinsames Handeln übersetzt werden.

00:02:27: Vor allem in den USA führen immer mehr Unternehmen-Ki-Werkzeuge nicht mehr als Software ein, sondern als KI-Agenten, die als vermeintliche Kollegen mit Namen-, Berufsbezeichnungen und festen Aufgaben gekennzeichnet sind.

00:02:42: Eine neue Studie von der Boston University zeigt allerdings, dass diese Vermenschlichung der KI die Arbeitsqualität der Beschäftigten verschlechtert.

00:02:52: Diese entdecken demnach deutlich weniger Fehler in den Ausgaben der KI wenn die Ergebnisse angeblich von einem KI-Mitarbeiter stammen und nicht von einem gewöhnlichen Chatbot.

00:03:04: Wenn der Agent als Kollege dargestellt wird, fühlen sich die Beschäftigten offenbar weniger zuständig für dessen Ergebnisse.

00:03:12: Fragwürdiges wird dann auch nicht mehr selbst korrigiert sondern an Vorgesetzte weitergeleitet – damit geht er Zeitvorteil verloren den der Einsatz der KI eigentlich bringen sollte!

00:03:24: Große Anbieter wie Microsoft, OpenAI, Anthropic und Google vermarkten ihre KI-Agenten derzeit allerdings ausdrücklich als digitale Kollegen.

00:03:34: Und fast ein Drittel der in der Studie befragten Führungskräfte betrachten die Agenten auch als Mitarbeiter – teils sogar in Organigrammen!

00:03:44: Artur Mensch, Gründer des französischen KI-Unternehmens Mistral spricht sich klar für offene KI-Systeme aus.

00:03:51: Auf der Plattform LinkedIn warnt er speziell Unternehmen davor, sich auf geschlossene Modelle zu verlassen.

00:03:58: Mehr dazu jetzt von Kim Scheuremprandt vom The Decoder.

00:04:02: Sein Hauptargument dreht sich um den Schutz von Geschäftsgeheimnissen.

00:04:06: Anbieter geschossener Modelle würden zunehmend Datenspeichern und so Einblick in die Geschäftsprozesse ihrer Kunden gewinnen.

00:04:14: Der Mistralgründer erklärt, manche Anbieter hätten solche Informationen in der Vergangenheit genutzt um erfolgreiche Kunden gezielt als Konkurrenten anzugreifen.

00:04:24: Er redet Firmen deshalb ihre Daten im offenen System zu speichern und eigene Zugriffsregeln für KI-Systeme einzurichten.

00:04:32: Auch ein eigenes Training sollten Unternehmen aufbauen selbst wenn das eine Mammutaufgabe sei.

00:04:38: Sonst stünden KI- Systeme die Wettbewerber nicht kopieren könnten.

00:04:42: Wer die Kontrolle abgeben, so seine Warnung überlasse das eigene Wachstum am Ende anderen.

00:04:48: Ähnlich argumentierte zuvor Palantir-Chef Alex Karp, der ebenfalls für firmeneigende KI-Modelle statt zugekaufter Lösungen von außen wirbt.

00:04:57: Seine Firma veröffentlichte zudem ein Manifest für sichere KI in Unternehmen.

00:05:03: Darin heißt es sinngemäß wer seine Modellgewichte kontrolliere, kontrolliere auch sein eigenes Schicksal.

00:05:09: Gewichte seien die verdichtete Form von jahrelang angesammelten Unternehmenswissen.

00:05:39: Sechs Monate nach der ersten Nutzung stiegen die Hausaufgabenergebnisse um achtzehn Prozent, während die Ergebnisse in den monatlichen Klausuren um zwanzig Prozent fielen.

00:05:50: Schülerinnen und Schüler, die die KI dagegen nur ergänzend einsetzten, erzielten ähnliche Klausurergebnisse wie ohne KI.

00:05:58: Viele Schüler lagern der Studie nach das Denken an die KI aus statt selbst zu üben.

00:06:05: Besonders stark betroffen sind davon Spitzenschüler, jüngere Jahrgänge und sozialwissenschaftliche Fächer.

00:06:12: Ähnliche Muster zeigten auch Studien aus anderen Ländern – wer KI nur als Antwortmaschine nutzt verliert das kritische Denken!

00:06:21: Der chinesische Handelskonzern Alibaba verbietet seinen Beschäftigten ab sofort die Nutzung von Anthropics-KI-Modell.

00:06:28: Claude Grund soll eine versteckte Funktion im Quellcode sein, mit der Anthropic erkennen können soll ob ein Nutzer aus China stammt oder mit einem chinesischen KI-Entwickler in Verbindung steht.

00:06:41: Das berichten Alibaba Mitarbeiter dem IT-Portal The Information.

00:06:46: Anthropic allerdings untersagt ohnehin die Nutzung seiner Modelle in China.

00:06:51: Offenbar finden chinesische Unternehmen dennoch Wege die KI zu verwenden.

00:06:56: Alibaba verbietet seinen Angestellten also etwas, das nach den Regeln von Anthropic eigentlich gar nicht stattfinden dürfte.

00:07:04: Im Vormonat hatte Anthropic-Alibaba beschuldigt sich unerlaubt am eigenen Modell zu bedienen – durch massenhafte Anfragen an Claude soll Alibabas dessen Antworten systematisch gesammelt haben um daraus die Funktionsweise des Modells zu rekonstruieren.

00:07:26: Auch die chinesischen KI-Hersteller DeepSeq, Moonshot AI und Minimax hat Anthropic bereits der Destillation beschuldigt.

00:07:36: Forschende des chinesischem Konzerns BeiDoo haben ein Modell zur Texterkennung entwickelt das dutzende Dokumentseiten in einem einzigen Durchlauf verarbeitet.

00:07:46: Speicherbedarf und Tempo bleiben konstant egal wie lang der Text ist.

00:07:51: Bisherige Systeme zu automatischen Texterkennen kurz OCR Stoßen bei etwa zehn Seiten an ihre Grenzen.

00:07:59: Der Grund liegt in einem Zwischenspeicher, der mit jeder neuen Zeile wächst und die Verarbeitung verlangsamt.

00:08:06: Bei Du löst das Problem, indem es den Text als Bild verarbeitet – dabei aber nur die letzten onehundertundzwanzig erzeugten Zeichen nutzt!

00:08:15: Als Grundlage dient das offene Modell DeepSync OCR.

00:08:19: In Tests erreicht Beidus-System eine Genauigkeit von rund ninety-vier Prozent.

00:08:25: Code und Modellgewichte stellt bei Du offen zur Verfügung.

00:08:29: Solche Modelle sind interessant, da sich mit ihnen Buchbestände und Archive schneller digitalisieren lassen – zugleich liefern sie Trainingsmaterial für die Sprachmodelle.

00:08:40: Text als Bild verarbeiten zu können gilt darüber hinaus als möglicher Weg das Gedächtnis von Sprach-Modellen auszubauen.

00:08:48: So könnten künftige Systeme deutlich längere Chatverläufe und umfangreichere Dokumente im Blick behalten.

00:08:56: Entwickler nutzen den Ansatz zudem bereits, um bei aktuellen KI-Modellen Rechenkosten zu senken.

00:09:03: Google hat eine experimentelle Funktion für den Straßenverkehr vorgestellt mit der das eigene Gemini-Model Objekte am Straßenrand identifizieren und Hintergrundinformationen zu ihnen liefern kann.

00:09:17: Ausgelöst durch einen Sprachbefehl wertet die KI dafür Bilder von der Fahrzeugfrontkamera aus.

00:09:24: Der Zugriff auf die Kamera ist dabei zeitlich begrenzt, erst wenn eine Frage gestellt wird liefert die Kamera Bilder an Gemini – nach der Antwort endet der Zugrff wieder.

00:09:34: Damit will Google Datenschutz bedenken zumindest teilweise begegnen!

00:09:39: Während einer Testfahrt fragte also ein Google-Mitarbeiter nach bestimmten Dingen, die am Straßenrand zu sehen waren.

00:09:46: Konkret nach einer Skulptur und einem Haus.

00:09:49: Gemini nannte dann den Namen der Skulpture und erzählte Hintergründe zu ihr.

00:09:53: Auch das Gebäude ordnete die KI dementsprechend ein.

00:09:57: Ob Google die Technik in Serienfahrzeuge bringt ist noch offen.

00:10:01: Weitere KI-Funktionen für Android Automotive sollen im Laufe des Jahres erscheinen.

00:10:07: Darunter eine Live-Spurführung in Google Maps, sie analysiert die Straße über die Frontkamera und gibt in Echtzeit Hinweise zum Spurwechsel oder zum Abbiegen.

00:10:20: Der Bremerverkehrsbetrieb BS AG setzt künftig auf KI um Fahrgäste besser vor Gewalt zu schützen.

00:10:27: Das System heißt AI Watch und wertet die Bilder von Überwachungskameras in Straßenbahnen automatisch aus.

00:10:34: Ein nicht näher benanntes Sprachmodell analysiert laufend das Geschehen im Innenraum, erkennt die KI eine gefährliche Situation etwa einen Streit oder körperliche Gewalt schlägt sie automatisch Alarm.

00:10:47: Die Auswertung erfolgt direkt an Bord auf lokaler Hardware, um den Datenschutz zu wahren.

00:10:53: Erst im Alarmfall werden Bilder an die Leitstelle übermittelt – dort prüfen Menschen die Meldungen und entscheiden über weitere Schritte.

00:11:01: Dieser zusätzliche Kontrollschritt soll die Zahl der Falschmeldungen senken!

00:11:06: Damit unterscheidet sich der Bremeransatz von KI-Überwachungsprojekten in Städten wie Mannheim oder Hamburg, die stärker in die Privatsphäre eingreifen.

00:11:16: Entwickelt wurde die Technik gemeinsam mit dem Anbieter Just at AI – ob das System die hohen Erwartungen an mehr Sicherheit erfüllt muss sich im Alltagsbetrieb erst noch zeigen!

00:11:28: Das, dass sich als Luftnummer angekündigte KI-Rechenzentrumsprojekt Stargate UK erweist.

00:11:38: Laut dem britischen Guardian haben weder OpenAI noch der geplante Betreiber NScale das zentrale Grundstück in Nordengland je besichtigt.

00:11:48: Dort sollte eigentlich die KI-Infrastruktur entstehen.

00:11:51: Angekündigt wurde das Projekt im September twenty-fünfundzwanzig als Partnerschaft zwischen OpenAI, Nvidia und NScales.

00:11:59: Geplant war der Einsatz von bis zu einunddreißigtausend Nvidia Beschleuniger Im April, für das Vorhaben dann offiziell.

00:12:11: Als Gründe wurden hohe Energiekosten und regulatorische Unsicherheiten genannt.

00:12:16: Auch die beworbene Investitionssumme von zwanzig Milliarden Pfund entpuppte sich laut Guardian eher als hypothetische Größe ohne verbindliche Zusage.

00:12:27: Das Vorhaben ist Teil des größeren Stargate-Projekts.

00:12:30: Diese KI-Allianz aus OpenAI, Oracle und SoftBank und einem Staatsfonds der Vereinigten Arabischen Emirate soll weltweit bis zu fünfhundert Milliarden US-Dollar in Rechenzentren investieren.

00:12:44: Der Stargate UK Fall zeigt jedoch dass die Milliardenversprechen der Techbranche nicht immer wahr werden.

00:12:51: Ein weiteres Beispiel dafür ist das angekündigte Foxconnwerk im US-Stadt Wisconsin.

00:12:57: Zehn Milliarden US-Dollar und dreizehntausend Arbeitsplätze wurden versprochen, aber nur ein Bruchteil realisiert.

00:13:05: Zwischen medienwirksamer Ankündigung und tatsächlicher Umsetzung klafft offenbar häufiger eine große Lücke.

00:13:15: Das war das KI-Update von Heise online vom sechsten Juli, zwei tausend sechsundzwanzig.

00:13:19: Eine neue Folge gibt es Montags Mittwochs und Freitag ab fünfzehn Uhr.