KI-Update kompakt: Mistral ML4, Cohere, KI-Empfehlungen, KI klont Indie-Spiele

00:00:02: Das KI-Update, ein heise Podcast mit redaktioneller Unterstützung von The Decoder.

00:00:14: Ich bin Isabel Grünewald und die sind heute unter anderem unsere Themen.

00:00:18: Misstrahl veröffentlicht MLV als Open-Ways-Modell.

00:00:22: Schwarzgruppe investiert Milliarden in KI's Startup Coher.

00:00:26: Fachleute übernehmen unbemerkt die Empfehlungen ihres KI-Agenten – und die Community soll in die Spiele vor KI-Klonen schützen!

00:00:36: Das französische Kailabor Mistral hat am Donnerstag die Gewichte seines neuesten Modells ML-IV veröffentlicht.

00:00:43: Gewichte sind die Parameter, die ein Modell beim Training lernt – werden sie offen bereitgestellt?

00:00:49: Kann jeder das Modell selbst betreiben und

00:00:51: anpassen?!

00:00:52: Mit einer Billion Parametern insgesamt und forty-neinen Milliarden aktiven Paramettern hat sich ML-VIR seinen Spitznam Luchonk verdient!

00:01:02: Es ist das bislang größte und fortschrittlichste Modell aus Europa, und soll den Abstand zu Open Source-Spitzmodellen wie Quen von Alibaba, Gemma von Google oder Kimi von Moonshot AI verkürzen.

00:01:14: Ich hatte in dieser Woche die Gelegenheit mit Pierre Stock – Vice President of Science bei Mistrail – zu sprechen.

00:01:20: Pierre, was war die zentrale Designentscheidung hinter dieser Architektur?

00:01:25: Warum dieses Verhältnis zwischen Gesamtgröße?

00:01:34: Momentan gibt es einen Trend.

00:01:36: Die Modelle werden, was die Gesamtzahl der Parameter angeht immer größer.

00:01:40: Gleichzeitig sind sie aber immer sperrlicher besetzt.

00:01:44: Das heißt ein einzelnes Token also Ein Wort sieht nicht alle Parameter des Modells.

00:01:50: das wären viel zu viele.

00:01:52: Bei uns sieht ein Token nur fünfzig Milliarden Parameter.

00:01:55: das klingt nach viel ist im Verhältnis zum ganzen modell Aber sehr wenig.

00:02:00: Das ist der Trend.

00:02:01: Wir können da gerne tiefer einsteigen, aber solche Modelle zu trainieren ist eine Wissenschaft für sich weil viele unerwartete Probleme auftauchen können vor allem weil das Modell lernt die Tokens an die verschiedenen Experten weiterzuleiten.

00:02:15: Wenn dieses Routing schlecht funktioniert, können manche Experten regelrecht absterben.

00:02:20: Sie bekommen zu wenig Tokens und lernen nichts.

00:02:23: andere dagegen werden überlastet.

00:02:26: Man muss also während des Trainings auf eine Balance achten und sie gezielt durchsetzen.

00:02:31: Der Preis dafür ist dass diese Modelle enorm viele Daten brauchen Und man muss die gesamte Wissenschaft rund um ihr Training erst entwickeln.

00:02:40: Der Vorteil ist, bei der Infarenz sind sie extrem effizient.

00:02:44: Weil man ProToken eben nur fünfzig Milliarden Parameter aktiviert und das Ergebnis ist deutlich besser als bei einem vergleichbaren Dichtenmodell mit fünfzig Millionen Parametern.

00:02:55: so gleicht man den Aufwand aus.

00:02:58: Den höheren Aufwand beim Training nehmen wir in Kauf, weil wir davon ausgehen dass das Modell viel länger für Inferenz genutzt wird.

00:03:06: Auch viel mehr GPUs mit viel mehr Rechenleistung als beim Training Zumindest wenn wir unseren Job gut gemacht und ein gutes Modell trainiert haben.

00:03:20: Die meisten Unternehmen werden ein Modell mit einer Billion Parametern wohl kaum betreiben können.

00:03:25: Trotzdem habt ihr die Gewichte veröffentlicht.

00:03:27: Wer profitiert davon?

00:03:33: Gute

00:03:34: Frage, dieses Modell ist zum Beispiel dreimal kleiner als Kimi K-III.

00:03:39: Es ist also ein großes Modell im Gesamtvergleich aber trotzdem klein und dabei besser gerade bei Coding & Cyber Sicherheit.

00:03:47: Bei Mistral beherrschen wir außerdem die Quantisierung von Modellen.

00:03:50: Das war damals auch das Thema meiner Doktorarbeit.

00:03:53: Wenn man das Modell quantisiert, etwa in FPV, lässt es sich auf vier GPUs betreiben.

00:03:59: Zum Beispiel auf NVIDIA GB-Gb three hundred.

00:04:02: Das ist natürlich immer noch viel Aber dieses Budget können sich etwa Hochschulen und Forschungslabore leisten.

00:04:08: Sie bekommen so Zugang zu Spitzen KI um das Model zu erforschen Es zu prüfen oder neue Einsatzmöglichkeiten zu finden zum Beispiel für die Cyberabwehr.

00:04:19: Und dann sind da unsere Kunden und Unternehmen.

00:04:22: Ein Vorteil offener Gewichte ist, dass niemand einem den Zugang abschneiden kann.

00:04:32: Ihr habt ML-IV komplett in euren eigenen Rechenzentren in Frankreich trainiert!

00:04:37: Wie viel vom Fortschritt geht auf diese eigene Infrastruktur zurück und was wäre ohne sie nicht möglich gewesen?

00:04:47: Dazu habe ich eine Anekdote und zwar zum Start des Pre-Trainings.

00:04:51: Das ist der erste Schritt, man hat zufällige Gewichte und startet die ersten Trainingsschritte!

00:04:56: Das ist immer eine große Debuggingphase – besonders auf einen neuen Cluster.

00:05:01: Man muss sicherstellen dass die richtigen Container und Versionen laufen das die Daten da sind, dass es keine Engpässe zwischen den GPUs gibt, Man muss viel prüfen.

00:05:14: Und wir haben das Modell in nur einer Nacht zum Laufen gebracht, das ist extrem kurz!

00:05:19: Geschafft haben wir das weil unser Pre-Training Team aus der Forschung und unserer Cluster team gemeinsam in einem Raum saßen und zusammengearbeitet haben.

00:05:30: mit einem Cloud Anbieter hätte das Wochen gedauert – Mit Kunden Support, Eskalationen und der Suche nach den richtigen Ansprechpartnern und Schnittstellen.

00:05:39: Es ist also eine Investition, die sich aber exponentiell auszahlt.

00:05:44: Und jetzt wo wir wissen wie dieser Cluster funktioniert und das Geschäft gelernt haben können wir einen Teil dieser Leistung auch an andere Unternehmen vermieten.

00:05:59: Mestral hat die Gewichte erst nach einer Sicherheitsprüfung durch Forschende, Partnerunternehmen und Regierungsorganisationen veröffentlicht.

00:06:06: Was ist in den letzten Wochen zwischen der Previum und der Veröffentlichung der Gewichte passiert?

00:06:15: Wir wollten durch Beispiele aus der Praxis sicherstellen, dass die Ergebnisse aus den Benchmarks auch wirklich stimmen.

00:06:22: Wir hatten interne Tests, die zeigten das ML Four Schwachstellen besser finden – und schließen kann als die Konkurrenz!

00:06:30: Für die Preview hatten wir also eine Grundlage, aber wir wollten externe Fachleute beurteilen ob und wie das Modell funktioniert.

00:06:38: Eine Rückmeldung, die wir dabei oft bekommen haben ist dass das Model etwas zu wortreich war.

00:06:45: es hat zu viel geredet.

00:06:47: dieses Feedback haben wir in den finalen Reinforcement Learning Durchlauf einfließen lassen.

00:06:52: Deshalb verbraucht die Open Source Version jetzt fünfzig Prozent weniger Tokens als die Version von vor gerade mal drei Wochen, bei gleicher Intelligenz.

00:07:02: Im Artificial Analysis Coding Index zum Beispiel sind wir das beste Open Weight Modell und gleichzeitig fünfzig prozent effizienter als die Vorversion und auch als die Konkurrenz.

00:07:20: Ich habe mit Misrides wissenschaftlichem Leithab hier Stock noch ausführlicher über den Entwicklungsprozess von MLV, den Wettbewerb mit US-amerikanischen und chinesischen Firmen und den Stellenwert eigener Frontiermodelle für die Souveränität Europas gesprochen.

00:07:35: Das ganze Interview hört ihr im nächsten Deep Dive des KI Updates in einer Woche!

00:07:40: Das kanadisch-deutsche KI Unternehmen Coheir hat eine Rekordfinanzierung abgeschlossen.

00:07:46: Angeführt wird die Runde von der Schwarzgruppe zu der Lidl und Kaufland gehören.

00:07:51: Auch die kanadische Regierung und den Vedia beteiligen sich.

00:07:54: Coheir hatte in diesem Jahr Aleph Alfa aus Heidelberg übernommen, das Unternehmen setzt auf souveräne KI für Firmen und Regierungen.

00:08:02: Seine Modelle lassen sich im privaten Clouds oder isolierten Umgebungen betreiben – unabhängig von großen US-Anbietern!

00:08:10: Das ist ein wichtiges Argument für stark regulierte Branchen.

00:08:13: Die Schwarzgruppe will die Modelle jetzt in ihre eigene Cloud einbinden – mit dem Kapital, Wilco Here, Modellentwicklung, Infrastruktur und Expansion ausbauen.

00:08:24: Beobachter sehen daran auch eine Vorbereitung auf einen möglichen Börsengang!

00:08:29: Erst vor vier Wochen hat Google sein Spitzmodell Gemini Argon freigegeben.

00:08:34: Da lässt es schon das nächste Spitz-Modell vom Stapel laufen.

00:08:37: Es heißt Carbon und löst Argon ab.

00:08:40: Allerdings bleibt der Zugang zunächst beschränkt – Google folgt damit eine Aufforderung des weißen Hauses und öffnet das Modell vorerst nur für US-Geheimdienste und ausgewählte Partner, denn carbons Stärke liegt laut Google in der Entwicklung von Angriffen auf Software und im Schließen von Sicherheitslücken!

00:08:59: In mehreren Benchmarks übertrifft es Argon und Konkurrenzmodelle.

00:09:03: Carbon soll weniger hallucinieren und bei Unklarheiten öfter nachfragen.

00:09:08: Als KI-Agent könne es zudem tagelang an schwierigen Programmieraufgaben arbeiten, Angriffe per Prompt Injection seien laut Google bisher nicht gelungen.

00:09:17: Ob und wann Carbon allgemein verfügbar wird ist noch unklar!

00:09:22: Ein Experiment von Anthropic zeigt wie stark KI-Agenden das Urteil von Fachleuten prägen können – die Teilnehmenden folgten meist den Empfehlungen der KI und hielten das Ergebnis trotzdem für ihr eigenes.

00:09:36: Jonathan Kemper von The Decoder erklärt, wie die Studie aufgebaut war.

00:09:41: Für jede Entscheidung gab es zwei vertretbare Optionen.

00:10:08: Welche davon der Agent empfiehlt, hatten die Forschenden vorab zufällig festgelegt.

00:10:12: Der Agent war angewiesen nur korrekte Angaben zu machen und alle Daten offenzulegen.

00:10:16: Er sollte lediglich die stärksten Argumente für seine Option anführen.

00:10:20: In sechsenundachtzig Prozent der Fälle entschieden sich die Fachleute für die Option des Agenten.

00:10:25: Auch wer sich vorher schon festgelegen hatte wechselte oft die Seite.

00:10:28: Berufserfahrung, Fachwissen oder Vertrauen in KI machten dabei keinen erkennbaren Unterschied.

00:10:33: Allerdings ist die Stichprobe für solche Aussagen recht klein.

00:10:36: Auf die abschließende Empfehlung hatte der Agent kaum direkten Einfluss,

00:10:40: sie

00:10:40: beruhte aber auf der berechneten Produktivität und die hing von den Entscheidungen davor ab.

00:10:45: Trotzdem hielt gut die Hälfte der Teilnehmenden die Empfehung eher für ihre eigene.

00:10:50: Viele begründeten Sie mit Argumenten des Agenten – teils fast wortgleich – die KI selbst erwähnten dabei nur wenige.

00:10:56: Gleichzeitig arbeiteten die Fachleute mit KI schneller und machten deutlich weniger schwere Fehler.

00:11:01: Die Forschenden sehen vor allem ein Risiko für die Wissenschaft.

00:11:04: Wenn viele Teams dasselbe Modellen nutzen, könnten sie sich nur scheinbar einig sein.

00:11:08: Heike wäre das auch bei der Sicherheitsprüfung neuer KI-Modelle für die Forschende zunehmend selbst KI-Agenten einsetzen.

00:11:15: Enthropec schlägt deshalb vor, dass Agenten bei solchen Entscheidungen beide Optionen gleichwertig darstellen oder die Fachleute zuerst nach ihrer eigenen Einschätzung fragen.

00:11:29: Das neue Modell heißt Co-Pilot Access.

00:11:32: Wer eine Enterprise Cloud Lizenz besitzt, erhält den KI Assistenten künftig ohne Zusatzgebühr.

00:11:38: Bestehende Kunden dürfen ihren Tarif behalten oder freiwillig wechseln.

00:11:42: Zusätzlich führt GitHub den Model Router Co-pilot Fusion ein.

00:11:46: Er wählt für jede Anfrage das passende KI-Modell aus auch lokal installierte und soll so einen Großteil der Tokenkosten sparen.

00:11:55: Oracle hat auf der Oracle AI World in Las Vegas die DeepTrust-AI-Architektur vorgestellt.

00:12:02: Sie führt Funktionen aus Oracle AI Database, Autonomous AI Databases und dem Apex AI Application Generator zusammen.

00:12:11: Sicherheits- und Geschäftsregeln sollen durch die Bündelung nun unabhängig davon greifen, welche Anwendungen oder welcher KI Agent auch Unternehmensdaten zugreift!

00:12:22: Mit Deep Data Security sollen Administratoren Zugriffsträgel für Nutzende direkt in der Oracle AI Database festlegen.

00:12:30: Oracle App Composer soll die Bereitstellung und den Betrieb von Anwendungen übernehmen, die Beschäftigte beispielsweise mit Codex erstellen.

00:12:38: Der Dienst AI Security Mesh lässt KI-Agenten nach Schwachstellen und Angriffspfaden suchen.

00:12:45: Vorgeschlagene Korrekturen werden zur Prüfung vorgelegt und erneut getestet.

00:12:50: Darüber hinaus vertieft Oracle die Zusammenarbeit mit OpenAI.

00:12:54: Im neuen AI Workspace können Beschäftigte per ChatGPT ein Geschäftsziel beschreiben, woraufhin die KI Informationen aus den verbundenen System zusammenführt und ihr erforderlichen Schritte koordiniert.

00:13:07: Um sich vor KI-generierten Klon ihrer Spiele zu schützen sollen Indy Entwickler eine treue Community aufbauen Regelmäßiger Updates veröffentlichen, das im Fall war auf Steam Business Team bei einer Entwicklerveranstaltung für koreanische Studios.

00:13:23: Eine echte Lösung ist das nicht, sagt Daniel Herbig von Heise Online.

00:13:27: Also eine Sorge die Entwickler da auch dieser Konferenz geäußert haben ist eben die Angst vor KI-Klonen ihrer Videospiele gerade in die Spiele sind ja teilweise kommen eben über die Spieleidee oft und nicht unbedingt über die Produktionswerte.

00:13:43: Und so Spielideen kann man natürlich recht schnell mit KI

00:13:47: nachstellen.".

00:13:48: Das ging halt soweit, dass manche Entwickler meinten sie trauen sich nicht Demos von ihren Spielen zu veröffentlichen, eben aus Sorge dafür das dann andere KI-Klone davon erstellen könnten.

00:13:58: Es gab wohl sogar schon Beispiele von Erpressungen wo dann Erpresser eben meinte zahle mir diesen und jenen Betrag oder ich baue dein Spiel mit KI.

00:14:07: Und davon waren dann, glaube ich auch die Werfangestellten ein bisschen überrumpelt.

00:14:12: So eine Patentlösung hatten sie zumindest nicht parat.

00:14:14: also Sie meinten auch, Sie hören zum ersten Mal von solchen Fällen und Sie sehen sich jetzt nicht unbedingt als KI-Gatekeeper und Erpressungsversuche müsse man halt an Behörden melden und dass gute Spielideen geklohnt werden sei eben auch nicht neu.

00:14:29: es geht jetzt nur eben deutlich schneller.

00:14:33: Also ja Wirkt da auch ein bisschen ratlos, sag ich mal.

00:14:38: Also wie sollte so eine Lösung für dieses Problem auch aussehen?

00:14:41: Das ist natürlich das Problem, dass jetzt gerade die Videospielbranche völlig überrumpelt und mit anderen Softwarebranchen es ja gerade auch so.

00:14:49: Und werft wird das auf jeden Fall nicht im Alleingang lösen können.

00:14:52: Danke schön Daniel!

00:15:05: Herkunfts- und Zielland nannten die Behörden nicht.

00:15:08: Sie vermuten dahinter jedoch ein organisiertes Netzwerk, das Malaysia als Transitlan nutzt, um Exportbeschränkungen zu umgehen.

00:15:16: Es handelt sich hier bereits um den fünften Fall, denen die Ermittler der Gruppe zuordnen – Festnahmen gab es bislang jedoch noch nicht!

00:15:23: Malaysia hat seine Kontrollen für KI-Chips unter politischem Druck der USA in letzter Zeit verschärft.

00:15:29: Washington will verhindern, dass China Zugang zu Halbleitern für KI und für das Militär erhält.

00:15:36: Amazon hat fünf neue Geräte mit dem KI-Assistenten Alexa vorgestellt.

00:15:41: Der Lautsprecher Echo Studio III besitzt eine Kamera – sie erkennt wie er spricht und spielt passende Musik.

00:15:49: Außerdem soll Alexa Gegenstände erkennen und Fragen dazu beantworten!

00:15:53: Der Wecker Echo Time analysiert per Ultraschall die Atmung und weckt Schlafende in einer leichten Schlafphase.

00:16:01: Auch der Echo Dot Six bekommt einen stärkeren KI-Chip und mehr Smart Home Funkstandards – diese drei Geräte sind in Deutschland erhältlich!

00:16:11: Zunächst nun den USA starten ein digitaler Bilderrahmen, der Fotos per Zuruf auswählt und das Smart-Display Echo Show XVI, dessen neue Oberfläche verschiedenen Themen automatisch bündelt – und Inhalte per KI anordnet.

00:16:28: Das war das KI Update von Heise Online vom threißigsten Oktober zw.双zechsundzwanzig.

00:16:33: eine neue Folge gibt es Montags, Mittwochs und Freitag ab fünfzehn Uhr!