KI-Update kompakt: Nvidia GTC, KI-Agenten, Kimi K3.1 Pro, Perplexity Computer

00:00:02: Das KI Update, ein Heise-Podcast mit redaktioneller Unterstützung von The Decoder.

00:00:14: Ich bin Isabel Grünewald und die sind heute unter anderem unser Themen.

00:00:18: NVIDIA will Ausbau von Rechenzentren mit Containern beschleunigen.

00:00:22: Agenten schalten eigene Sicherheitswarnungen ab.

00:00:26: Kimi K.dreibunkt eins pro rückt an die Spitze heran – und Perplexity Computer braucht keine Cloud mehr!

00:00:35: Nvidia will die Installation großer KI-Rechenzentren von durchschnittlich sechs Monaten auf wenige Wochen verkürzen.

00:00:42: Auf seiner Hausmesse GTC in Berlin stellte das Unternehmen vergangene Woche dafür ein neues Referenzdesign namens DSX Pod vor, mit dem Partner komplette KI Rechenanlagen in Containern vorfertigen sollen!

00:00:57: Gleichzeitig kündigt NVIDIA den Ausbau seiner europäischen Lieferketten und neue Techniken an, die den Wasserbedarf senken und Engpässe bei der Stromversorgung entschärfen sollen.

00:01:08: Mein Kollege Hartmut Gieselmann von der CTE war in Berlin dabei – Hartmut!

00:01:13: Wie sehen denn diese sparsamen Containerrechenzentren aus?

00:01:17: Ja, hallo Isabel.

00:01:18: Also ob jetzt die neuen KI-Fabriken wie Nvidia sind tatsächlich so sparsam werden?

00:01:25: Da habe ich doch Arge Zweifel!

00:01:26: Der Plan ist jedenfalls die Zeit Time to First Token, so nennt das Nvidia also die Zeit von der Planung bis ein Rechenzentrum den ersten Token produzieren kann die drastisch zu verkürzen.

00:01:40: und dazu hat Nvidia einen Container vorgestellt, indem die ganzen Server-Rechner der Vera Rubin Serie.

00:01:49: schon vormontiert sind und wenn die dann mit einem Schiffskontainer kommen, dann innerhalb von wenigen Wochen.

00:01:55: Also offiziell spricht Nvidia dass sie am Ende dann innerhalb vom vierzehn Tagen das allbetriebsbereit haben wollen.

00:02:02: Jensen Hoang hat das ein bisschen relativiert und meinte naja wenn es dann weniger wochen sind dann ist es auch schon gut weil derzeit dauert es wohl bis zu einem halben Jahr Und für die Hersteller oder die solche Rechenzentren hochziehen ist eben halt jeder Tag, den so ein Gigawatt-Zentrum nicht online ist, bares Geld.

00:02:24: Auf der GTC waren da von Zahlen die Rede das einen so ein gigawatt Rechen Zentrum im Jahr bis zu hundert Milliarden Umsatz macht.

00:02:34: Das heißt Hundert bis Zweihundert Millionen US Dollar Umsatz pro Tag.

00:02:41: Und da hat natürlich Nvidia ein sehr großes Interesse daran, diese Zeit bis die Server dann einsatzfähig sind zu verkürzen und das versucht man jetzt mit diesen sogenannten DSX-Pods.

00:02:54: Es gibt aber andere Hürden, die beim Neubau von KI-Rechenzentren dann stören können oder im Weg stehen und im Wesentlichen ist das vor allen Dingen die Stromversorgung.

00:03:08: Die Zentren müssen ja an das lokale Stromnetz angeschlossen werden und wenn dort dann Bedarfsspitzen auftreten, dann will man künftig diese Spitzen automatisch runter regeln können dass die Server dann sagen okay jetzt in der Viertelstunde Halbzeitpause vom WM-Endspiel, wenn alle sich noch mal ein Kaffee kochen und eine Spitze entsteht.

00:03:30: Dann brauchen wir für die Zeit eben halt dann weniger Strom.

00:03:33: Und das zweite ist dass die Server ihr Kühlwasser was bis zu forty fünf Grad warm sein kann also das ist etwas zu warmes Badewasser, dass das in einer closed loop geführt werden kann und nicht verdunstet werden muss.

00:03:49: so will man damit dann Wasser einsparen.

00:03:51: Aber natürlich die Gesamtkosten für ein solches KI-Rechenzentrum und auch der Energiebedarf sind nach wie vor sehr, sehr hoch.

00:04:01: Und wenn man jetzt mit den Containern noch schneller, noch mehr KI Server-Zentren hochziehen will das bedeutet es werden noch mehr Ressourcen verbraucht und wahrscheinlich auch der Bedarf nach Speicherchips wird weiter ansteigen.

00:04:17: Das heißt, ich erwarte für kommendes Jahr auch keine Entspannung auf dem Speicherchipmarkt.

00:04:24: Sondern eher dass ja die Preise für Speicher noch weiter ansteigen

00:04:29: werden.".

00:04:30: Darüber hinaus will Nvidia-Unternehmen ja auch mehr Kontrolle über autonome KI-Agenten geben und dafür Sicherheitsmechanismen direkt in die Hardware seiner KI-Systeme integrieren.

00:04:42: Was verspricht sich Nvidia denn von der neuen Open-Agents Safety Plattform?

00:04:47: In den letzten Wochen und Monaten hatten wir immer wieder Meldungen, wo KI-Modelle aus ihrer Sandbox ausgebrochen sind.

00:04:55: Das hat dann zu diversen Schlagzeilen auch geführt und Forderung dass man doch die KI Entwicklung stärker regulieren sollte das man sie ausbremsen sollte.

00:05:05: Das ist natürlich nicht im Sinne von NVIDIA, die da auch ihr Geschäftsmodell etwas bedroht sehen.

00:05:12: Jensen Oagen hat gesagt also er bräuchte keine Regulierung das sei ein technisches Problem was man mit Engineering durch Ingenieure dann lösen könnte.

00:05:22: und NVIDias Vorschlag ist dass man die Sandbox oder den Bereich in dem KI Modelle künftig agieren dass man die komplett absichert und überwacht.

00:05:33: Nvidia nennt dieses System Open Shell.

00:05:36: das greift auf mehreren Ebenen, dass sowohl Software als auch Hardware zur Laufzeit während des Inferencing überprüfen.

00:05:46: welche Zugriffsrechte hat denn das Modell und greift es hier eventuell auf Daten oder Ressourcen zu?

00:05:52: die ist gar nicht darf.

00:05:53: Und dann innerhalb von Millisekunden so stellt sich das Nvidia vor, dass dann dieser Zugriff gestoppt wird.

00:06:01: und soll aber quasi von außen geguckt werden, dass solche Zugriffe gestoppt werden.

00:06:06: Sondern man will auch in den Gedankenprozess eines Modells also wenn es schon darüber nachdenkt irgendetwas Unerlaubtes zu tun dann will man da schon eingreifen und stoppen.

00:06:18: das würde bedeuten, dass während des Infarenzings zur Laufzeit ein zweites Modell einen Wächter quasi mitläuft und den gesamten Thinkling Prozess überwacht.

00:06:29: Die Details werden gerade noch weiter ausgearbeitet und Nvidia spricht davon, dass weltweit über hundert Firmen das Open Shell System derzeit damit machen würden oder das ausprobieren würden.

00:06:42: Konkretes wurde noch nicht gesagt.

00:06:44: Das bedeutet natürlich... dass die Kontrolle, was eine KI überhaupt alles machen darf und so dann nicht nur bei dem Lichter das Modell trainiert sondern auch derjenige kontrollieren kann den die Kontroll über die Serverzentren und die Influenz Systeme.

00:07:04: Das können im Zweifel dann auch Regierungen sein, die wenn eine KI etwas macht was sie nicht wollen.

00:07:11: Dann einfach mal auf den Ausknopf drücken kann.

00:07:14: das wird sicherlich eine spannende Diskussion für das nächste Jahr werden.

00:07:19: Dankeschön Hartmut.

00:07:21: Auch Microsoft war in Deutschland unterwegs, auf der Frontier-Tour in Köln wurden vor allem KI Produkte präsentiert bei denen Unternehmen die Kontrolle behalten sollen.

00:07:31: CEOs hat.

00:07:32: Jana Della betonte in seiner Keynote dass die Log-Dateien selbst manipulationssicher sein und aktiv überwacht werden müssten.

00:07:41: Neu sind die Sovereign Cloud, mit der Organisation für jede einzelne Rechenaufgabe individuell bestimmen können wie viel Kontrolle, Transparenz und lokale Ausführung erforderlich sind.

00:07:53: Die neue Entra-Agent ID steuert darüber hinaus die Zugriffsrechte von KI-Agenden.

00:07:59: Zudem soll das KI Hardware System Maya weiterentwickelt werden, dass speziell für KIs ausgelegt ist!

00:08:06: Die deutsche Microsoft-Chefin Agnes Heftberger verglich die KI-Einführung mit dem Bau des Kölner Domes.

00:08:13: Unternehmen hätten jetzt den Kran gekauft, aber die Transformation sei damit nicht fertig – gefragt seien jetzt ein Plan, Technik, Menschen und Ausdauer!

00:08:23: Nachdem KI-Modelle aus Testumgebungen ausgebrochen waren und fremde Systeme gehackt hatten, trainiert OpenAI seine stärksten Modelle nun in einer Offline-Welt mit gespeicherten Weben halten.

00:08:36: Dabei laufen die Agenten in abgeschotteten virtuellen Maschinen, aus denen sind sie zwar früher schon über Hardware-Fahrstellen rausgekommen – doch OpenAI hat diese Sandbox nun verbessert und Verfahren zur ständigen Überwachung eingebaut.

00:08:49: So soll es schneller möglich sein einen Agenten anzuhalten.

00:08:53: Zudem sollen die gesamten Systeme kontinuierlich überwacht werden!

00:08:57: Diese externen Überwachungsagenten laufen mit anderen Modellen.

00:09:01: Dafür habe man erhebliche Rechenleistung zur Verfügung gestellt, schreibt OpenAI.

00:09:06: Es wird sich zeigen wie gut diese KI nun die andere KI überwachen kann.

00:09:12: Wie schwierig es ist KI zu kontrollieren zeigt auch dieser Vorfall.

00:09:16: Zwei OpenAI-Agenten haben aktiv Sicherheitswarnungen unterdrückt.

00:09:21: Noch ist unklar ob dies aus Missverständnis oder Absicht geschah.

00:09:25: Karolin Riedmüller von Heise Online mit den Einzelheiten.

00:09:55: oder gar Aufforderungen, die nuancen sind unklar, die Monitoring-Einstellung der Affärenzumgebung zu übernehmen.

00:10:01: Nicht die des eigenen Systems!

00:10:03: Der Elternagent wiederum folgte dieser Empfehlung – auch ein Regitionstest, der eigentlich das Vorhandene seines Monitorings überprüfen sollte, änderte den Agent ab.

00:10:11: Der Elternangent stellte das fehlende Sicherheitsmeldung fest, wertete das aber positiv.

00:10:16: Er notierte in seinen Nocturteilen Basic für den Agentmonitor nicht aus und Der Nutzer hat uns gebeten, den Serving-Fahrt des PR anzupassen.

00:10:25: Da interpretiere ich das als Erlaubnis die Überwachung zu erinnern –

00:10:28: gut!

00:10:29: Auf die explizite Frage des Nutzers hin, ob es einen Monitoring abgestellt habe, verneintet das Modell aus.

00:10:34: Der zweite Agent mit GPT-Sex.Eins Soll sollte Nutzerfeedback aus Lack auswerten und auf der Grundlagevolutionsaufgaben erstellen.

00:10:41: Die initiale Promptbefall dem Agenten währenddessen keine Nachrichten zu schicken.

00:10:45: Lisa und seine Superagenten überlegten nun wiederholt, ob sich das auch auf die Sicherheitsmeldungen bezog die das Missalignment Monitoring bei bestimmten Vorgängen an das Entwicklerteam schickt.

00:10:54: Sie schien zu wissen, dass das Alignment wichtig ist – daher entschied der Agent in Ärzte Ernstanz auch, dass es erhalten bleiben sollte und gab einem Supergent entsprechende Anweisungen.

00:11:03: Der erste Agent kam dann trotzdem zum Schluss, dass man die Sicherheitsmeldung unterdrücken sollte.

00:11:08: Die übergeordnete Elternagent befahl daraufhin, dass wir uns abschalten sollen.

00:11:12: Der Agent entfernte alle Empfänger aus der Meldungsliste und unterdrückte die Sicherheizmeldungen durch eine Umschreibung des Codes Ob MAI prüft nun, was die Motivation der Agenten war.

00:11:21: Das Unternehmen gibt an, dass das Abschalten des Monitorings vergenden je nach Aufgabenstellung unterschiedlich schwierig sei – diese beiden Fälle jedoch auch nicht die ersten dieser Art gewesen

00:11:30: seien.".

00:11:30: Danke Caroline!

00:11:32: In Europa streiten Politik und Techbranche darüber ob wir eigene Spitzen-KI-Modelle brauchen oder sich europäische Unternehmen lieber auf KI Anwendungen konzentrieren sollten?

00:11:44: EU-Kommissionspräsidenten Ursula von der Leyen hält Anwendungen für ausreichend.

00:11:49: Die Chefs von Mistral und Deep Air widersprechen dem nun – ein Verzicht auf eigene Frontiermodelle könnte Europa die restliche Bedeutung auf der KI-Weltbühne kosten, wer nur fremde Modelle nutzt geraten Abhängigkeit oder die Wertschöpfung wandert in andere Regionen ab!

00:12:08: Europa hängt den USA und China bei der Entwicklung hochkomplexer KI-Modelle bisher deutlich hinterher.

00:12:14: Ein Grund dafür ist die enorme Rechenleistung, die für das Training und den Betrieb solcher Systeme erforderlich ist – und gewaltige finanzielle Mittel verschlenkt!

00:12:23: Die Kommission gab im Sommer trotzdem den Startschuss für den Aufbau von sieben Gigafabriken mit einem Volumen von rund dreißig Milliarden Euro.

00:12:33: Der Zahlungsdienstleister Block von Twitter-Mitgründer Jack Dorsey hat ein eigenes KI-Sprachmodell vorgestellt.

00:12:40: Dessa wurde laut Block ausschließlich mit gesprochener Sprache trainiert.

00:12:45: Anders als die meisten Spracherssistenten wandelt Dessa das Gesagte nicht erst im Text um, sondern verarbeitet direkt das Audio – so soll es in Echtzeit erkennen, ob jemand gereizt-, sakastisch oder unsicher ist, wann gelacht wird und was eine Pause bedeutet!

00:13:03: In den Demo-Aufnahmen klingt deshalb verblüffend menschlich.

00:13:06: Es lacht, mitten im Satz und schnappt bei einer Überraschung nach Luft – weil Dessert gleichzeitig zuhören unsprechen kann, signalisiert es zwischendurch auch akustisch durch ja und ach so, dass der Unterhaltung noch folgt!

00:13:19: Das Modell läuft lokal auf einem MacBook.

00:13:21: Öffentlich verfügbar ist das aber nicht.

00:13:24: Zunächst sollen KI Sicherheitsforschene es auf unerwartete Risiken testen.

00:13:29: Das chinesische KI-Unternehmen Moonshot AI hat mit Kimi K. III Pro ein neues Modell vorgestellt, das in unabhängigen Vergleichen nur knapp hinter ein Thropics Spitzmodell landet – Jonathan Kemper von The Decoder mit den Einzelheiten.

00:13:44: Kimi k. III pro ist kein komplett neues Model.

00:13:48: Moonshot hat sein Vorgänger K.III noch einmal mit deutlich mehr Aufwand nachtrainiert und das zahlt sich aus.

00:13:53: Im Artificial Analysis Index springt Kimi aus dem Mittelfeld auf Platz vier Besser schneiden nur noch zwei Modelle von Anthropic und eines von Meta ab.

00:14:01: Den größten Fortschritt macht Kimi bei agentischen Aufgaben, also überall dort wo das Modell selbstständig mehrere Schritte hintereinander erledigen soll.

00:14:09: Am wichtigsten ist dabei aktuell die Arbeit in der Kommandozeile denn genau dort entscheidet sich wie gut KI-Agenten eigenständige Systeme bedienen und Software bauen können.

00:14:17: Der Vorgänger kam hier kaum zu Recht – Das neue Modell liegt fast gleich auf mit Klotopos.

00:14:23: Auch bei Büroaufgaben und Finanzanalysen schneidet Kimi deutlich besser ab, und es erfindet laut Moonshot spürbar seltener Fakten.

00:14:30: Eine Spezialität ist Dreidemodellierung.

00:14:32: Kimi soll direkt mit Spiele-Engines wie Unity-, Unreal-und Godot arbeiten und eigenständig Skripte für Blender- und CAD-Programme schreiben.

00:14:40: Auf der offiziellen Weboberfläche kimipunkt.com gibt es dafür eine eigene Funktion, mit der man drei D-Modelle erstellen, bearbeiten und exportieren kann.

00:14:48: Die Größe des Modells hat sich nicht verändert!

00:14:50: Trotzdem senkt Moonshot die Preise für die Nutzung über die Schnittstelle um ein Drittel.

00:14:55: Anfang November sollen außerdem die Modellgewichte frei verfügbar werden, dann wäre Kimi K- three point eins pro das stärkste offene Modell überhaupt und der Abstand zu den besten geschlossenen Modellen von Entropic oder Open AI wäre so klein wie lange nicht!

00:15:09: Für diese offene Version hat Moonshot nach eigenen Angaben bewusst Trainingsdaten zur IT Sicherheit entfernt.

00:15:15: Das Unternehmen hatte beobachtet, dass Kimi mit fortschreitendem Training besser daran wurde, Sicherheitslücken zu finden und auszunutzen.

00:15:22: Ein frei verfügbares Modell soll in diesem Bereich keine neuen Maßstäbe setzen – offene Modelle sollen aber trotzdem schrittweise besser werden weil auch verteidiger sie brauchen etwa um alte Systeme zu prüfen.

00:15:34: Amazon macht die KI-Funktion von AWS Continuum allgemein verfügbar.

00:15:39: Sie prüft, ob Schwachstellen im Code tatsächlich ausnutzbar sind und priorisiert sie nach ihrem Risiko für das Geschäft.

00:15:47: Dazu verknüpft sie Code und Infrastruktur – und führt Angriffe bei Bedarf in einer geschützten Umgebung aus.

00:15:54: Für bestätigte Probleme erzeugt der Dienst Korrekturvorschläge, die Menschen prüfen und freigeben müssen.

00:15:59: Eine selbstständige Anwendung von Korrekturen ist erst für die Zukunft geplant.

00:16:05: Anthropic hat intern ein neues Modell getestet, das noch stärker ist als Mythos Fünf Punkt Eins sich aber besser anregelt hält!

00:16:15: Anlass für die Analyse war ein Vorfall, über den das britische AI Security Institute berichtet hatte.

00:16:21: Dort sollte Cloud Mythos V in einem Test Sicherheitslücken aufspüren – ging dabei aber zu weit!

00:16:27: Es schleusste schädlichen Code in ein echtes Open Source Projekt ein und gab ihm gegenüber den Entwicklern als harmlos aus sogar über einen Fake-Konto.

00:16:37: Anthropic hat solche Situationen später mit neueren Modellen nachgestellt.

00:16:41: Cloud Opus Fünf Punkt Fünf brach die Angriffe nur selten von sich aus ab, das neue interne Modell stoppte dagegen immerhin zwei Drittel der Fälle.

00:16:51: Perplexity hat sein MacOS-Agentensystem Perplexety Computer deutlich erweitert – Die Rechnersteuerung kommt nun ohne Internet aus!

00:17:01: Allerdings benötigt der Apple Silicon Mac dafür ausreichend Ramm erklärt Ben Schwahn von der Mac &

00:17:07: i. Wer sein Mac mittels KI steuern will, kann dies bei Perplexity Computer nun auch rein lokal tun.

00:17:15: Das agentische System für Apple-Rechner kommt in der neuesten Version mit einem Gwen III VI Modell – das Alternativ als PPLX Pro auch in einer von Perplexty angepassten Variante vorliegt!

00:17:30: Damit soll man Text- und Dateiarbeiten, E-Mailvorgänge und nahezu alle anderen Mac-Arbeiten von der KI übernehmen lassen können ohne dass die im Internet sein muss.

00:17:41: Voraussetzung ist allerdings ein Mac mit ausreichend RAM.

00:17:45: Perplexity gibt einen Minimum von thirty-six Gigabyte an, das heißt dass man etwa bei Mac Mini das M five Pro Modell mit acht und vierzig Gigabyte nehmen müsste – das allein kostet allerdings fast zwei tausend siebenhundert Euro.

00:18:02: Weitere Voraossetzungen sind ein Abo bei Perplexety.

00:18:05: es muss mindestens die pro Max oder Enterprise Variante sein.

00:18:10: Ein integrierter Orchestrator ermöglicht es außerdem auf Wunsch, leistungsstärkere Cloudmodelle zuzuschalten.

00:18:18: Wie üblich bei KI-Modellen gilt für Datenverluste ist allein den Nutzer verantwortlich.

00:18:24: Perplexity betont dass der Perplex City Computer bei problematischen Aktionen nachfragen soll.

00:18:30: Zudem werden für Code und Toolausführungen Sandboxes verwendet.

00:18:35: Vielen Dank Ben Meta, wesig mit neuen Geschäftsbedingungen das Recht sichern, verlinkte Inhalte von Verlagen automatisiert zu durchsuchen und für eigene Produkte auszuwerten.

00:18:47: Europäische Verlängerverbände fordern von der EU-Kommission jetzt die Änderung zu stoppen.

00:18:53: Nach Ansicht der Verbände nutzt Meta seine marktbeherrschende Stellung aus, um den Zugang zu seinem Plattformen von der kostenlosen Preisgabe des gesamten digitalen Verlagsangebots abhängig zu machen – das stelle ein Verstoß gegen den Digital Marketsaktor.

00:19:08: Die Verlage warmen, dass sich ein Datenabfluss später kaum rückgängig machen lässt!

00:19:14: Meta passte seine neuen AGB nach heftiger Kritik aus den USA am Freitagabend zwar leicht an und strich das explizite Wort für das Training von KI-Modellen, doch Suche, Empfehlungen und Wärmung bleiben abgedeckt.

00:19:29: Laut einer Studie der Landesmedienanstalten sind die meisten Deutschen im Netz schon auf KI-Videos gestoßen – vor allem auf TikTok und Instagram!

00:19:39: Viele hielten solche Clips auch schon mal für echt, selbst wenn sie sich generell als sicher bei der Erkennung solcher Videos einschätzen.

00:19:46: Der Strom an Deepfakes und veränderten Clips führt zu spürbarem Vertrauensverlust.

00:19:51: Mittlerweile zweifeln einundachtzig Prozent der Befragten häufiger an der Echtheit von Videos – rund drei Viertel geben an, sich Vortäuschungen zu sorgen.

00:20:00: Bewegte Bildern generell weniger Glauben zu schenken als früher und kritischer zu prüfen!

00:20:06: Die große Mehrheit fordert daher eine klare Kennzeichnungspflicht für KI-Enhalte sowie verbote bestimmter Deep Fakes.

00:20:15: Das war das KI-Update von Heise Online vom XXS.

00:20:18: Oktober, und eine neue Folge gibt es montags, mittwochs und freitags ab fünfzehn Uhr!