Suche
KI-Inferenz: 10% schneller dank cleverem GPU-Cache in SGLang
Multimodale KI-Modelle sind vielversprechend, aber ihre Inferenz-Engines noch nicht optimiert. Modal.com demonstriert, wie SGLang’s Performance um über 10% gesteigert wurde, indem aufwendige Buchhaltung für geteilten GPU-Speicher durch einen einfachen Cache-Lookup im Scheduler ersetzt wurde. Dieser sogenannte 'Handle Cache' führte zu signifikanten Verbesserungen bei Durchsatz und Latenz auf multimodalen Workloads.
LLM-KVCache: Cross-Datacenter-Serving wird greifbar, aber komplex
Prefill-decode (PD) Disaggregation ist zwar Standard für LLM-Serving, doch die flexible Verteilung über Datacenter hinweg scheitert bislang am massiven KVCache-Transfer. Obwohl neue Hybrid-Attention-Architekturen den KVCache signifikant verkleinern und Cross-Datacenter-Transport nun denkbar machen, stoßen solche Ansätze auf Herausforderungen wie schwankende Bandbreiten und ungleich verteilte Präfix-Caches. Eine simple Externalisierung des Prefill-Schritts über Datacenter-Grenzen würde ohne weitere Optimierung zu Engpässen und Ineffizienz führen.
Hae-OLS: LLM-Gedächtnis-Booster für schlanken Cache, mehr Kontext
LLMs kämpfen mit langen Kontexten, weil ihr KV-Cache massiv RAM frisst. 'Hae-OLS' bietet eine Lösung: Es fasst den Cache mit hoher Präzision zusammen, indem es wichtige Tokens via Entropie erkennt und den Rest effizient mittels Low-Rank-Rekonstruktion verarbeitet. Das Ergebnis? Längere Kontexte mit weniger Speicherbedarf, ohne Leistungseinbußen – ein smarter Move für jeden LLM-Einsatz.
AI-Gedächtnis: Vom freien Abruf zur Schema-basierten Präzision
Die gängige AI-Speicherung via Abruf dient gut der thematischen Erinnerung, ist aber für präzise Fakten, Zustandsführung und Updates unzureichend. Dieses Papier argumentiert, dass zuverlässiges AI-Gedächtnis schema-basiert sein muss. Es wird ein iterativer, schema-bewusster Schreibpfad vorgestellt, der eine "System-of-Record"-Funktionalität statt bloßer Suche ermöglicht.
Vercel-Ausfall: KI und ein Roblox-Cheat bringen Riesenplattform ins Wanken
Man stelle sich vor: Vercel, eine der modernsten Entwicklerplattformen, ging in die Knie – und das nicht durch einen klassischen DDoS, sondern wegen einer absurden Kombination. Ein Roblox-Cheat nutzte KI, um massenhaft einzigartige Seiten zu generieren. Diese Flut umging Vercels Caches komplett und legte die gesamte Plattform lahm.
Stash: Open-Source-Gedächtnis für jede KI – nie mehr Amnesie!
Viele KI-Agenten leiden unter digitaler Amnesie, was zu frustrierender Wiederholung und Kontextverlust führt, da sie sich an frühere Interaktionen nicht erinnern. 'Stash' bietet hierfür eine quelloffene, persistente Gedächtnisschicht, die es jedem AI-Agenten – von Claude über GPT bis zu lokalen Modellen – ermöglicht, sich sitzungsübergreifend an Kontext, Präferenzen und Fehler zu erinnern. Schluss mit dem ewigen Neuerklären: Stash macht KI-Interaktionen endlich kontinuierlich und intelligent.
DS4 & DeepSeek v4 Flash: Tweet-Quelle nicht verfügbar
Ein vielversprechender Titel über 'DS4, eine spezialisierte Inferenz-Engine für DeepSeek v4 Flash' führte ins Leere. Die verknüpfte Twitter-Quelle war aufgrund eines JavaScript-Fehlers nicht ladbar, wodurch der Inhalt und die genannten Details nicht verifiziert werden konnten. Eine fundierte Bewertung des vermeintlichen Durchbruchs bleibt daher leider aus.
Cloudflare Artifacts: Git für Agenten – Code-Flut im Griff!
Cloudflare reagiert mit "Artifacts" auf die Herausforderung, dass KI-Agenten die Menge an generiertem Code massiv erhöhen und bestehende Source Control-Systeme überfordern. Artifacts ist ein verteiltes, versioniertes Dateisystem, das primär für Agenten konzipiert wurde und nativ Git spricht. Es erlaubt die programmatische Erstellung zehntausender Repositories und Forks, auch über eine REST- oder Workers-API, und ist für bezahlte Workers-Pläne in privater Beta.
Datalog im GPU-Turbomodus: So wird Logik endlich rasend schnell
Datalog, die oft unterschätzte Sprache für komplexe rekursive Queries, bekommt endlich ihren wohlverdienten Performance-Boost. Eine neue Studie zeigt, wie man Datalog-Programme auf GPUs optimieren kann, um selbst anspruchsvolle Logik-Abfragen massiv zu beschleunigen. Das ist ein Game-Changer für Bereiche wie statische Code-Analyse oder Datenbanken, wo Geschwindigkeit entscheidend ist.
LLM-Wartezeiten nerven? Mach das Warten zum Spiel für deine User!
Warten auf LLM-Antworten kann frustrierend sein. Dieses Open-Source-Projekt auf GitHub schlägt vor, Nutzern währenddessen ein Spiel anzubieten. Eine clevere Idee, um Wartezeiten in unterhaltsame Momente zu verwandeln und die User Experience zu optimieren.
Claude: Ständiger Malware-Reminder blockiert Subagenten wieder
Im Claude-Code-Repository von Anthropic wurde eine Regression festgestellt: Eine Malware-Erinnerung, die bei jedem Lesevorgang auftritt, führt erneut dazu, dass nachgeschaltete 'Subagenten' die Weiterverarbeitung verweigern. Ein zuvor implementierter Fix, der in Version v2.1.92 enthalten war, scheint in der aktuellen Version v2.1.111 nicht mehr zu greifen.
OpenAI entschlüsselt: So wird Sprach-KI jetzt blitzschnell & skaliert
Endlich Schluss mit den peinlichen Pausen in KI-Gesprächen: OpenAI hat verraten, wie sie ihre Sprach-KI für ChatGPT in Echtzeit performen lassen. Durch raffinierte Parallelisierung, Streaming und vor allem "speculative decoding" werden die Modelle nahtlos verzahnt, um die Latenz auf ein Minimum zu drücken. Das ist ein Geniestreich, der Sprach-Interaktionen mit KI nicht nur schneller, sondern endlich auch natürlich und flüssig macht.
Google pusht Gemma 4: Schnelle Inferenz dank Multi-Token-Drafter
Google arbeitet aktiv daran, die Inferenzgeschwindigkeit von Gemma 4 zu erhöhen. Dabei kommt die Technologie der Multi-Token-Prediction zum Einsatz, unterstützt durch sogenannte 'Drafters'. Dies zielt auf eine Leistungssteigerung des KI-Modells ab.
Kodak-Bilder neu vermessen: PCA enthüllt die DNA visueller Daten
Wer dachte, die alten Kodak PCD0992 Bilder hätten ihre Geheimnisse preisgegeben, irrt sich. Dieses Projekt zerlegt jedes einzelne Bild mit Principal Component Analysis (PCA) und liefert eine statistische Charakterisierung, die aufzeigt, wie visuelle Daten wirklich aufgebaut sind. Es ist ein tiefer Tauchgang in die DNA von Bildern, unerlässlich für jeden, der mit Bild-KI arbeitet und verstehen will, was unter der Haube passiert.
M4 & lokale KI: Der Kampf um unabhängige Inference – ein Erfahrungsbericht
Lokale KI-Modelle auf einem M4-Chip mit 24GB Speicher zum Laufen zu bringen, ist kein Kinderspiel, aber machbar. Der Autor hat nach intensiven Tests eine stabile Konfiguration gefunden: Qwen 3.5-9B (4b quant) läuft über LM Studio mit respektablen 40 Tokens/Sekunde und 128K Kontextfenster. Damit ist eine spannende Unabhängigkeit von großen Cloud-Anbietern für grundlegende Aufgaben möglich, wenn auch nicht auf SOTA-Niveau.
Qwen/Qwen3.6-27B: Mysteriöser Code-Eintrag auf Hugging Face
Ein neuer Eintrag für `Qwen/Qwen3.6-27B` ist auf Hugging Face verfügbar. Die Quelle liefert ausschließlich Template-Code zur Verarbeitung multimodaler Inputs und Tool-Calls. Dies deutet auf eine komplexe Systemarchitektur hin, lässt aber detaillierte Informationen zum eigentlichen AI-Modell komplett vermissen.
Hyperscaler: Ausgaben übertreffen berühmte US-Megaprojekte – Quelle unzugänglich
Ein Tweet behauptet, Hyperscaler hätten bereits mehr Geld in ihre Infrastruktur gepumpt als die meisten berühmten US-Megaprojekte. Bedauerlicherweise war der Inhalt der Originalquelle aufgrund technischer Probleme (JavaScript) nicht abrufbar. Somit bleiben die Details dieser gewagten These – etwa konkrete Zahlen oder genaue Vergleiche – unbestätigt und spekulativ.
Qwen3.6-Max-Preview: Smarter, schärfer, noch in Entwicklung
Qwen stellt mit der Qwen3.6-Max-Preview eine neue Version vor, die laut Titel „smarter, schärfer und noch in Entwicklung“ ist. Diese Vorschau deutet auf potenzielle Verbesserungen hin. Der Zusatz „still evolving“ mahnt jedoch zur Geduld, bis das volle Ausmaß der Neuerungen von Qwen sichtbar wird.
Unzensiert ist Illusion: KI-Modelle zögern bei "heiklen" Wörtern
Der Begriff 'unzensierte' KI ist ein Mythos. Eine Studie deckt den 'Flinch'-Effekt auf: Sicherheitsgefilterte Modelle wie Qwen3.5-9b-base zeigen eine drastisch geringere Wahrscheinlichkeit für kritische Wörter ('deportation') als ungefilterte Modelle wie Pythia-12b – ein Unterschied von bis zu 16.000x. Selbst das als 'unzensiert' beworbene Modell 'heretic' (ein Qwen3.5-9B-Derivat) weigert sich, bestimmte Begriffe auszuspucken, was die Frage aufwirft, ob diese Modelle nicht doch heimlich zensiert sind.
Lokal-LLMs im Flieger: MacBook M5 Max stemmt 10 Stunden offline
Ein Autor hat auf einem 10-Stunden-Flug getestet, wie leistungsfähig lokale LLMs wie Gemma 4 31B und Qwen 4.6 36B auf einem MacBook Pro M5 Max mit 128GB sind. Über LM Studio generierte er ein komplexes Billing-Tool und verarbeitete Millionen von Tokens, wobei die Qualität für spezifische Aufgaben mit Frontier-Modellen mithalten konnte. Grenzen zeigten sich bei Akkulaufzeit (1% pro Minute), Hitze und Context-Länge (Abbau nach 100k Tokens), was aber die beeindruckende Offline-Performance nicht schmälert.