Suche
KI-Inferenz: 10% schneller dank cleverem GPU-Cache in SGLang
Multimodale KI-Modelle sind vielversprechend, aber ihre Inferenz-Engines noch nicht optimiert. Modal.com demonstriert, wie SGLang’s Performance um über 10% gesteigert wurde, indem aufwendige Buchhaltung für geteilten GPU-Speicher durch einen einfachen Cache-Lookup im Scheduler ersetzt wurde. Dieser sogenannte 'Handle Cache' führte zu signifikanten Verbesserungen bei Durchsatz und Latenz auf multimodalen Workloads.
DeepSeek-V4 Day-0: SGLang & Miles für schnelle Inferenz & Verified RL
Das SGLang- und Miles-Team liefert Day-0-Unterstützung für DeepSeek-V4, inklusive Inferenz und RL-Training. Ihr Open-Source-Stack ist der erste, der DeepSeek-V4s hybride Sparse-Attention-Architektur am Launch-Tag bedient und trainiert, mit Performance-Optimierungen wie ShadowRadix und HiSparse. Der Stack unterstützt zudem Verified RL, wobei Miles als Backend-Support für das Reinforcement Learning dient.
KI-Modelle: Parameter und Compute entkoppeln für mehr Performance
Häufig werden Parameterzahl und Rechenaufwand bei KI-Modellen gleichgesetzt. Doch eine Studie von 2021 zeigt, dass beides entkoppelt betrachtet werden sollte. Mittels Hash Layers lassen sich Modelle vergrößern, ohne mehr Rechenleistung zu benötigen, während Staircase Attention mehr Compute ohne neue Parameter ermöglicht. Dies eröffnet neue Wege, um leistungsfähigere Modelle ressourceneffizient zu bauen.
Wasm & Apple Silicon: KI-Turboboost dank Zero-Copy-GPU-Power
Ein cleverer Trick macht KI-Inferenzen auf Apple Silicon blitzschnell: Statt Daten zwischen CPU und GPU zu kopieren, nutzen Entwickler jetzt Apples Unified Memory Architektur direkt aus WebAssembly. Das bedeutet Zero-Copy-Power, die Performance-Engpässe bei ML-Modellen radikal eliminiert und eine neue Ära für effiziente KI-Anwendungen einläutet.
Swift: Von GFLOP/s zu TFLOP/s für LLM-Training auf Apple Silicon
Ein Entwickler zeigt, wie er die handgeschriebene Matrix-Multiplikation für LLM-Training in Swift auf Apple Silicon von GFLOP/s zu TFLOP/s katapultiert. Dies geschieht explizit ohne Frameworks oder Bibliotheken, um die CPU, SIMD, AMX und GPU direkt zu nutzen. Das Ziel: Swift schneller als die C-Referenzimplementierung llm.c zu optimieren.
M4 & lokale KI: Der Kampf um unabhängige Inference – ein Erfahrungsbericht
Lokale KI-Modelle auf einem M4-Chip mit 24GB Speicher zum Laufen zu bringen, ist kein Kinderspiel, aber machbar. Der Autor hat nach intensiven Tests eine stabile Konfiguration gefunden: Qwen 3.5-9B (4b quant) läuft über LM Studio mit respektablen 40 Tokens/Sekunde und 128K Kontextfenster. Damit ist eine spannende Unabhängigkeit von großen Cloud-Anbietern für grundlegende Aufgaben möglich, wenn auch nicht auf SOTA-Niveau.
KI klärt Himmelsrätsel: ML verifiziert alte Phänomene in Archivbildern
Historische Himmelsbilder zeigen flüchtige, sternähnliche Objekte, deren Natur lange umstritten war – echte Phänomene oder bloße Defekte? Jetzt setzen Forschende Machine Learning ein, um die Identifikation dieser Transienten zu präzisieren und ihre Existenz als echte astronomische Ereignisse zu validieren. Das von Experten trainierte ML-Modell liefert somit belastbare Beweise und stärkt die ursprünglichen Beobachtungen.
Apple's ml-sharp im Browser: Gaussian Splats via ONNX Runtime Web
Ein neues GitHub-Projekt präsentiert ein Web-Playground, das Apples ml-sharp Modell im Browser zum Laufen bringt. Ziel ist die Erstellung von Gaussian Splats direkt im Browser, realisiert mithilfe von ONNX Runtime Web. Damit wird eine spezifische 3D-Rekonstruktions-Technologie von Apple clientseitig zugänglich gemacht.
Unsloth & NVIDIA: 25% Boost für dein LLM-Feintuning!
Unsloth und NVIDIA haben ihre Kräfte gebündelt, um das Feintuning von Large Language Models (LLMs) auf NVIDIA GPUs zu optimieren. Durch gezielte Verbesserungen beseitigen sie versteckte Engpässe und erzielen eine kombinierte Beschleunigung der Trainingsgeschwindigkeit um bis zu 25%. Die Optimierungen konzentrieren sich darauf, redundante Buchungsvorgänge zu reduzieren und Kopiervorgänge parallel zur eigentlichen Rechenarbeit ablaufen zu lassen.
Mojo 1.0 Beta: Python-Stil, C++-Leistung für KI-Hardware
Mojo, die für KI-Systeme entwickelte Programmiersprache, hat die Beta-Version 1.0 erreicht. Sie verspricht, die intuitive Syntax von Python mit der Performance von C++ zu vereinen, um schnelle KI-Anwendungen zu schreiben. Ziel ist die effiziente Entwicklung auf verschiedenster Hardware, von CPUs bis GPUs, ohne vendor lock-in, mit Fokus auf Benutzerfreundlichkeit und Speichersicherheit.
KI-Chips: Warum FP4 das nächste Präzisions-Opfer ist
Während traditionelle Programmierung nach Präzision strebte, kehrt die KI-Branche diesen Trend um: Neurale Netze verlangen nach immer weniger Bits, um riesige Modelle in den Speicher zu bekommen. FP4 ist hier ein 4-Bit-Gleitkommaformat, das das erste Bit zur Repräsentation des Vorzeichens nutzt. Diese drastischen Kompromisse bei der Präzision sind notwendig, um den dynamischen Bereich zu erhalten, den reine Integer-Formate nicht bieten können.
3D-Körper aus 8 Fragen: Ohne Foto, ohne GPU zum präzisen Avatar
Ein neues Verfahren generiert mit nur acht Fragen einen präzisen 3D-Körper, ganz ohne Fotos oder leistungsstarke GPUs. Ein kleines MLP verarbeitet die Eingaben in Millisekunden auf einer CPU und gibt 58 Anny-Body-Parameter aus. Dies übertrifft die Genauigkeit von Foto-Pipelines bei Umfängen und löst Datenschutz- sowie Kostenprobleme.
Lokal-LLMs im Flieger: MacBook M5 Max stemmt 10 Stunden offline
Ein Autor hat auf einem 10-Stunden-Flug getestet, wie leistungsfähig lokale LLMs wie Gemma 4 31B und Qwen 4.6 36B auf einem MacBook Pro M5 Max mit 128GB sind. Über LM Studio generierte er ein komplexes Billing-Tool und verarbeitete Millionen von Tokens, wobei die Qualität für spezifische Aufgaben mit Frontier-Modellen mithalten konnte. Grenzen zeigten sich bei Akkulaufzeit (1% pro Minute), Hitze und Context-Länge (Abbau nach 100k Tokens), was aber die beeindruckende Offline-Performance nicht schmälert.
KI täuscht Qualität vor: Das Ende der Proxy-Bewertung
Die Wissensarbeit beruht traditionell auf „Proxy-Maßen“ wie oberflächlicher Schreibqualität, um die Güte von Ergebnissen zu beurteilen, da echte Qualitätsprüfung aufwendig ist. Doch Large Language Models (LLMs) untergraben dieses System. Sie simulieren mühelos hochwertigen Output, der perfekt aussieht – sei es ein Beratungsbericht oder Code –, ohne dass die tatsächliche zugrundeliegende Qualität der Arbeit vorhanden sein muss.
DeepMind DiLoCo: KI-Training endlich robust & dezentral skalierbar
Aktuelle KI-Modelle zu trainieren ist eine Sisyphusarbeit: Es dauert oft Wochen oder Monate, und ein einziger Serverausfall kann alles zunichtemachen. DeepMind zeigt mit „DiLoCo“ jetzt, wie man verteiltes KI-Training robuster macht: Indem Berechnungen entkoppelt werden, laufen die Modelle auch bei Ausfällen weiter und sind effizienter. Das ist kein triviales Detail, sondern ein Game Changer für alle, die wirklich große Modelle zuverlässig und schnell entwickeln wollen – ein echter Schritt nach vorn in der Infrastruktur von morgen.
Deep Learning: Theorie-Vakuum und Alchemie vor Lavoisier?
Elon Litman kritisiert den Zustand der Deep-Learning-Theorie: Aktuell gleiche die Disziplin eher 'Alchemie' vor Lavoisier. Die Forschung sei fragmentiert, arbeite mit widersprüchlichen Annahmen und riskiere durch immer mehr Daten und Parameter, wie Borges' Funes, die Fähigkeit zur Abstraktion zu verlieren.
Soul Player C64: Transformer-KI auf 1 MHz – Ein Wunder der Retro-Ingenieurskunst
Vergesst GPUs und Cloud: Der 'Soul Player C64' von gizmo64k ist ein *echtes* Transformer-Modell, das auf einem 1 MHz Commodore 64 läuft. Dieses technische Meisterwerk zeigt, was mit radikaler Optimierung und cleveren Algorithmen möglich ist, und stellt unsere Annahmen über die Hardware-Anforderungen von KI fundamental infrage.
Datalog im GPU-Turbomodus: So wird Logik endlich rasend schnell
Datalog, die oft unterschätzte Sprache für komplexe rekursive Queries, bekommt endlich ihren wohlverdienten Performance-Boost. Eine neue Studie zeigt, wie man Datalog-Programme auf GPUs optimieren kann, um selbst anspruchsvolle Logik-Abfragen massiv zu beschleunigen. Das ist ein Game-Changer für Bereiche wie statische Code-Analyse oder Datenbanken, wo Geschwindigkeit entscheidend ist.
Mendral senkt LLM-Kosten: Opus 4.6 dank Haiku-Triager günstiger
Mendral senkte die LLM-Kosten durch den Wechsel von Sonnet 4.0 zu Opus 4.6, allerdings nicht durch einen direkten Modellvergleich. Stattdessen setzt eine intelligente Triager-Architektur einen Haiku-Agenten als Vorfilter ein. Dieser stoppt 80% der Anfragen, bevor sie das teurere Opus erreichen, was die tatsächlichen Ersparnisse ermöglicht.
Lokal AI siegt: Qwen 3.6 auf dem Laptop schlägt Claude Opus beim Pelikan-Malen
Wer braucht teure Cloud-Giganten, wenn ein lokales AI-Modell wie Qwen 3.6-35B-A3B auf dem eigenen Laptop bessere Arbeit leistet? Simon Willison hat genau das bewiesen, als Qwen seinen Pelikan überzeugender zu Papier brachte als der vermeintlich überlegene Claude Opus 4.7. Das stellt die altbekannte Gleichung 'größer = besser' gehörig auf den Kopf und zeigt das Potenzial von effizienten, dezentralen AI-Lösungen.