Suche
DeepSeek-V4 Day-0: SGLang & Miles für schnelle Inferenz & Verified RL
Das SGLang- und Miles-Team liefert Day-0-Unterstützung für DeepSeek-V4, inklusive Inferenz und RL-Training. Ihr Open-Source-Stack ist der erste, der DeepSeek-V4s hybride Sparse-Attention-Architektur am Launch-Tag bedient und trainiert, mit Performance-Optimierungen wie ShadowRadix und HiSparse. Der Stack unterstützt zudem Verified RL, wobei Miles als Backend-Support für das Reinforcement Learning dient.
GLM-5V-Turbo: Ein Schritt zum nativen Fundament für Multimodal-KI
GLM-5V-Turbo wird als ein Schritt hin zu nativen Fundamentmodellen für multimodale Agenten vorgestellt. Das Modell zielt darauf ab, eine grundlegende Basis für KI-Systeme zu schaffen, die von Natur aus für die Verarbeitung und Nutzung verschiedener Modalitäten konzipiert ist.
Softmax: Überall im ML. Doch was tut es wirklich – und der Jacobian?
Softmax ist aus modernen ML-Anwendungen nicht wegzudenken und erscheint täuschend simpel. Es wandelt beliebige Zahlen in Werte zwischen 0 und 1, die sich zu 1 addieren, und projiziert Vektoren auf den Wahrscheinlichkeits-Simplex. Der Artikel beleuchtet diese Funktion genau und hinterfragt die Notwendigkeit, ihren komplexen Jacobian zu verstehen, der die Interaktionen zwischen Dimensionen aufzeigt.
Googles Gemma 4: KI-Power direkt und offline auf dem iPhone
Der Google-KI-Spross Gemma 4 landet überraschend nativ und komplett offline auf dem iPhone – dank des MLX-Frameworks von Apple wird die Smartphone-KI zur Realität. Das ist kein Trick: Volle Inferenz auf dem Gerät bedeutet weg von der Cloud, mehr Privatsphäre und rasend schnelle Reaktionen, die neue App-Erlebnisse ermöglichen könnten. Zwar noch in den Kinderschuhen, zeigt diese Entwicklung, dass das 'iPhone mit Hirn' schneller kommt als gedacht und die Grenzen zwischen lokaler und Cloud-AI verschwimmen.
Apple's ml-sharp im Browser: Gaussian Splats via ONNX Runtime Web
Ein neues GitHub-Projekt präsentiert ein Web-Playground, das Apples ml-sharp Modell im Browser zum Laufen bringt. Ziel ist die Erstellung von Gaussian Splats direkt im Browser, realisiert mithilfe von ONNX Runtime Web. Damit wird eine spezifische 3D-Rekonstruktions-Technologie von Apple clientseitig zugänglich gemacht.
Claude als IP-Stack: Wie weit lässt sich KI für Netzwerk-Logic pushen?
In einem faszinierenden Experiment treibt Adam Dunkels die Idee, dass Markdown Code ist, auf die Spitze: Er instruiert Claude Code, als User-Space IP-Stack auf Pings zu antworten. Die LLM soll IP-Pakete byte für byte parsen und replizieren, ein Ansatz, den Dunkels selbst als 'ridikulös' und 'tokenverschwenderisch', aber auch 'lustig' beschreibt. Das generierte Skript zur Paketverarbeitung sieht einen 35-Sekunden-Timeout für das Lesen eines Pakets vor, was die theoretische Natur dieses tiefgreifenden LLM-Einsatzes unterstreicht.
antirez' ds4: Lokale DeepSeek 4 Flash AI-Inferenz für Metal
GitHub-Nutzer antirez hat das Projekt `ds4` veröffentlicht, eine lokale Inferenz-Engine für DeepSeek 4 Flash. Es wurde für die Ausführung auf Systemen mit Metal-Unterstützung entwickelt. Damit wird DeepSeek 4 Flash direkt auf kompatibler Hardware verfügbar.
KI-Inferenz: 10% schneller dank cleverem GPU-Cache in SGLang
Multimodale KI-Modelle sind vielversprechend, aber ihre Inferenz-Engines noch nicht optimiert. Modal.com demonstriert, wie SGLang’s Performance um über 10% gesteigert wurde, indem aufwendige Buchhaltung für geteilten GPU-Speicher durch einen einfachen Cache-Lookup im Scheduler ersetzt wurde. Dieser sogenannte 'Handle Cache' führte zu signifikanten Verbesserungen bei Durchsatz und Latenz auf multimodalen Workloads.
SDL untersagt KI-Commits mit 'LLM Policy?'
Im SDL-Projekt auf GitHub wird unter Issue #15350 eine 'LLM Policy?' diskutiert. Laut Artikelbeschreibung resultiert dies in einem Verbot für von KI generierte Code-Commits. Der bereitgestellte Quellauszug enthält jedoch keine weiteren Details zu den Beweggründen oder Inhalten dieser Policy.
Ctx: Lokales Kontextmanagement für Claude Code und Codex
Ctx ist ein lokaler Kontextmanager, entwickelt für Claude Code und Codex. Das Tool unterstützt Arbeitsströme, bindet Transkripte und ermöglicht Verzweigungen. So bleibt der Kontext in KI-gestützten Coding-Umgebungen stets aktuell und organisiert.
KI-Führungskräfte schwören auf 'Tokenmaxxing': Tiefe statt Breite
Unter KI-Führungskräften kursiert der Begriff 'Tokenmaxxing': Es geht darum, Teams zu einem verstärkten KI-Einsatz zu motivieren, ohne dabei die Entstehung massiver Verschwendung zu begünstigen. Dabei soll die LLM-Nutzung in die Tiefe gehen – etwa durch serielle Autoresearch-Loops – anstatt auf eine breite Masse paralleler, aber oberflächlicher Anfragen zu setzen. Shopify-CTO Mikhail Parakhin sieht darin den Kern von „tasteful tokenmaxxing“.
Liquid AI: Neues MoE-Modell skaliert LFM2 auf 24 Mrd. Parameter
Liquid AI präsentiert mit LFM2-24B-A2B den bisher größten Vertreter seiner LFM2-Modellreihe. Dieses Sparse Mixture of Experts (MoE) Modell erreicht 24 Milliarden Gesamtparameter, wovon 2 Milliarden pro Token aktiv sind. Die Veröffentlichung zeigt eindrucksvoll, dass die LFM2-Architektur effektiv auf größere Dimensionen skaliert werden kann.
DS4 & DeepSeek v4 Flash: Tweet-Quelle nicht verfügbar
Ein vielversprechender Titel über 'DS4, eine spezialisierte Inferenz-Engine für DeepSeek v4 Flash' führte ins Leere. Die verknüpfte Twitter-Quelle war aufgrund eines JavaScript-Fehlers nicht ladbar, wodurch der Inhalt und die genannten Details nicht verifiziert werden konnten. Eine fundierte Bewertung des vermeintlichen Durchbruchs bleibt daher leider aus.
LLM selber trainieren: Die Blackbox wird transparent.
Vergiss die Blackbox! Dieses GitHub-Projekt liefert einen praxistauglichen Blueprint, um ein LLM von Grund auf zu trainieren. Es ist kein Shortcut zu einem fertigen Modell, sondern ein tiefgreifender Guide für alle, die wirklich verstehen wollen, wie generative KI unter der Haube tickt, statt nur APIs zu konsumieren.
Vorsicht, Shai-Hulud! Maliziöse Dependency in PyTorch Lightning entdeckt
Ein ungewöhnlicher Name für eine ernste Bedrohung: In der populären KI-Trainingsbibliothek PyTorch Lightning wurde eine 'Shai-Hulud'-thematisierte Malware als maliziöse Dependency aufgespürt. Dies unterstreicht die anhaltenden Herausforderungen bei der Sicherung unserer Software-Lieferketten.
Mojo 1.0 Beta: Python-Stil, C++-Leistung für KI-Hardware
Mojo, die für KI-Systeme entwickelte Programmiersprache, hat die Beta-Version 1.0 erreicht. Sie verspricht, die intuitive Syntax von Python mit der Performance von C++ zu vereinen, um schnelle KI-Anwendungen zu schreiben. Ziel ist die effiziente Entwicklung auf verschiedenster Hardware, von CPUs bis GPUs, ohne vendor lock-in, mit Fokus auf Benutzerfreundlichkeit und Speichersicherheit.
X.com-Hürde: Keine Einsicht in KI-CLI-Prinzipien
Ein spannender Titel verspricht unter 'Principles for agent-native CLIs' wichtige Einblicke in die Gestaltung von Schnittstellen für KI-Agenten. Leider bleibt der Inhalt dieses X.com-Threads jedoch unerreichbar, da die Plattform das Laden aufgrund von JavaScript-Problemen oder Browser-Einstellungen blockiert. So verpassen Tech-Entscheider potenziell relevante Diskussionsansätze zu diesem fundamentalen Thema.
Die LLM-Blackbox entschlüsselt: Ein visueller Karpathy-Guide
Dieser interaktive, visuelle Guide, basierend auf Andrej Karpathys technischem Deep Dive, erklärt verständlich, wie große Sprachmodelle wie ChatGPT tatsächlich gebaut werden. Er führt von der Datensammlung und -filterung über die Tokenisierung bis hin zur gesamten Trainings-Pipeline. Eine klare und detaillierte Ressource für alle, die das Innenleben von LLMs von Grund auf verstehen wollen.
KI-Wahn satt? Specsmaxxing mit YAML bringt Klarheit ins AI-Chaos.
Kennt ihr das Gefühl, ständig dem neuesten KI-Modell hinterherzujagen, ohne wirklich voranzukommen? Der Autor nennt es 'AI-Psychose' und schlägt eine radikale Kur vor: 'Specsmaxxing'. Statt blind drauflos zu coden, definiert man präzise, was die KI leisten soll – am besten in YAML-Specs, die Klarheit schaffen und als Leitplanken dienen. Das mag altmodisch klingen, aber es zwingt zu Fokus, vermeidet Überentwicklung und rettet euch und eure Projekte vor dem gefürchteten KI-Chaos.
LLM-KVCache: Cross-Datacenter-Serving wird greifbar, aber komplex
Prefill-decode (PD) Disaggregation ist zwar Standard für LLM-Serving, doch die flexible Verteilung über Datacenter hinweg scheitert bislang am massiven KVCache-Transfer. Obwohl neue Hybrid-Attention-Architekturen den KVCache signifikant verkleinern und Cross-Datacenter-Transport nun denkbar machen, stoßen solche Ansätze auf Herausforderungen wie schwankende Bandbreiten und ungleich verteilte Präfix-Caches. Eine simple Externalisierung des Prefill-Schritts über Datacenter-Grenzen würde ohne weitere Optimierung zu Engpässen und Ineffizienz führen.