Suche
SDL untersagt KI-Commits mit 'LLM Policy?'
Im SDL-Projekt auf GitHub wird unter Issue #15350 eine 'LLM Policy?' diskutiert. Laut Artikelbeschreibung resultiert dies in einem Verbot für von KI generierte Code-Commits. Der bereitgestellte Quellauszug enthält jedoch keine weiteren Details zu den Beweggründen oder Inhalten dieser Policy.
DeepSeek-V4 Day-0: SGLang & Miles für schnelle Inferenz & Verified RL
Das SGLang- und Miles-Team liefert Day-0-Unterstützung für DeepSeek-V4, inklusive Inferenz und RL-Training. Ihr Open-Source-Stack ist der erste, der DeepSeek-V4s hybride Sparse-Attention-Architektur am Launch-Tag bedient und trainiert, mit Performance-Optimierungen wie ShadowRadix und HiSparse. Der Stack unterstützt zudem Verified RL, wobei Miles als Backend-Support für das Reinforcement Learning dient.
GLM-5V-Turbo: Ein Schritt zum nativen Fundament für Multimodal-KI
GLM-5V-Turbo wird als ein Schritt hin zu nativen Fundamentmodellen für multimodale Agenten vorgestellt. Das Modell zielt darauf ab, eine grundlegende Basis für KI-Systeme zu schaffen, die von Natur aus für die Verarbeitung und Nutzung verschiedener Modalitäten konzipiert ist.
Lokal AI siegt: Qwen 3.6 auf dem Laptop schlägt Claude Opus beim Pelikan-Malen
Wer braucht teure Cloud-Giganten, wenn ein lokales AI-Modell wie Qwen 3.6-35B-A3B auf dem eigenen Laptop bessere Arbeit leistet? Simon Willison hat genau das bewiesen, als Qwen seinen Pelikan überzeugender zu Papier brachte als der vermeintlich überlegene Claude Opus 4.7. Das stellt die altbekannte Gleichung 'größer = besser' gehörig auf den Kopf und zeigt das Potenzial von effizienten, dezentralen AI-Lösungen.
Können LLMs reale Systeme in TLA+ modellieren?
Das Specula-Team untersuchte, ob LLMs reale Systeme präzise in TLA+ modellieren können. Ein Versuch mit Claude zeigte: Die erzeugte TLA+-Spezifikation für Etcd war syntaktisch korrekt und bestand den Model-Check, rekapitulierte aber die Spezifikation des Raft-Papers, statt Etcd-spezifische Details abzubilden. Dies wirft die kritische Frage auf, wie man feststellt, ob eine KI ein System tatsächlich modelliert oder nur Trainingsdaten wiedergibt.
LLM-Wartezeiten nerven? Mach das Warten zum Spiel für deine User!
Warten auf LLM-Antworten kann frustrierend sein. Dieses Open-Source-Projekt auf GitHub schlägt vor, Nutzern währenddessen ein Spiel anzubieten. Eine clevere Idee, um Wartezeiten in unterhaltsame Momente zu verwandeln und die User Experience zu optimieren.
SOB: Neuer Benchmark für präzise strukturierte LLM-Outputs
Interfaze.ai präsentiert den Structured Output Benchmark (SOB) zur umfassenderen Bewertung von LLMs bei der Erzeugung deterministischer, strukturierter Daten aus vielfältigen Quellen wie OCR oder PDF. Bestehende Benchmarks fokussieren oft nur auf Schema-Konformität, während SOB zeigt, dass Modelle sich insbesondere in der Genauigkeit der extrahierten Werte (`Value Accuracy`) und der `Perfect Response` erheblich unterscheiden. Dies offenbart, dass LLMs bei der fehlerfreien Datenextraktion aus komplexen Quellen noch Mängel aufweisen.
Swift: Von GFLOP/s zu TFLOP/s für LLM-Training auf Apple Silicon
Ein Entwickler zeigt, wie er die handgeschriebene Matrix-Multiplikation für LLM-Training in Swift auf Apple Silicon von GFLOP/s zu TFLOP/s katapultiert. Dies geschieht explizit ohne Frameworks oder Bibliotheken, um die CPU, SIMD, AMX und GPU direkt zu nutzen. Das Ziel: Swift schneller als die C-Referenzimplementierung llm.c zu optimieren.
Die LLM-Blackbox entschlüsselt: Ein visueller Karpathy-Guide
Dieser interaktive, visuelle Guide, basierend auf Andrej Karpathys technischem Deep Dive, erklärt verständlich, wie große Sprachmodelle wie ChatGPT tatsächlich gebaut werden. Er führt von der Datensammlung und -filterung über die Tokenisierung bis hin zur gesamten Trainings-Pipeline. Eine klare und detaillierte Ressource für alle, die das Innenleben von LLMs von Grund auf verstehen wollen.
Mendral senkt LLM-Kosten: Opus 4.6 dank Haiku-Triager günstiger
Mendral senkte die LLM-Kosten durch den Wechsel von Sonnet 4.0 zu Opus 4.6, allerdings nicht durch einen direkten Modellvergleich. Stattdessen setzt eine intelligente Triager-Architektur einen Haiku-Agenten als Vorfilter ein. Dieser stoppt 80% der Anfragen, bevor sie das teurere Opus erreichen, was die tatsächlichen Ersparnisse ermöglicht.
LLM selber trainieren: Die Blackbox wird transparent.
Vergiss die Blackbox! Dieses GitHub-Projekt liefert einen praxistauglichen Blueprint, um ein LLM von Grund auf zu trainieren. Es ist kein Shortcut zu einem fertigen Modell, sondern ein tiefgreifender Guide für alle, die wirklich verstehen wollen, wie generative KI unter der Haube tickt, statt nur APIs zu konsumieren.
Softmax: Überall im ML. Doch was tut es wirklich – und der Jacobian?
Softmax ist aus modernen ML-Anwendungen nicht wegzudenken und erscheint täuschend simpel. Es wandelt beliebige Zahlen in Werte zwischen 0 und 1, die sich zu 1 addieren, und projiziert Vektoren auf den Wahrscheinlichkeits-Simplex. Der Artikel beleuchtet diese Funktion genau und hinterfragt die Notwendigkeit, ihren komplexen Jacobian zu verstehen, der die Interaktionen zwischen Dimensionen aufzeigt.
Mythos widerlegt: LLMs sind keine höhere Abstraktionsebene
Entgegen der verbreiteten Annahme sind LLMs keine logische nächste Abstraktionsebene, wie es Schritte von Binary zu Python waren. Der Artikel betont, dass frühere Abstraktionen stets deterministische Funktionen (f(x) -> y) darstellten. LLMs hingegen liefern nur die Wahrscheinlichkeit eines Ergebnisses (f(x) -> P(y)) und sind somit grundlegend anders.
Konvergente Evolution: Wie diverse Modelle Zahlen ähnlich repräsentieren
Entgegen der Black-Box-Annahme lernen unterschiedliche Sprachmodelle – darunter Transformer, RNNs und LSTMs – ähnliche periodische Zahlenrepräsentationen. Diese Konvergenz ist jedoch zweistufig: Während alle Modelle Fourier-Peaks zeigen, entwickeln nur manche geometrisch separierbare Features für die Modulo-Klassifikation. Die genaue Ausprägung der Zahlenrepräsentation hängt stark von Daten, Architektur und Trainingsdetails ab.
Unsloth & NVIDIA: 25% Boost für dein LLM-Feintuning!
Unsloth und NVIDIA haben ihre Kräfte gebündelt, um das Feintuning von Large Language Models (LLMs) auf NVIDIA GPUs zu optimieren. Durch gezielte Verbesserungen beseitigen sie versteckte Engpässe und erzielen eine kombinierte Beschleunigung der Trainingsgeschwindigkeit um bis zu 25%. Die Optimierungen konzentrieren sich darauf, redundante Buchungsvorgänge zu reduzieren und Kopiervorgänge parallel zur eigentlichen Rechenarbeit ablaufen zu lassen.
DS4 & DeepSeek v4 Flash: Tweet-Quelle nicht verfügbar
Ein vielversprechender Titel über 'DS4, eine spezialisierte Inferenz-Engine für DeepSeek v4 Flash' führte ins Leere. Die verknüpfte Twitter-Quelle war aufgrund eines JavaScript-Fehlers nicht ladbar, wodurch der Inhalt und die genannten Details nicht verifiziert werden konnten. Eine fundierte Bewertung des vermeintlichen Durchbruchs bleibt daher leider aus.
KI-Inferenz: 10% schneller dank cleverem GPU-Cache in SGLang
Multimodale KI-Modelle sind vielversprechend, aber ihre Inferenz-Engines noch nicht optimiert. Modal.com demonstriert, wie SGLang’s Performance um über 10% gesteigert wurde, indem aufwendige Buchhaltung für geteilten GPU-Speicher durch einen einfachen Cache-Lookup im Scheduler ersetzt wurde. Dieser sogenannte 'Handle Cache' führte zu signifikanten Verbesserungen bei Durchsatz und Latenz auf multimodalen Workloads.
LLMs jagen Bugs: Kernel-Devs schmeißen alte Code-Last ab
Große Sprachmodelle (LLMs) generieren eine Flut von Sicherheitsberichten für den Linux-Kernel, was die Entwickler zunehmend überfordert. Um diese Meldungsflut für oft ungenutzten oder unzureichend gewarteten Code zu bewältigen und ihre "Sanity zu schützen", entfernen Kernel-Entwickler nun gezielt ganze Subsysteme wie ISA-Ethernet-Treiber und das Amateurfunk-Protokoll AX.25. Dies ist eine direkte, defensive Reaktion auf die neue Herausforderung durch AI-generierte Bugs.
Lambench: Der Lambda-Kalkül als Härtetest für moderne KI.
Vergessen Sie FLOPs oder bloße Textgenerierung: `lambench` ist ein brandneuer Benchmark, der die wahren Denkfähigkeiten von KI-Modellen auf die Probe stellt. Statt auf statistisches Pattern-Matching setzt dieser auf den Lambda-Kalkül, die Urform der Funktionsprogrammierung, um zu sehen, ob eine KI wirklich logisch schlussfolgern, Programme synthetisieren und komplexe Aufgaben lösen kann. Kurz gesagt: Ein Reality-Check, der zeigt, ob unsere 'intelligenten' Modelle mehr sind als nur veredelte Papageien – eine willkommene Ergänzung im Benchmark-Dschungel.
LLMs auf Diät: Intels AutoRound macht KI-Modelle schlanker
Intels neues 'AutoRound'-Verfahren ist ein Quantisierungsalgorithmus, der Large Language Models (LLMs) drastisch verkleinern soll, bei gleichzeitigem Erhalt ihrer Genauigkeit. Das ist entscheidend, denn effizientere, schlankere Modelle lassen sich auf weniger leistungsstarker Hardware betreiben und senken so die Betriebskosten. Ein echter Boost für alle, die KI-Anwendungen skalieren wollen, ohne dafür ein Rechenzentrum bauen zu müssen.