Suche
LLM selber trainieren: Die Blackbox wird transparent.
Vergiss die Blackbox! Dieses GitHub-Projekt liefert einen praxistauglichen Blueprint, um ein LLM von Grund auf zu trainieren. Es ist kein Shortcut zu einem fertigen Modell, sondern ein tiefgreifender Guide für alle, die wirklich verstehen wollen, wie generative KI unter der Haube tickt, statt nur APIs zu konsumieren.
Karpathy's Loop erobert Hardware: KI designt CPU-Architekturen
Vergesst traditionelles Chip-Design! Ein neues Projekt nutzt Karpathy's Idee des iterativen Lernens, um eine KI eigenständig CPU-Architekturen entwerfen und optimieren zu lassen. Statt auf menschliche Expertise setzt man hier auf einen AI-Agenten, der im Simulations-Loop ständig bessere Designs findet. Das ist kein Gimmick, sondern ein faszinierender Proof-of-Concept, der zeigt, wie AI die Hardware-Entwicklung radikal verändern und zu völlig unkonventionellen Lösungen führen könnte.
Loopsy: Wenn dein Terminal mit Remote-KIs spricht – smart & vernetzt
Loopsy, ein cleveres Open-Source-Tool, schlägt eine Brücke, damit lokale Terminals direkt mit AI-Agenten auf entfernten Maschinen sprechen können. Klingt unspektakulär, ist aber ein kleiner, wichtiger Baustein für eine nahtlose KI-Integration in verteilte Systeme und Workflows, weitab vom Hype. Es ebnet den Weg für mehr Automatisierung und Interaktion jenseits des eigenen Desktops.
DeepMind DiLoCo: KI-Training endlich robust & dezentral skalierbar
Aktuelle KI-Modelle zu trainieren ist eine Sisyphusarbeit: Es dauert oft Wochen oder Monate, und ein einziger Serverausfall kann alles zunichtemachen. DeepMind zeigt mit „DiLoCo“ jetzt, wie man verteiltes KI-Training robuster macht: Indem Berechnungen entkoppelt werden, laufen die Modelle auch bei Ausfällen weiter und sind effizienter. Das ist kein triviales Detail, sondern ein Game Changer für alle, die wirklich große Modelle zuverlässig und schnell entwickeln wollen – ein echter Schritt nach vorn in der Infrastruktur von morgen.
Die LLM-Blackbox entschlüsselt: Ein visueller Karpathy-Guide
Dieser interaktive, visuelle Guide, basierend auf Andrej Karpathys technischem Deep Dive, erklärt verständlich, wie große Sprachmodelle wie ChatGPT tatsächlich gebaut werden. Er führt von der Datensammlung und -filterung über die Tokenisierung bis hin zur gesamten Trainings-Pipeline. Eine klare und detaillierte Ressource für alle, die das Innenleben von LLMs von Grund auf verstehen wollen.
EvanFlow: Endlich TDD für Claude-Code – Adieu, kaputte Prompts?
EvanFlow bringt TDD endlich ins Reich der AI-Code-Generierung und lässt Claude mit einem Feedback-Loop aus Tests lernen. Das ist keine Raketenwissenschaft, aber verdammt smart: Statt nur zu hoffen, dass der Prompt sitzt, kriegt Claude direkt Rückmeldung und wir weniger Kopfschmerzen beim Debuggen.
Swift: Von GFLOP/s zu TFLOP/s für LLM-Training auf Apple Silicon
Ein Entwickler zeigt, wie er die handgeschriebene Matrix-Multiplikation für LLM-Training in Swift auf Apple Silicon von GFLOP/s zu TFLOP/s katapultiert. Dies geschieht explizit ohne Frameworks oder Bibliotheken, um die CPU, SIMD, AMX und GPU direkt zu nutzen. Das Ziel: Swift schneller als die C-Referenzimplementierung llm.c zu optimieren.
DeepSeek-V4 Day-0: SGLang & Miles für schnelle Inferenz & Verified RL
Das SGLang- und Miles-Team liefert Day-0-Unterstützung für DeepSeek-V4, inklusive Inferenz und RL-Training. Ihr Open-Source-Stack ist der erste, der DeepSeek-V4s hybride Sparse-Attention-Architektur am Launch-Tag bedient und trainiert, mit Performance-Optimierungen wie ShadowRadix und HiSparse. Der Stack unterstützt zudem Verified RL, wobei Miles als Backend-Support für das Reinforcement Learning dient.
Qwen/Qwen3.6-27B: Mysteriöser Code-Eintrag auf Hugging Face
Ein neuer Eintrag für `Qwen/Qwen3.6-27B` ist auf Hugging Face verfügbar. Die Quelle liefert ausschließlich Template-Code zur Verarbeitung multimodaler Inputs und Tool-Calls. Dies deutet auf eine komplexe Systemarchitektur hin, lässt aber detaillierte Informationen zum eigentlichen AI-Modell komplett vermissen.
Deep Learning: Eine wissenschaftliche Theorie formiert sich
Das Paper argumentiert, dass eine wissenschaftliche Theorie des Deep Learning im Entstehen begriffen ist. Sie soll wichtige Eigenschaften und Statistiken von Trainingsprozessen, Repräsentationen, Gewichten und der Performance neuronaler Netze charakterisieren. Die Autoren fassen dazu bestehende Forschungsstränge zusammen und identifizieren fünf wachsende Arbeitsbereiche, die auf diese Theorie hindeuten.
Flow Maps: Der Integral-Boost für schnelle Diffusion
Diffusion Models sampeln iterativ, indem ein Denoiser die Tangentenrichtung eines Pfades schätzt und kleine Schritte entlang dieses Pfades macht, was effektiv einem Integral entspricht. Sander Dieleman schlägt vor, neuronale Netze zu trainieren, die dieses Integral direkt vorhersagen, was zu sogenannten 'Flow Maps' führt. Diese können jeden Punkt auf einem Pfad von jedem anderen Punkt auf demselben Pfad vorhersagen und ermöglichen schnelleres Sampling sowie effizienteres belohnungsbasiertes Lernen und bessere Sampling-Steuerbarkeit.
DeepClaude: Code-Agentenloop 17x günstiger dank DeepSeek V4 Pro
DeepClaude ist ein GitHub-Projekt, das den autonomen Agenten-Loop von Claude Code nutzt. Es ermöglicht die Anbindung an günstigere Backends wie DeepSeek V4 Pro oder OpenRouter und verspricht dabei die gleiche Nutzererfahrung. Das Tool zielt darauf ab, die Kosten für die KI-Code-Erstellung um das 17-fache zu senken.
KI-Führungskräfte schwören auf 'Tokenmaxxing': Tiefe statt Breite
Unter KI-Führungskräften kursiert der Begriff 'Tokenmaxxing': Es geht darum, Teams zu einem verstärkten KI-Einsatz zu motivieren, ohne dabei die Entstehung massiver Verschwendung zu begünstigen. Dabei soll die LLM-Nutzung in die Tiefe gehen – etwa durch serielle Autoresearch-Loops – anstatt auf eine breite Masse paralleler, aber oberflächlicher Anfragen zu setzen. Shopify-CTO Mikhail Parakhin sieht darin den Kern von „tasteful tokenmaxxing“.
Voice AI: Schluss mit der Stotterpartie – Dein Dev-Starter-Kit
Vergiss das mühsame Zusammensuchen: Ein frisches GitHub-Repo bietet Entwicklern einen kuratierten Lernpfad, um endlich in die Welt der Voice AI einzusteigen. Statt dich durch Tutorials zu wühlen, bekommst du hier eine klare Route, die dir zeigt, wie du sprechende Apps baust – und das, bevor alle anderen es tun. Eine echte Abkürzung, um nicht beim nächsten Hype auf dem Bahnsteig zu stehen.
Lokal-LLMs im Flieger: MacBook M5 Max stemmt 10 Stunden offline
Ein Autor hat auf einem 10-Stunden-Flug getestet, wie leistungsfähig lokale LLMs wie Gemma 4 31B und Qwen 4.6 36B auf einem MacBook Pro M5 Max mit 128GB sind. Über LM Studio generierte er ein komplexes Billing-Tool und verarbeitete Millionen von Tokens, wobei die Qualität für spezifische Aufgaben mit Frontier-Modellen mithalten konnte. Grenzen zeigten sich bei Akkulaufzeit (1% pro Minute), Hitze und Context-Länge (Abbau nach 100k Tokens), was aber die beeindruckende Offline-Performance nicht schmälert.
Claude Code Routines: KI-Arbeit auf Autopilot setzen
Claude Code führt 'Routinen' ein, um Code-Workflows zu automatisieren. Eine Routine ist eine gespeicherte Konfiguration aus Prompt, Repositories und Connectors, die auf Zeitpläne, API-Calls oder GitHub-Events reagiert. Das Besondere: Sie läuft in Anthropic-Clouds auch dann, wenn der eigene Rechner ausgeschaltet ist – echtes Autopilot für Entwickleraufgaben.
Claude Code Routines: Dein Code-Copilot wird erwachsen – endlich planbar.
Anthropic hat mit 'Routines' für Claude Code ein neues Feature vorgestellt, das die Zusammenarbeit mit der KI revolutionieren soll. Statt chaotischer Prompts gibt es nun strukturierte Abläufe, die Claude zwingen, Code zuverlässiger und vorhersehbarer zu generieren. Das ist ein wichtiger Schritt weg von unzuverlässigen Sprachmodellen hin zu echten, produktionsreifen Coding-Assistenten.
Konvergente Evolution: Wie diverse Modelle Zahlen ähnlich repräsentieren
Entgegen der Black-Box-Annahme lernen unterschiedliche Sprachmodelle – darunter Transformer, RNNs und LSTMs – ähnliche periodische Zahlenrepräsentationen. Diese Konvergenz ist jedoch zweistufig: Während alle Modelle Fourier-Peaks zeigen, entwickeln nur manche geometrisch separierbare Features für die Modulo-Klassifikation. Die genaue Ausprägung der Zahlenrepräsentation hängt stark von Daten, Architektur und Trainingsdetails ab.
GLM-5V-Turbo: Ein Schritt zum nativen Fundament für Multimodal-KI
GLM-5V-Turbo wird als ein Schritt hin zu nativen Fundamentmodellen für multimodale Agenten vorgestellt. Das Modell zielt darauf ab, eine grundlegende Basis für KI-Systeme zu schaffen, die von Natur aus für die Verarbeitung und Nutzung verschiedener Modalitäten konzipiert ist.
Meta schaut zu: Mitarbeiter-Maus & Tastatur füttern die KI
Meta plant ab 2026 die Mausbewegungen und Tastaturanschläge seiner Mitarbeiter zu erfassen, um die internen KI-Modelle zu trainieren und zu verbessern. Obwohl Meta beteuert, die Daten zu anonymisieren und eine Opt-out-Möglichkeit anzubieten, ist dies ein drastischer Schritt, der erneut die Grenzen zwischen Produktivitätssteigerung und Überwachung am Arbeitsplatz verwischt. Es bleibt abzuwarten, wie das von der Belegschaft und Aufsichtsbehörden aufgenommen wird – ein heikler Balanceakt, der weitreichende Präzedenzfälle schaffen könnte.