Suche
Konvergente Evolution: Wie diverse Modelle Zahlen ähnlich repräsentieren
Entgegen der Black-Box-Annahme lernen unterschiedliche Sprachmodelle – darunter Transformer, RNNs und LSTMs – ähnliche periodische Zahlenrepräsentationen. Diese Konvergenz ist jedoch zweistufig: Während alle Modelle Fourier-Peaks zeigen, entwickeln nur manche geometrisch separierbare Features für die Modulo-Klassifikation. Die genaue Ausprägung der Zahlenrepräsentation hängt stark von Daten, Architektur und Trainingsdetails ab.
KI-Inferenz: 10% schneller dank cleverem GPU-Cache in SGLang
Multimodale KI-Modelle sind vielversprechend, aber ihre Inferenz-Engines noch nicht optimiert. Modal.com demonstriert, wie SGLang’s Performance um über 10% gesteigert wurde, indem aufwendige Buchhaltung für geteilten GPU-Speicher durch einen einfachen Cache-Lookup im Scheduler ersetzt wurde. Dieser sogenannte 'Handle Cache' führte zu signifikanten Verbesserungen bei Durchsatz und Latenz auf multimodalen Workloads.
Code verstehen: Interaktive Wissensgraphen mit KI
Das GitHub-Projekt 'Understand Anything' transformiert Code und Wissensdatenbanken in interaktive Wissensgraphen. Nutzer können diese Graphen erkunden, durchsuchen und direkt Fragen stellen, um komplexe Inhalte besser zu erfassen. Das Tool funktioniert mit gängigen KI-Code-Assistenten wie Claude Code, Copilot und Gemini CLI, mit dem Ziel, Wissen aktiv zu vermitteln statt nur zu präsentieren.
Qwen/Qwen3.6-27B: Mysteriöser Code-Eintrag auf Hugging Face
Ein neuer Eintrag für `Qwen/Qwen3.6-27B` ist auf Hugging Face verfügbar. Die Quelle liefert ausschließlich Template-Code zur Verarbeitung multimodaler Inputs und Tool-Calls. Dies deutet auf eine komplexe Systemarchitektur hin, lässt aber detaillierte Informationen zum eigentlichen AI-Modell komplett vermissen.
Mistral: 14 Mrd. $ AI-Imperium – erfolgreich, weil nicht US-amerikanisch.
Das französische Unternehmen Mistral hat sich zu einem beeindruckenden $14 Mrd. AI-Imperium entwickelt. Ihr Erfolg wird explizit darauf zurückgeführt, *nicht* amerikanisch zu sein. Dies demonstriert, dass geopolitische Identität und strategische Positionierung im globalen AI-Wettrennen von entscheidender Bedeutung sein können.
GLM-5V-Turbo: Ein Schritt zum nativen Fundament für Multimodal-KI
GLM-5V-Turbo wird als ein Schritt hin zu nativen Fundamentmodellen für multimodale Agenten vorgestellt. Das Modell zielt darauf ab, eine grundlegende Basis für KI-Systeme zu schaffen, die von Natur aus für die Verarbeitung und Nutzung verschiedener Modalitäten konzipiert ist.
Alignment-Whack-a-Mole: Finetuning lässt LLMs Copyright-Bücher spucken
Ein neues Paper zeigt auf: Wenn Large Language Models (LLMs) mit urheberrechtlich geschützten Büchern trainiert werden, können spätere Finetuning-Schritte diese Inhalte reaktivieren. Selbst wenn das Modell zuvor darauf getrimmt wurde, diese Daten zu "vergessen", holt das Finetuning unerwartet die geschützten Texte wieder hervor. Das ist ein echtes "Alignment Whack-a-Mole" – ein Problem gelöst, zwei neue aufgetaucht, und es wirft ernste Fragen bezüglich IP und Datenmanagement auf.
Talkie-1930: Historische Sprachmodelle als neue humanistische KI-Disziplin
Das am Montag öffentlich zugänglich gemachte "Talkie-1930" ist das größte historische Sprachmodell seiner Art und repräsentiert eine simulierte Kollektivität vergangener Epochen. Autor Benjamin Breen, ein Beta-Tester, sieht "Vintage LLMs" als den Startpunkt eines neuen humanistischen Forschungsfeldes, das aufdeckt, wie unterbewertet diese Perspektive in der gewinnorientierten KI-Entwicklung ist. Dies verdeutlicht, dass selbst auf die 2020er optimierte Modelle auf immense historische und vielsprachige Textdaten zurückgreifen.
Die LLM-Blackbox entschlüsselt: Ein visueller Karpathy-Guide
Dieser interaktive, visuelle Guide, basierend auf Andrej Karpathys technischem Deep Dive, erklärt verständlich, wie große Sprachmodelle wie ChatGPT tatsächlich gebaut werden. Er führt von der Datensammlung und -filterung über die Tokenisierung bis hin zur gesamten Trainings-Pipeline. Eine klare und detaillierte Ressource für alle, die das Innenleben von LLMs von Grund auf verstehen wollen.
LLMs wandeln Wissenschaftssätze in JSON: Bedeutungstreue bestätigt
LLMs beweisen sich erneut als Struktur-Talente: Eine aktuelle Studie untersuchte, ob sie wissenschaftliche Sätze in hierarchische JSON-Formate überführen können, ohne deren Bedeutung zu verlieren. Ein feinjustiertes LLM generierte solche JSONs, die dann wiederum Text rekonstruierten. Der Vergleich zeigte klar: Hierarchische Formate können die Informationen wissenschaftlicher Texte effektiv bewahren.
SDL untersagt KI-Commits mit 'LLM Policy?'
Im SDL-Projekt auf GitHub wird unter Issue #15350 eine 'LLM Policy?' diskutiert. Laut Artikelbeschreibung resultiert dies in einem Verbot für von KI generierte Code-Commits. Der bereitgestellte Quellauszug enthält jedoch keine weiteren Details zu den Beweggründen oder Inhalten dieser Policy.
KI-Agenten: Harness außerhalb des Sandkastens für Multi-User!
Ein Agent Harness steuert LLMs und orchestriert Tool-Aufrufe. Der Artikel diskutiert zwei Architekturen – Harness innerhalb oder außerhalb einer Sandbox – und deren Auswirkungen auf Sicherheit und Funktionalität. Für Multi-User-Systeme, so der Autor, ist das Harness außerhalb der Sandbox die bessere Wahl, welches Tools über eine API in der Sandbox ausführt.
DeepSeek-V4 Day-0: SGLang & Miles für schnelle Inferenz & Verified RL
Das SGLang- und Miles-Team liefert Day-0-Unterstützung für DeepSeek-V4, inklusive Inferenz und RL-Training. Ihr Open-Source-Stack ist der erste, der DeepSeek-V4s hybride Sparse-Attention-Architektur am Launch-Tag bedient und trainiert, mit Performance-Optimierungen wie ShadowRadix und HiSparse. Der Stack unterstützt zudem Verified RL, wobei Miles als Backend-Support für das Reinforcement Learning dient.
LLM selber trainieren: Die Blackbox wird transparent.
Vergiss die Blackbox! Dieses GitHub-Projekt liefert einen praxistauglichen Blueprint, um ein LLM von Grund auf zu trainieren. Es ist kein Shortcut zu einem fertigen Modell, sondern ein tiefgreifender Guide für alle, die wirklich verstehen wollen, wie generative KI unter der Haube tickt, statt nur APIs zu konsumieren.
Mehr als nur Prompts: So entlockst du Transformers ihre besten Antworten
Wir alle tippen Prompts, aber verstehen wir wirklich, wie man intelligent mit Transformers spricht? Dieser Beitrag taucht tief in die Kunst und Wissenschaft der effektiven KI-Kommunikation ein und zeigt, dass die besten Ergebnisse nicht zufällig entstehen. Es geht darum, die richtige Sprache zu finden, um der KI nicht nur Fragen zu stellen, sondern sie wirklich zu *führen* – ein echtes Game Changer für jeden, der mehr als Standard-Output will.
Gemini API: Deine Dateien sind jetzt multimedial durchsuchbar. RAG-Power-Up!
Google hat die Gemini API kräftig aufgebohrt: Die „File Search“ Funktion ist jetzt multimodal. Das bedeutet, Entwickler können ihre RAG-Anwendungen nicht mehr nur mit Text, sondern auch mit Bildern und Videos füttern. Stell dir vor, du kannst PDFs, Word-Dokumente, Bilder und sogar Videos direkt in deine AI-Prompts einbinden und Gemini darauf „denken“ lassen – das ist ein großer Schritt, um AI-Anwendungen noch vielseitiger und leistungsfähiger zu machen.
SIRA: KI presst Suchrunden zu einer intelligenten Aktion
Vergesst endlose Suchrunden! Ein neues Paper stellt den 'SuperIntelligent Retrieval Agent' (SIRA) vor, eine KI, die mehrstufige Informationssuche in eine einzige, zielgerichtete Retrieval-Aktion komprimiert. Anders als herkömmliche RAG-Systeme fragt SIRA nicht nur nach relevanten Begriffen, sondern identifiziert jene, die gewünschte Evidenz präzise von unnötigem Rauschen trennen. Diese 'Superintelligenz' wird durch LLMs ermöglicht, die Dokumente offline anreichern und auf Abfrageseite Evidenz vorhersagen.
KI-Goblins: Wie unbeabsichtigte Muster in Modellen zum Vorschein kommen
OpenAI lüftet das Geheimnis der 'Goblins' – jener bizarren, aber faszinierenden Verhaltensweisen, die in ihren riesigen Sprachmodellen auftauchen, obwohl niemand sie programmiert hat. Es geht um emergente Phänomene: Modelle entwickeln aus der schieren Datenflut eigenständige Repräsentationen und "Skills", die wir noch nicht vollständig entschlüsseln können. Ein klarer Weckruf, der zeigt, wie unberechenbar und doch brilliant unsere KI-Systeme sein können.
PCA-Erweiterung: Polynom-Autoencoder verbessert Transformer-Embeddings
Ein Blogpost stellt eine Methode vor, die PCA für die Kompression von Transformer-Embeddings verbessert: Ein polynomialer Autoencoder (PAE). Dabei bleibt der Encoder eine einfache PCA, während ein quadratischer Decoder nicht-lineare Anteile der Embeddings erfasst. Diese seit 2017 bekannte, geschlossene Lösung reduziert den Informationsverlust im Vergleich zu reinem PCA und erreicht auf Benchmarks wie BEIR/FiQA eine deutlich höhere Retrieval-Qualität.
Kimi K2.6: Chinesisches Open-Weights-Modell siegt im AI-Wort-Puzzle
Kimi K2.6, ein Open-Weights-Modell des chinesischen Startups Moonshot AI, hat Top-Modelle wie Claude und GPT-5.5 in einer 'Word Gem Puzzle'-Challenge übertroffen. Im Rahmen eines AI Coding Contests deklassierte Kimi K2.6 in diesem anspruchsvollen Wort-Schiebe-Rätsel die westliche AI-Elite. Dies ist ein klares Signal, dass die Innovationskraft nicht mehr exklusiv bei den westlichen Big Techs liegt und offene Modelle aus China ernsthafte Konkurrenz darstellen.