Suche
Claude Code: GitHub-Repo skizziert akademischen Forschungs-Workflow
Ein neues GitHub-Repo stellt 'Academic Research Skills for Claude Code' vor. Es beschreibt einen strukturierten Workflow, der von der Recherche über das Schreiben und Review bis zur Finalisierung reicht. Dieses Projekt bietet vordefinierte Schritte, um Claude Code in akademischen Aufgaben effizient zu nutzen.
ChatGPT 5.5 Pro: Mathematische PhD-Forschung in Stunden – ist das Originalität?
Mathematiker Timothy Gowers berichtet, wie ChatGPT 5.5 Pro in nur einer Stunde eine mathematische PhD-Forschung ohne wesentliche menschliche Hilfe generierte. Obwohl LLMs Forschungsprobleme lösen und Argumente finden, die Menschen übersehen haben, zeigen nähere Betrachtungen oft, dass diese cleveren Lösungen auf bekannten Präzedenzfällen basieren. Es stellt sich die grundlegende Frage, ob dies echtes, originelles Denken ist oder nur eine beeindruckende Rekombination bestehenden Wissens.
Datalog im GPU-Turbomodus: So wird Logik endlich rasend schnell
Datalog, die oft unterschätzte Sprache für komplexe rekursive Queries, bekommt endlich ihren wohlverdienten Performance-Boost. Eine neue Studie zeigt, wie man Datalog-Programme auf GPUs optimieren kann, um selbst anspruchsvolle Logik-Abfragen massiv zu beschleunigen. Das ist ein Game-Changer für Bereiche wie statische Code-Analyse oder Datenbanken, wo Geschwindigkeit entscheidend ist.
Deep Learning: Theorie-Vakuum und Alchemie vor Lavoisier?
Elon Litman kritisiert den Zustand der Deep-Learning-Theorie: Aktuell gleiche die Disziplin eher 'Alchemie' vor Lavoisier. Die Forschung sei fragmentiert, arbeite mit widersprüchlichen Annahmen und riskiere durch immer mehr Daten und Parameter, wie Borges' Funes, die Fähigkeit zur Abstraktion zu verlieren.
DS4 & DeepSeek v4 Flash: Tweet-Quelle nicht verfügbar
Ein vielversprechender Titel über 'DS4, eine spezialisierte Inferenz-Engine für DeepSeek v4 Flash' führte ins Leere. Die verknüpfte Twitter-Quelle war aufgrund eines JavaScript-Fehlers nicht ladbar, wodurch der Inhalt und die genannten Details nicht verifiziert werden konnten. Eine fundierte Bewertung des vermeintlichen Durchbruchs bleibt daher leider aus.
KI-Modelle: Parameter und Compute entkoppeln für mehr Performance
Häufig werden Parameterzahl und Rechenaufwand bei KI-Modellen gleichgesetzt. Doch eine Studie von 2021 zeigt, dass beides entkoppelt betrachtet werden sollte. Mittels Hash Layers lassen sich Modelle vergrößern, ohne mehr Rechenleistung zu benötigen, während Staircase Attention mehr Compute ohne neue Parameter ermöglicht. Dies eröffnet neue Wege, um leistungsfähigere Modelle ressourceneffizient zu bauen.
Amateur (23) löst 60-Jahre-Mathe-Rätsel – GPT-5.4 mit neuem Weg
Liam Price, ein 23-jähriger Amateur ohne Mathematik-Ausbildung, hat ein 60 Jahre altes Erdős-Problem gelöst. Er nutzte dafür eine ChatGPT Pro-Subskription (GPT-5.4 Pro), welche auf einen einzigen Prompt hin eine Lösung mit einer völlig neuartigen Methode lieferte. Das zeigt, wie generative KI selbst komplexe mathematische Herausforderungen meistern kann, wo menschliche Intuition bisher an Grenzen stieß.
3D-Körper aus 8 Fragen: Ohne Foto, ohne GPU zum präzisen Avatar
Ein neues Verfahren generiert mit nur acht Fragen einen präzisen 3D-Körper, ganz ohne Fotos oder leistungsstarke GPUs. Ein kleines MLP verarbeitet die Eingaben in Millisekunden auf einer CPU und gibt 58 Anny-Body-Parameter aus. Dies übertrifft die Genauigkeit von Foto-Pipelines bei Umfängen und löst Datenschutz- sowie Kostenprobleme.
WaveFunctionCollapse: KI-Trick erschafft Welten aus einem Pixel-Schnipsel
WaveFunctionCollapse (WFC) ist ein faszinierendes Verfahren, das aus einem einzigen Beispielbild kohärente, unendliche Welten generieren kann – und das ganz ohne schwerfällige KI-Modelle. Es analysiert die Nachbarschaftsbeziehungen der Pixel im Input und setzt sie dann klug zu neuen Mustern zusammen, die überraschend vielseitig und ästhetisch ansprechend sein können. Ein geniales Konzept für alle, die prozedurale Generierung lieben, denn es zeigt, dass auch simple Algorithmen verblüffende Komplexität erzeugen können.
Karpathy's Loop erobert Hardware: KI designt CPU-Architekturen
Vergesst traditionelles Chip-Design! Ein neues Projekt nutzt Karpathy's Idee des iterativen Lernens, um eine KI eigenständig CPU-Architekturen entwerfen und optimieren zu lassen. Statt auf menschliche Expertise setzt man hier auf einen AI-Agenten, der im Simulations-Loop ständig bessere Designs findet. Das ist kein Gimmick, sondern ein faszinierender Proof-of-Concept, der zeigt, wie AI die Hardware-Entwicklung radikal verändern und zu völlig unkonventionellen Lösungen führen könnte.
PCA-Erweiterung: Polynom-Autoencoder verbessert Transformer-Embeddings
Ein Blogpost stellt eine Methode vor, die PCA für die Kompression von Transformer-Embeddings verbessert: Ein polynomialer Autoencoder (PAE). Dabei bleibt der Encoder eine einfache PCA, während ein quadratischer Decoder nicht-lineare Anteile der Embeddings erfasst. Diese seit 2017 bekannte, geschlossene Lösung reduziert den Informationsverlust im Vergleich zu reinem PCA und erreicht auf Benchmarks wie BEIR/FiQA eine deutlich höhere Retrieval-Qualität.
Deep Learning: Eine wissenschaftliche Theorie formiert sich
Das Paper argumentiert, dass eine wissenschaftliche Theorie des Deep Learning im Entstehen begriffen ist. Sie soll wichtige Eigenschaften und Statistiken von Trainingsprozessen, Repräsentationen, Gewichten und der Performance neuronaler Netze charakterisieren. Die Autoren fassen dazu bestehende Forschungsstränge zusammen und identifizieren fünf wachsende Arbeitsbereiche, die auf diese Theorie hindeuten.
Konvergente Evolution: Wie diverse Modelle Zahlen ähnlich repräsentieren
Entgegen der Black-Box-Annahme lernen unterschiedliche Sprachmodelle – darunter Transformer, RNNs und LSTMs – ähnliche periodische Zahlenrepräsentationen. Diese Konvergenz ist jedoch zweistufig: Während alle Modelle Fourier-Peaks zeigen, entwickeln nur manche geometrisch separierbare Features für die Modulo-Klassifikation. Die genaue Ausprägung der Zahlenrepräsentation hängt stark von Daten, Architektur und Trainingsdetails ab.
AndrewVos: Hör zu, wie deine KI an deinem Code leidet
Das GitHub-Projekt 'endless-toil' von AndrewVos trägt den provokanten Titel 'Hear your agent suffer through your code'. Dieser deutet an, dass es eine Methode bietet, das vermeintliche 'Leiden' eines KI-Agenten bei der Code-Bearbeitung akustisch wahrzunehmen. Weitere Details zur Funktionsweise sind im vorliegenden Auszug nicht ersichtlich, und das Projekt hat auf Hacker News bisher keine Resonanz gefunden (HN-Score: 0).
KI-Netze & Krypto: Ihre Algorithmen sind überraschend ähnlich
Auf den ersten Blick grundverschieden, teilen neuronale Netze und kryptografische Chiffren erstaunliche algorithmische Ähnlichkeiten. Sowohl RNNs als auch SHA-3 nutzen die Sponge-Konstruktion für sequentielle Verarbeitung, während Transformer und schnelle MACs auf parallele Ansätze mit Positionskodierungen setzen. Das Kernstück beider Systeme sind identisch wiederholte lineare und nichtlineare Schichten, die für das „Mischen“ der Daten sorgen.
DeepSeek-V4 Day-0: SGLang & Miles für schnelle Inferenz & Verified RL
Das SGLang- und Miles-Team liefert Day-0-Unterstützung für DeepSeek-V4, inklusive Inferenz und RL-Training. Ihr Open-Source-Stack ist der erste, der DeepSeek-V4s hybride Sparse-Attention-Architektur am Launch-Tag bedient und trainiert, mit Performance-Optimierungen wie ShadowRadix und HiSparse. Der Stack unterstützt zudem Verified RL, wobei Miles als Backend-Support für das Reinforcement Learning dient.
Unzensiert ist Illusion: KI-Modelle zögern bei "heiklen" Wörtern
Der Begriff 'unzensierte' KI ist ein Mythos. Eine Studie deckt den 'Flinch'-Effekt auf: Sicherheitsgefilterte Modelle wie Qwen3.5-9b-base zeigen eine drastisch geringere Wahrscheinlichkeit für kritische Wörter ('deportation') als ungefilterte Modelle wie Pythia-12b – ein Unterschied von bis zu 16.000x. Selbst das als 'unzensiert' beworbene Modell 'heretic' (ein Qwen3.5-9B-Derivat) weigert sich, bestimmte Begriffe auszuspucken, was die Frage aufwirft, ob diese Modelle nicht doch heimlich zensiert sind.
SIRA: KI presst Suchrunden zu einer intelligenten Aktion
Vergesst endlose Suchrunden! Ein neues Paper stellt den 'SuperIntelligent Retrieval Agent' (SIRA) vor, eine KI, die mehrstufige Informationssuche in eine einzige, zielgerichtete Retrieval-Aktion komprimiert. Anders als herkömmliche RAG-Systeme fragt SIRA nicht nur nach relevanten Begriffen, sondern identifiziert jene, die gewünschte Evidenz präzise von unnötigem Rauschen trennen. Diese 'Superintelligenz' wird durch LLMs ermöglicht, die Dokumente offline anreichern und auf Abfrageseite Evidenz vorhersagen.
LLMs auf Diät: Intels AutoRound macht KI-Modelle schlanker
Intels neues 'AutoRound'-Verfahren ist ein Quantisierungsalgorithmus, der Large Language Models (LLMs) drastisch verkleinern soll, bei gleichzeitigem Erhalt ihrer Genauigkeit. Das ist entscheidend, denn effizientere, schlankere Modelle lassen sich auf weniger leistungsstarker Hardware betreiben und senken so die Betriebskosten. Ein echter Boost für alle, die KI-Anwendungen skalieren wollen, ohne dafür ein Rechenzentrum bauen zu müssen.
Unsloth & NVIDIA: 25% Boost für dein LLM-Feintuning!
Unsloth und NVIDIA haben ihre Kräfte gebündelt, um das Feintuning von Large Language Models (LLMs) auf NVIDIA GPUs zu optimieren. Durch gezielte Verbesserungen beseitigen sie versteckte Engpässe und erzielen eine kombinierte Beschleunigung der Trainingsgeschwindigkeit um bis zu 25%. Die Optimierungen konzentrieren sich darauf, redundante Buchungsvorgänge zu reduzieren und Kopiervorgänge parallel zur eigentlichen Rechenarbeit ablaufen zu lassen.