Suche
Google schärft die Krallen: Neue AI-Chips gegen Nvidias Dominanz
Google hat die nächste Generation seiner Custom-AI-Chips, die Tensor Processing Units (TPUs), vorgestellt, die sowohl fürs Training als auch die Inferenz von KI-Modellen gedacht sind. Damit zielen sie direkt auf Nvidias Marktbeherrschung ab und zeigen Googles Entschlossenheit, seine Abhängigkeit von externen Chip-Herstellern zu reduzieren. Es ist ein klares Signal: Der Kampf um die Vorherrschaft in der KI-Hardware-Landschaft wird immer intensiver.
Indien subventioniert H100-GPUs: KI-Zukunft für fast nichts?
Indien bietet H100-GPUs über die IndiaAI Mission für unglaubliche 78 Cent pro Stunde an, während Startups, die „indigene foundational models“ entwickeln, diese sogar kostenlos erhalten. Im krassen Gegensatz dazu liegen kommerzielle Preise im Land bei bis zu vier Dollar pro Stunde für dieselbe Hardware. Der Artikel hinterfragt, ob dies eine smarte Industriepolitik ist, die GPUs als öffentliche Güter behandelt, aber gleichzeitig traditionelle Profitberechnungen indischer KI-Startups massiv verzerrt.
Googles 8. Gen TPUs: Zwei Chips für die 'Agentic Era'
Google positioniert seine achte Generation TPUs, explizit als 'zwei Chips', für die kommende 'agentic era'. Dies geht aus einem Blogpost auf der offiziellen Google-Seite hervor. Weitere Details zur Performance oder Spezifikationen sind im vorliegenden Auszug nicht enthalten.
Unsloth & NVIDIA: 25% Boost für dein LLM-Feintuning!
Unsloth und NVIDIA haben ihre Kräfte gebündelt, um das Feintuning von Large Language Models (LLMs) auf NVIDIA GPUs zu optimieren. Durch gezielte Verbesserungen beseitigen sie versteckte Engpässe und erzielen eine kombinierte Beschleunigung der Trainingsgeschwindigkeit um bis zu 25%. Die Optimierungen konzentrieren sich darauf, redundante Buchungsvorgänge zu reduzieren und Kopiervorgänge parallel zur eigentlichen Rechenarbeit ablaufen zu lassen.
KI-Compute-Knappheit ist real: Preise steigen, Zugang begrenzt
Die AI-Branche erlebt erstmals seit den 2000ern eine echte Lieferkettenkrise bei Rechenleistung. GPU-Mietpreise für Nvidia Blackwell Chips stiegen in nur zwei Monaten um 48%, während CoreWeave seine Preise um 20% anhob und Vertragslaufzeiten verlängerte. Der Zugang zu modernsten KI-Modellen wird zum privilegierten Gut, da selbst große Player wie OpenAI Compute-Grenzen spüren und Startups vor noch größere Hürden gestellt werden.
GLM-5V-Turbo: Ein Schritt zum nativen Fundament für Multimodal-KI
GLM-5V-Turbo wird als ein Schritt hin zu nativen Fundamentmodellen für multimodale Agenten vorgestellt. Das Modell zielt darauf ab, eine grundlegende Basis für KI-Systeme zu schaffen, die von Natur aus für die Verarbeitung und Nutzung verschiedener Modalitäten konzipiert ist.
KI-Inferenz: 10% schneller dank cleverem GPU-Cache in SGLang
Multimodale KI-Modelle sind vielversprechend, aber ihre Inferenz-Engines noch nicht optimiert. Modal.com demonstriert, wie SGLang’s Performance um über 10% gesteigert wurde, indem aufwendige Buchhaltung für geteilten GPU-Speicher durch einen einfachen Cache-Lookup im Scheduler ersetzt wurde. Dieser sogenannte 'Handle Cache' führte zu signifikanten Verbesserungen bei Durchsatz und Latenz auf multimodalen Workloads.
Bio-IT im Eigenheim: DNA-Sequenzierung mit DGX Spark & Mac Studio
Die Tage, in denen DNA-Sequenzierung ausschließlich Großlaboren vorbehalten war, könnten gezählt sein. Ein Enthusiast demonstriert, wie man mit einer Kombination aus leistungsstarker NVIDIA DGX-Technologie (DGX Spark) und einem Mac Studio komplexe Bio-IT-Aufgaben direkt zu Hause löst. Das unterstreicht eindrucksvoll die zunehmende Demokratisierung von Hochleistungsrechnen für wissenschaftliche Zwecke und das enorme Potenzial für Citizen Science und personalisierte Medizin.
Amazon investiert 5 Mrd. in Anthropic: 13 Mrd. Gesamt und 100 Mrd. AWS-Deal
Amazon investiert weitere 5 Milliarden Dollar in Anthropic, womit die Gesamtbeteiligung auf 13 Milliarden Dollar steigt. Im Gegenzug verpflichtet sich Anthropic, über die nächsten zehn Jahre 100 Milliarden Dollar auf AWS auszugeben und dabei bis zu 5 GW an Rechenkapazität zu nutzen, speziell für Amazons KI-Chips wie Trainium. Ein strategischer Schachzug, der Anthropic an AWS bindet und Amazons Cloud-Dominanz im KI-Rennen untermauert.
TorchTPU: PyTorch fliegt jetzt nativ auf Google TPUs – endlich!
Bislang war PyTorch auf Google TPUs eher ein Fall für Workarounds und Hacks. Mit TorchTPU schließt Google diese Lücke und lässt PyTorch jetzt nativ und im Google-Maßstab auf den eigenen KI-Beschleunigern performen. Das ist ein Befreiungsschlag für PyTorch-Entwickler, die nun die volle Power der TPUs ohne Umwege nutzen können und Google damit zum ernsthaften Player für die dominante AI-Framework-Community macht.
Intel Arc Pro B70 im Puget Systems Test: Relevant für KI-Workflows?
Puget Systems hat einen Artikel mit dem Titel „Intel Arc Pro B70 Review“ veröffentlicht. Das Unternehmen bietet auch spezialisierte Systeme und Empfehlungen für „AI Development & Deployment“ sowie „Inference Servers for Scaling AI & LLMs“ an. Dieser Kontext macht den Test der Profi-GPU potenziell relevant für die Bewertung von Hardware im KI-Umfeld.
antirez' ds4: Lokale DeepSeek 4 Flash AI-Inferenz für Metal
GitHub-Nutzer antirez hat das Projekt `ds4` veröffentlicht, eine lokale Inferenz-Engine für DeepSeek 4 Flash. Es wurde für die Ausführung auf Systemen mit Metal-Unterstützung entwickelt. Damit wird DeepSeek 4 Flash direkt auf kompatibler Hardware verfügbar.
DeepSeek V4: Fast Frontier-KI, Open-Weights-Riese – unschlagbar günstig
Die neuen DeepSeek V4 Modelle Pro und Flash betreten die Bühne. Mit 1.6T Parametern ist DeepSeek-V4-Pro das größte Open-Weights-Modell. Das Beeindruckende ist der Preis: Das Flash-Modell unterbietet in den Input-Kosten sogar GPT-5.4 Nano und macht High-End-KI so unschlagbar günstig.
AMDs ROCm auf Strix Halo: BIOS- & GRUB-Tweaks für PyTorch-KI
Marco Inacio teilt seine ersten Erfahrungen mit der Einrichtung von AMDs ROCm auf einer Strix Halo APU unter Ubuntu 24.04 LTS. Um PyTorch zum Laufen zu bringen, waren spezifische BIOS-Updates, angepasste Einstellungen für den Shared-Video-Speicher und GRUB-Konfigurationsänderungen erforderlich. Die PyTorch-Installation selbst wurde als "somewhat tricky" beschrieben, konnte aber letztendlich erfolgreich abgeschlossen werden.
M4 & lokale KI: Der Kampf um unabhängige Inference – ein Erfahrungsbericht
Lokale KI-Modelle auf einem M4-Chip mit 24GB Speicher zum Laufen zu bringen, ist kein Kinderspiel, aber machbar. Der Autor hat nach intensiven Tests eine stabile Konfiguration gefunden: Qwen 3.5-9B (4b quant) läuft über LM Studio mit respektablen 40 Tokens/Sekunde und 128K Kontextfenster. Damit ist eine spannende Unabhängigkeit von großen Cloud-Anbietern für grundlegende Aufgaben möglich, wenn auch nicht auf SOTA-Niveau.
GPU-Monitoring wird endlich präziser: Utilyze sticht nvtop aus
Keine Lust mehr auf Rätselraten bei der GPU-Auslastung? Utilyze ist ein neues Open-Source-Tool, das Schluss machen will mit ungenauen Messungen beliebter Tools wie `nvtop`. Es verspricht, deutlich präzisere Daten zu liefern, was nicht nur für KI-Entwickler, sondern für jeden, der seine teuren GPU-Ressourcen effizient nutzen will, ein Game-Changer sein könnte.
KI-Chips: Warum FP4 das nächste Präzisions-Opfer ist
Während traditionelle Programmierung nach Präzision strebte, kehrt die KI-Branche diesen Trend um: Neurale Netze verlangen nach immer weniger Bits, um riesige Modelle in den Speicher zu bekommen. FP4 ist hier ein 4-Bit-Gleitkommaformat, das das erste Bit zur Repräsentation des Vorzeichens nutzt. Diese drastischen Kompromisse bei der Präzision sind notwendig, um den dynamischen Bereich zu erhalten, den reine Integer-Formate nicht bieten können.
Datalog im GPU-Turbomodus: So wird Logik endlich rasend schnell
Datalog, die oft unterschätzte Sprache für komplexe rekursive Queries, bekommt endlich ihren wohlverdienten Performance-Boost. Eine neue Studie zeigt, wie man Datalog-Programme auf GPUs optimieren kann, um selbst anspruchsvolle Logik-Abfragen massiv zu beschleunigen. Das ist ein Game-Changer für Bereiche wie statische Code-Analyse oder Datenbanken, wo Geschwindigkeit entscheidend ist.
KI-Goldrausch: Mainboard-Verkäufe crashen um 25%, PC-Markt am Limit
Der PC-Markt erlebt gerade einen massiven Kater: Die Verkäufe von Mainboards sind um über 25% eingebrochen, da Chiphersteller ihre Kapazitäten lieber für den lukrativen KI-Sektor reservieren. Dieser ungleiche Tausch bedeutet für PC-Enthusiasten und Hersteller wie ASUS, Gigabyte und MSI längere Wartezeiten und weniger Auswahl, während der KI-Goldrausch unaufhaltsam weitergeht.
Karpathy's Loop erobert Hardware: KI designt CPU-Architekturen
Vergesst traditionelles Chip-Design! Ein neues Projekt nutzt Karpathy's Idee des iterativen Lernens, um eine KI eigenständig CPU-Architekturen entwerfen und optimieren zu lassen. Statt auf menschliche Expertise setzt man hier auf einen AI-Agenten, der im Simulations-Loop ständig bessere Designs findet. Das ist kein Gimmick, sondern ein faszinierender Proof-of-Concept, der zeigt, wie AI die Hardware-Entwicklung radikal verändern und zu völlig unkonventionellen Lösungen führen könnte.