Suche
Apple's ml-sharp im Browser: Gaussian Splats via ONNX Runtime Web
Ein neues GitHub-Projekt präsentiert ein Web-Playground, das Apples ml-sharp Modell im Browser zum Laufen bringt. Ziel ist die Erstellung von Gaussian Splats direkt im Browser, realisiert mithilfe von ONNX Runtime Web. Damit wird eine spezifische 3D-Rekonstruktions-Technologie von Apple clientseitig zugänglich gemacht.
Googles Gemma 4: KI-Power direkt und offline auf dem iPhone
Der Google-KI-Spross Gemma 4 landet überraschend nativ und komplett offline auf dem iPhone – dank des MLX-Frameworks von Apple wird die Smartphone-KI zur Realität. Das ist kein Trick: Volle Inferenz auf dem Gerät bedeutet weg von der Cloud, mehr Privatsphäre und rasend schnelle Reaktionen, die neue App-Erlebnisse ermöglichen könnten. Zwar noch in den Kinderschuhen, zeigt diese Entwicklung, dass das 'iPhone mit Hirn' schneller kommt als gedacht und die Grenzen zwischen lokaler und Cloud-AI verschwimmen.
Vergiss die Cloud: Google Gemma bringt Offline-AI aufs iPhone
Google Gemma, die AI von Google, läuft jetzt nativ und komplett offline auf dem iPhone. Das ist ein echtes Statement: Statt auf teure Cloud-Server zu warten, arbeitet AI-Power nun direkt in deiner Hosentasche – und das blitzschnell und datenschutzfreundlich. Für Unternehmen und Entwickler bedeutet dies eine massive Verschiebung hin zu mehr Autonomie und neuen Möglichkeiten für lokale, personalisierte AI-Anwendungen.
Lokale AI: Robust, privat, eigenständig – Schluss mit Cloud-Abhängigkeit
Der Autor plädiert dafür, dass lokale AI-Lösungen die neue Norm werden müssen. Cloud-basierte AI-Modelle machen Software fragil, datenschutzrechtlich problematisch und abhängig von externen Servern, Netzwerkbedingungen und Abrechnungen. Stattdessen sollten lokale Geräte ihre leistungsstarken Neural Engines nutzen, um Privatsphäre zu wahren und Kosten sowie Komplexität zu reduzieren.
Google Gemma 4: Native Offline-KI jetzt auf dem iPhone
Google Gemma 4 läuft jetzt nativ und mit voller Offline-KI-Inferenz auf dem iPhone. Dies markiert einen wichtigen Schritt für mobile KI, der die Cloud-Abhängigkeit reduziert und neue Anwendungsfelder für datenschutzsensible oder latenzkritische Aufgaben eröffnet.
Ternärer Bonsai: KI schrumpft auf 1.58 Bit – und wird cleverer
Während der Hype um riesige Sprachmodelle tobt, zeigt Ternary Bonsai eine andere, dringend benötigte Richtung auf: Extrem effiziente KI. Diese neuen Modelle setzen auf ternäre Gewichte (-1, 0, 1), was die Bitbreite auf schlappe 1.58 Bits pro Parameter drückt und sie dennoch erstaunlich leistungsstark macht. Das ist nicht nur ein netter Trick, sondern ein echter Durchbruch für performante KI auf der Edge.
LLMs auf Diät: Intels AutoRound macht KI-Modelle schlanker
Intels neues 'AutoRound'-Verfahren ist ein Quantisierungsalgorithmus, der Large Language Models (LLMs) drastisch verkleinern soll, bei gleichzeitigem Erhalt ihrer Genauigkeit. Das ist entscheidend, denn effizientere, schlankere Modelle lassen sich auf weniger leistungsstarker Hardware betreiben und senken so die Betriebskosten. Ein echter Boost für alle, die KI-Anwendungen skalieren wollen, ohne dafür ein Rechenzentrum bauen zu müssen.
Cloudflare: Globale Inferenz für KI-Agenten – schnell & nah dran
Cloudflare mischt den KI-Markt auf, aber anders als erwartet: Statt eigene, gigantische Modelle zu trainieren, positioniert sich der Netzwerk-Gigant mit seiner neuen AI-Plattform als globaler Turbo für die *Inferenz* bestehender Modelle. Speziell zugeschnitten auf KI-Agenten, soll diese Serverless-Lösung das Internet zum Betriebssystem für künstliche Intelligenzen machen – ohne eigene Hardware-Alpträume. Das ist ein cleverer Schachzug für extrem schnelle und kosteneffiziente KI-Anwendungen am Netzwerkrand.
Wasm & Apple Silicon: KI-Turboboost dank Zero-Copy-GPU-Power
Ein cleverer Trick macht KI-Inferenzen auf Apple Silicon blitzschnell: Statt Daten zwischen CPU und GPU zu kopieren, nutzen Entwickler jetzt Apples Unified Memory Architektur direkt aus WebAssembly. Das bedeutet Zero-Copy-Power, die Performance-Engpässe bei ML-Modellen radikal eliminiert und eine neue Ära für effiziente KI-Anwendungen einläutet.
Chrome Prompt API: KI rockt den Browser – bye bye Cloud-Server?
Chrome experimentiert mit dem Prompt API, um AI-Modelle direkt in den Browser zu bringen. Das ist keine Spielerei: Entwickler können so KI-Features direkt auf dem Gerät des Nutzers ausführen, was die Daten privat hält, teure Serverkosten spart und Latenzen eliminiert. Stell dir vor, du kannst Texte zusammenfassen oder generieren, ohne jemals deine Daten ins Netz schicken zu müssen.
GoModel: Das Open-Source AI-Gateway, das 44x leichter ist als LiteLLM
GoModel tritt als neues Open-Source AI-Gateway aus Go an und fordert etablierte Lösungen wie LiteLLM heraus – mit einem Paukenschlag: Es soll ganze 44x leichter sein. Das bedeutet für Entwickler nicht nur deutlich weniger Ressourcenverbrauch und somit niedrigere Betriebskosten beim Orchestrieren ihrer AI-Modelle, sondern auch eine schlankere, agilere Infrastruktur. Ein klarer Weckruf und potenzieller Game-Changer für alle, die Effizienz lieben.
M4 & lokale KI: Der Kampf um unabhängige Inference – ein Erfahrungsbericht
Lokale KI-Modelle auf einem M4-Chip mit 24GB Speicher zum Laufen zu bringen, ist kein Kinderspiel, aber machbar. Der Autor hat nach intensiven Tests eine stabile Konfiguration gefunden: Qwen 3.5-9B (4b quant) läuft über LM Studio mit respektablen 40 Tokens/Sekunde und 128K Kontextfenster. Damit ist eine spannende Unabhängigkeit von großen Cloud-Anbietern für grundlegende Aufgaben möglich, wenn auch nicht auf SOTA-Niveau.
WebGPU-Power: Gemma 4 E2B zeichnet Excalidraw direkt im Browser
Diese neue Demo zeigt, wie Googles Gemma 4 E2B KI direkt im Browser – powered by WebGPU – Text-Prompts in Excalidraw-Zeichnungen verwandelt. Das 3.1 GB große Modell läuft komplett lokal auf dem Desktop (Chrome 134+). Es erzeugt kompakten Code anstelle von umfangreichen JSON-Daten für effiziente Diagramme.
KI-Inferenz: 10% schneller dank cleverem GPU-Cache in SGLang
Multimodale KI-Modelle sind vielversprechend, aber ihre Inferenz-Engines noch nicht optimiert. Modal.com demonstriert, wie SGLang’s Performance um über 10% gesteigert wurde, indem aufwendige Buchhaltung für geteilten GPU-Speicher durch einen einfachen Cache-Lookup im Scheduler ersetzt wurde. Dieser sogenannte 'Handle Cache' führte zu signifikanten Verbesserungen bei Durchsatz und Latenz auf multimodalen Workloads.
Eden AI: Eine API für alle KI-Modelle – einfach, robust, kontrolliert
Eden AI bietet eine einzige API für den Zugriff auf führende KI-Modelle, von LLMs bis zu spezialisierten Modellen für Sprache oder Bild. Die Plattform ermöglicht Smart Routing, Fallbacks und volle Kontrolle über Kosten, Performance und Ausführungsregionen. Damit lassen sich Integrationen vereinfachen, Kosten senken und Risiken durch Modell-Ausfälle minimieren.
Lokal-LLMs im Flieger: MacBook M5 Max stemmt 10 Stunden offline
Ein Autor hat auf einem 10-Stunden-Flug getestet, wie leistungsfähig lokale LLMs wie Gemma 4 31B und Qwen 4.6 36B auf einem MacBook Pro M5 Max mit 128GB sind. Über LM Studio generierte er ein komplexes Billing-Tool und verarbeitete Millionen von Tokens, wobei die Qualität für spezifische Aufgaben mit Frontier-Modellen mithalten konnte. Grenzen zeigten sich bei Akkulaufzeit (1% pro Minute), Hitze und Context-Länge (Abbau nach 100k Tokens), was aber die beeindruckende Offline-Performance nicht schmälert.
3D-Körper aus 8 Fragen: Ohne Foto, ohne GPU zum präzisen Avatar
Ein neues Verfahren generiert mit nur acht Fragen einen präzisen 3D-Körper, ganz ohne Fotos oder leistungsstarke GPUs. Ein kleines MLP verarbeitet die Eingaben in Millisekunden auf einer CPU und gibt 58 Anny-Body-Parameter aus. Dies übertrifft die Genauigkeit von Foto-Pipelines bei Umfängen und löst Datenschutz- sowie Kostenprobleme.
Mljar Studio: Lokaler AI-Analyst macht Schluss mit Daten-Chaos im Notebook
Mljar Studio stellt sich als Desktop-App vor, die deine Datenanalyse mit KI revolutionieren will. Der Clou: Alles läuft lokal, was Datenschutzbedenken bei sensiblen Informationen elegant umschifft, und die Ergebnisse werden als saubere, reproduzierbare Python-Notebooks geliefert. Für Data Scientists könnte das der lang ersehnte Boost sein, um sich von repetitivem Code zu verabschieden und mehr Zeit für echte Insights zu haben.
Hae-OLS: LLM-Gedächtnis-Booster für schlanken Cache, mehr Kontext
LLMs kämpfen mit langen Kontexten, weil ihr KV-Cache massiv RAM frisst. 'Hae-OLS' bietet eine Lösung: Es fasst den Cache mit hoher Präzision zusammen, indem es wichtige Tokens via Entropie erkennt und den Rest effizient mittels Low-Rank-Rekonstruktion verarbeitet. Das Ergebnis? Längere Kontexte mit weniger Speicherbedarf, ohne Leistungseinbußen – ein smarter Move für jeden LLM-Einsatz.
KI-Chips: Warum FP4 das nächste Präzisions-Opfer ist
Während traditionelle Programmierung nach Präzision strebte, kehrt die KI-Branche diesen Trend um: Neurale Netze verlangen nach immer weniger Bits, um riesige Modelle in den Speicher zu bekommen. FP4 ist hier ein 4-Bit-Gleitkommaformat, das das erste Bit zur Repräsentation des Vorzeichens nutzt. Diese drastischen Kompromisse bei der Präzision sind notwendig, um den dynamischen Bereich zu erhalten, den reine Integer-Formate nicht bieten können.