Suche
OpenClaw vs. MS-DOS: Eine Lektion in fehlender Systemsicherheit
Der Autor setzt sich kritisch mit OpenClaw auseinander und zieht Parallelen zur mangelnden Sicherheit von MS-DOS. Er erinnert daran, wie DOS durch fehlende Isolation direkten Kernel-Zugriff erlaubte und Daten ungeschützt speicherte. Eine detaillierte Anekdote über Wal-Mart's unsichere MS-DOS-Kassensysteme illustriert die Risiken und die 'zero safety' jener Ära.
KI: Unser unkritisches Vertrauen ist das wahre Sicherheitsrisiko.
Generative KI ist mächtig und nützlich, doch birgt sie Gefahren durch die unkritische Akzeptanz ihrer Ergebnisse. Der Autor kritisiert Designentscheidungen, die Nutzer dazu verleiten, KI als unfehlbare Autorität statt als Ausgangspunkt zu sehen, und fordert deutliche Warnhinweise. Im Gegenzug zu Asimovs Robotergesetzen werden 'Drei Inverse Gesetze der KI' als Diskussionsgrundlage präsentiert.
Anthropic feilt an Claude Opus 4.7: Mehr Tools, mehr Kinderschutz
Simon Willison analysiert die aktualisierten System-Prompts von Claude Opus 4.7 und entdeckt signifikante Änderungen. Auffällig sind die massive Erweiterung der Kinderschutzanweisungen, die nun in einem speziellen Tag gekapselt sind, sowie die Erwähnung neuer Tools wie "Claude in PowerPoint". Diese Anpassungen zeigen, dass Anthropic seine Modelle nicht nur trainiert, sondern auch deren Kernverhalten über detaillierte Prompt-Instruktionen präzise steuert.
Unzensiert ist Illusion: KI-Modelle zögern bei "heiklen" Wörtern
Der Begriff 'unzensierte' KI ist ein Mythos. Eine Studie deckt den 'Flinch'-Effekt auf: Sicherheitsgefilterte Modelle wie Qwen3.5-9b-base zeigen eine drastisch geringere Wahrscheinlichkeit für kritische Wörter ('deportation') als ungefilterte Modelle wie Pythia-12b – ein Unterschied von bis zu 16.000x. Selbst das als 'unzensiert' beworbene Modell 'heretic' (ein Qwen3.5-9B-Derivat) weigert sich, bestimmte Begriffe auszuspucken, was die Frage aufwirft, ob diese Modelle nicht doch heimlich zensiert sind.
Können LLMs reale Systeme in TLA+ modellieren?
Das Specula-Team untersuchte, ob LLMs reale Systeme präzise in TLA+ modellieren können. Ein Versuch mit Claude zeigte: Die erzeugte TLA+-Spezifikation für Etcd war syntaktisch korrekt und bestand den Model-Check, rekapitulierte aber die Spezifikation des Raft-Papers, statt Etcd-spezifische Details abzubilden. Dies wirft die kritische Frage auf, wie man feststellt, ob eine KI ein System tatsächlich modelliert oder nur Trainingsdaten wiedergibt.
KI-Agenten: Harness außerhalb des Sandkastens für Multi-User!
Ein Agent Harness steuert LLMs und orchestriert Tool-Aufrufe. Der Artikel diskutiert zwei Architekturen – Harness innerhalb oder außerhalb einer Sandbox – und deren Auswirkungen auf Sicherheit und Funktionalität. Für Multi-User-Systeme, so der Autor, ist das Harness außerhalb der Sandbox die bessere Wahl, welches Tools über eine API in der Sandbox ausführt.
CC-Canary: Dein Frühwarnsystem gegen die Tücken von Claude-Updates
Mit dem CC-Canary hat delta-hq ein Open-Source-Tool geschaffen, das als Frühwarnsystem für Regressionen in Claude-Modellen dient. Wer auf LLMs baut, weiß: Modell-Updates können unbemerkt zu fatalen Verhaltensänderungen führen. Dieser 'Kanarienvogel' hilft dir, solche Überraschungen zu vermeiden und die Stabilität deiner KI-Anwendungen zu sichern – ein Muss für jeden, der nicht blind fliegen will.
CrabTrap: Brex sichert KI-Agenten mit smartem LLM-Türsteher
Stell dir vor, deine KI-Agenten bekommen einen intelligenten Aufpasser: Brex' CrabTrap ist ein HTTP-Proxy, der jeden API-Request von KIs durch eine Art LLM-Gericht schleust. Bevor deine KI-Agenten also auf eigene Faust Unsinn anstellen oder sensible Daten löschen, entscheidet ein Gatekeeper-LLM, ob die Aktion wirklich im Sinne des Erfinders ist. Das ist nicht nur clever, sondern auch eine essenzielle Sicherung, um autonome Agenten überhaupt erst vertrauenswürdig in der Produktion einzusetzen.
LLMs sagen 'Nein': Forscher finden den Master-Schalter
Stell dir vor, du findest den Master-Schalter für das ethische Gewissen deiner KI. Forschern ist genau das gelungen: Sie haben herausgefunden, dass das 'Nein' von LLMs nicht zufällig ist, sondern von einer einzigen, manipulierbaren 'Verweigerungsrichtung' im Modell gesteuert wird. Das ist ein Game-Changer für die Sicherheitssteuerung und ermöglicht präzisere Kontrolle über die Grenzen der KI.
Claude: Ständiger Malware-Reminder blockiert Subagenten wieder
Im Claude-Code-Repository von Anthropic wurde eine Regression festgestellt: Eine Malware-Erinnerung, die bei jedem Lesevorgang auftritt, führt erneut dazu, dass nachgeschaltete 'Subagenten' die Weiterverarbeitung verweigern. Ein zuvor implementierter Fix, der in Version v2.1.92 enthalten war, scheint in der aktuellen Version v2.1.111 nicht mehr zu greifen.
IBM Granite 4.1: Neue KI-Modellfamilie für Unternehmen – umfassend & sicher
IBM hat die Granite 4.1 Familie von Foundation Models veröffentlicht, die explizit für Unternehmenseinsätze optimiert sind. Diese Sammlung umfasst Sprach-, Bild-, Sprach-, Embedding- und Guardian-Modelle in Größen von 3B, 8B und 30B Parametern, welche beeindruckende Leistungen bei Tool-Calling, Instruktionsbefolgung, Transkription und Harm-Detektion bieten. Die Modelle sind auf zahlreichen Plattformen wie Hugging Face und watsonx verfügbar, um integrierte und sichere KI-Workflows für Entwickler zu ermöglichen.
Antirez: KI-Sicherheit ist kein Proof of Work – Qualität zählt
Salvatore Sanfilippo (antirez.com) stellt klar: KI-Cybersicherheit ist kein 'Proof of Work'. Der Schlüssel liegt nicht in mehr GPUs, sondern in der Intelligenz der Modelle. Nur wirklich bessere KI kann komplexe Schwachstellen wie den OpenBSD SACK-Bug erkennen und verstehen, während schwächere Modelle lediglich oberflächliche Muster abgleichen und halluzinieren.
Flipbook.page: Live-Stream direkt aus einem Modell
Die Website flipbook.page bewirbt sich mit dem Titel 'Website streamed live directly from a model'. Der einzige verfügbare Quellinhalt ist das Wort 'Flipbook', was unklar lässt, welche Art von 'Modell' hier Inhalte live streamt. Diese extrem knappen Informationen erschweren eine Einschätzung der dahinterliegenden Technologie oder des genauen Anwendungsfalls erheblich.
OpenAI jagt Bio-Bugs in GPT 5.5: KI als Biowaffe verhindern?
OpenAI legt ein Biosicherheits-Kopfgeldprogramm auf, um Schwachstellen in ihren fortschrittlichsten Modellen – insbesondere den kommenden Frontier-Modellen wie GPT 5.5 – zu finden, die für biologische Bedrohungen missbraucht werden könnten. Mit bis zu 25.000 Dollar pro Fund sollen Forscher Wege identifizieren, wie KIs zur Entwicklung von Biowaffen oder Pandemien genutzt werden könnten. Das ist kein Spaß: Es zeigt die wachsende Besorgnis über die Dual-Use-Potenziale von KI und wie dringend deren Kontrolle ist, bevor es zu spät ist.
GLM-5V-Turbo: Ein Schritt zum nativen Fundament für Multimodal-KI
GLM-5V-Turbo wird als ein Schritt hin zu nativen Fundamentmodellen für multimodale Agenten vorgestellt. Das Modell zielt darauf ab, eine grundlegende Basis für KI-Systeme zu schaffen, die von Natur aus für die Verarbeitung und Nutzung verschiedener Modalitäten konzipiert ist.
OpenAI: Erst auf Anthropic geschimpft, jetzt selbst den Cyber-Hahn zugedreht.
Achtung, Ironie! OpenAI, die Anthropic noch für die Drosselung ihres Mythos-Modells kritisierten, ziehen bei ihrem eigenen neuen Modell "Cyber" jetzt die Notbremse. Angeblich aus Sicherheitsgründen – ein Move, der stark nach Doppelmoral riecht und vermuten lässt, dass selbst die Big Player mit der Kontrolle ihrer eigenen Kreationen kämpfen.
Firefox wird zum Fort Knox: KI-Power gegen Sicherheitslücken
Mozilla packt bei der Sicherheit von Firefox richtig an und setzt dabei auf KI: Die "Claude Mythos Preview" hilft, Schwachstellen proaktiv zu identifizieren und den Browser massiv zu härten. Statt rein manueller Prüfungen sorgt die AI für einen smarten, zukunftsorientierten Schutz. Ein cleverer Move, der zeigt, dass KI eben mehr kann als nur Texte generieren.
Stop Flock: Stability AI fordert Opt-Out für AI-Training – Machtwechsel?
Die Initiative 'Stop Flock' von Stability AI bringt frischen Wind in die Debatte um AI-Training und Copyright. Sie schlägt einen `noai`-Standard für `robots.txt` vor, der Creatorn ein einfaches Opt-Out ermöglichen soll. Ein längst überfälliger Schritt, der die ethische Dimension von AI-Modellen endlich ernst nimmt und die Machtverhältnisse neu ordnet.
Konvergente Evolution: Wie diverse Modelle Zahlen ähnlich repräsentieren
Entgegen der Black-Box-Annahme lernen unterschiedliche Sprachmodelle – darunter Transformer, RNNs und LSTMs – ähnliche periodische Zahlenrepräsentationen. Diese Konvergenz ist jedoch zweistufig: Während alle Modelle Fourier-Peaks zeigen, entwickeln nur manche geometrisch separierbare Features für die Modulo-Klassifikation. Die genaue Ausprägung der Zahlenrepräsentation hängt stark von Daten, Architektur und Trainingsdetails ab.
Nutzt Gas Town Ihre LLM-Credits für sich? Eine heikle Vertrauensfrage
Direkt ins Schwarze trifft die Kritik am AI-Tool Gas Town: Ein GitHub-Issue wirft die Frage auf, ob die Plattform klammheimlich Nutzer-LLM-Credits zweckentfremdet, um ihre eigenen Modelle zu füttern. Ein absolutes No-Go! Das wäre nicht nur ein massiver Vertrauensbruch, sondern auch eine miese Kostenfalle für User, die ahnungslos für die Profitoptimierung eines Dritten zahlen.