Code Mode

Das Modell schluckt das Harness

Pedro Domingos schreibt „the model swallows the harness“, Elon Musk antwortet mit Tesla FSD, und Claude Code bekommt einen Code Mode, in dem Read, Edit und Bash nur noch Funktionen sind. Was dabei wirklich verschwindet, was bleibt, und wer den Code liest, bevor er läuft.


„That didn’t take long: the model swallows the harness.“ Mehr schreibt Pedro Domingos nicht. Dazu ein Link auf ein Paper von Alvin Zhang und Kollegen, eingereicht am 28. September. Es trainiert ein Modell darauf, das Harness eines anderen Modells umzuschreiben, mit dem Feedback aus Ausführungen als Signal und ohne dass sich ein Gewicht ändert. Das Wort „swallow“ steht im Paper nicht. Ich lese den Satz als Zuspitzung: Das Harness, also die Schicht aus Prompts, Tools und Kontrollfluss, die ein Modell zum Agenten macht, wird jetzt von dem Ding geschrieben, das sie umgeben soll.

Unter dem Post antwortet Elon Musk: „Same thing happened with Tesla FSD. The model ate more and more of the C++ code, until there was nothing left.“ Ob das stimmt, kann ich von außen nicht prüfen. Es ist seine Beschreibung der eigenen Firma. Als Bild taugt es trotzdem: Der Code drumherum schrumpft, das Modell wächst in den frei werdenden Platz.

Das aktuellste Beispiel liegt in Claude Code selbst, und Ray Amjad ordnet es in seinem Video vom 16. November mit denselben Worten ein: Das Modell schlucke das Harness.

Zwei Werkzeuge statt vieler

Ohne Code Mode läuft Claude Code als Schleife. Das Modell fordert einen Tool-Call an, Read, Edit oder Bash, liest das Ergebnis und entscheidet dann den nächsten Schritt. Jedes Ergebnis landet im Kontext. Mit Code Mode schreibt Claude stattdessen ein Stück JavaScript, das mehrere Tool-Calls macht, und Claude Code führt es in deiner Session aus. So steht es in der Dokumentation. Zum Modell zurück kommt nur, was der Code am Ende zurückgibt.

Amjad beschreibt, was dabei vom Werkzeugkasten übrig bleibt: ein REPL und ein Poll. Read, Edit, Bash, WebFetch und die MCP-Calls sind Funktionen in einer JavaScript-Konsole, die die ganze Session offen bleibt. Eine Variable aus dem ersten Aufruf gilt im dritten noch. Poll schaut nach, wenn ein Skript so lange läuft, dass es in den Hintergrund wandert.

Die Idee ist nicht neu. Cloudflare hat sie für MCP vorgemacht, mit Code Mode für den eigenen MCP-Server. Laut Amjad schrumpfte der von 2.600 Tools, die 1,1 Millionen Tokens kosteten, auf 2 Tools mit 1.000 Tokens. Neu ist, dass Claude Code das Prinzip auf die eigenen Basiswerkzeuge anwendet.

Und Amjad hat gemessen. Sein Agent löste echte Issues aus Open-Source-Projekten, einmal mit und einmal ohne Code Mode. Ergebnis laut ihm: etwa halb so viele Input-Tokens, 71 % der Gesamtkosten, rund 30 % billiger. Eine Stichprobengröße nennt er im Video nicht. Ich nehme die Zahl als Richtung, nicht als Beleg. Eigene Zahlen dazu habe ich nicht.

Was vom Harness bleibt

Meine These: Das Harness wird nicht kleiner, es zieht um. Der Teil, der entscheidet, wie Tools aneinandergehängt werden, wandert in Code, den das Modell schreibt. Der Teil, der festlegt, was das Modell darf, bleibt beim Harness, und er wird schwerer zu bauen.

Die Dokumentation sagt das ziemlich offen. Jeder Tool-Call im Code läuft weiter durch deine deny- und ask-Regeln und durch PreToolUse-Hooks. Im Auto-Modus prüft aber ein Klassifikator den Code vor dem Start, nicht jeden einzelnen Call, und er sieht keine Werte, die erst zur Laufzeit entstehen, zum Beispiel einen Pfad aus einem Suchergebnis. Deshalb der Rat der Docs, Regeln oder Hooks für alles zu behalten, was du kontrollieren musst. Ein Detail dazu: Ein git push in einem Ordner namens app kann bei deinem Hook als cd 'app' && git push ankommen. Wer einen Hook hat, der nur den Anfang eines Befehls prüft, hat dann eine Lücke.

Dazu kommt der Preis. Im Code Mode gehen Remote Control, Claude in Chrome und computer use nicht. Code im Vordergrund stoppt nach zehn Minuten, im Hintergrund nach zwei Stunden. Das Ganze ist experimentell und standardmäßig aus, die Docs schreiben selbst, es könne in jedem Release geändert oder entfernt werden. Das Harness war Arbeit. Wer es einreißt, baut Dinge neu, die vorher einfach da waren.

In Software Factory steht ein Satz aus Anthropics Harness-Artikel, der hier passt: Jede Komponente eines Harness kodiert eine Annahme darüber, was das Modell nicht allein kann, und diese Annahmen veralten. Code Mode streicht genau eine davon, nämlich dass das Modell jedes Zwischenergebnis lesen muss, um weiterzumachen. Die Annahme, dass ein Mensch sehen sollte, was passiert, streicht es nicht. Sie wird nur unbequemer: Im Gespräch siehst du die Tool-Calls, etwa den Diff eines Edits, aber nicht den Code. Den findest du mit Ctrl+O im Transcript Viewer.

Wer liest den Code?

In derselben Woche hat OpenAI ChatGPT Wallet ausgerollt, zunächst in den USA und für Pro-Nutzer. Der Agent schließt Käufe ab, sieht aber nie die Kartendaten. Jeder Kauf braucht eine Freigabe per Face ID oder Fingerabdruck. Auf der anderen Seite sagt Anthropic bei seinem Dauer-Agenten Duet laut The Deep View, wie oft Duet nachfragen soll, sei noch nicht kalibriert. „Approval fatigue“ bleibe ein Thema.

Das sind zwei Richtungen im selben Problem. Die Wallet macht die Freigabe enger: ein Kauf, eine Berührung. Code Mode macht sie, jedenfalls im Auto-Modus, weiter: ein Codeblock, ein Klassifikator. Beides hat Gründe. Wer vierzig Freigaben am Tag wegklickt, liest keine mehr.

Offen ist für mich, ob der Codeblock die richtige Einheit ist. Einen Diff kann ich lesen, und ich weiß, was ein Edit tut. Bei vierzig Zeilen JavaScript mit einer Schleife über Hunderte Dateien müsste ich erst verstehen, bevor ich freigeben kann, und dann wäre die Ersparnis aus dem Test von oben schnell wieder weg. Ob das in der Praxis so kommt, weiß ich nicht.

Zwei kleine Handgriffe

Neu im Blog, ausnahmsweise mit Anleitung: kurze Sachen zum direkt Ausprobieren.

Code Mode einschalten und den Code lesen. Du brauchst Claude Code ab v2.1.323, eine Anmeldung per Subscription oder Console (kein Gateway, kein Bedrock) und eines der Modelle Opus 5.5, Sonnet 5.5, Haiku 5.5 oder Fable 5.2. Zum Testen reicht die Umgebungsvariable in der Shell.

CLAUDE_CODE_EXPERIMENTAL_CODE_MODE=1 claude

Gib ihm eine Aufgabe mit vielen Calls, etwa „Lies jede Markdown-Datei und liste die Links auf lokale Dateien, die es nicht gibt“. Dann Ctrl+O und die Code-Zeile aufklappen. Wer Code Mode dauerhaft will, setzt die Variable in ~/.claude/settings.json. Settings eines Projekts ignoriert Claude Code dafür, ein geklontes Repo kann ihn also nicht für dich anschalten. Eine Code-Mode-Session lässt sich nur mit eingeschaltetem Code Mode wieder aufnehmen.

Antworten kürzen. Matt Pocock hat in seiner globalen CLAUDE.md eine einzige Zeile stehen, damit Claude Code Ergebnisse als Stichworte statt als kleinen Aufsatz meldet:

When reporting information to me, be extremely concise and sacrifice grammar for the sake of concision.

Das Modell weiß danach dasselbe, es sagt nur weniger davon. Nachfragen geht weiterhin.

Wo die Entscheidung sitzt

Das Harness verschwindet nicht, solange jemand entscheiden muss, was ein Agent darf. Die Frage ist, wo diese Entscheidung bei dir sitzt: in einer Regel, die du einmal geschrieben hast, in einem Klassifikator, den du nicht kennst, oder in dem Moment, in dem du auf einen Codeblock schaust. Ich habe darauf noch keine Antwort.


Weiterlesen

Copy&Paste

Process Gap Detection: Wo KI sich wirklich lohnt

Software für Einstellungstests und Mitarbeiterüberwachung zählt Copy&Paste als Verdacht. Ich zähle es als Symptom: Jeder Kopiervorgang zeigt eine Lücke im Prozess. Wie du diese Lücken bei dir und im Team findest, und warum die Antwort erst weglassen, dann verbinden und erst zuletzt KI heißt.

Agent Harness

Multi-Agent Architecture, die wirklich liefert

Agents haben kein gemeinsames Gedächtnis. Verbunden sind sie nur durch das, was irgendwo aufgeschrieben steht. Wo das liegt und wer es lesen kann, entscheidet, ob du die Arbeit von Agents prüfen kannst oder sie hinterher mühsam zusammensuchst. Fünf Ansätze von Archon bis Linear und sechs Regeln, die du sofort anwenden kannst.

Evals

Woher weißt du, dass es funktioniert?

Die meisten Teams shippen AI nach Bauchgefühl. Du änderst einen Prompt, der Output fühlt sich besser an, und keiner kann sagen, ob er es wirklich ist. Evals sind die Disziplin, die das misst. Über Error Analysis, LLM-as-Judge und den einen Teil, der menschlich bleibt: zu definieren, was gut heißt.