Gib deinem Coding-Agenten mehr Autonomie

Das Protokoll, das du sonst nicht hast

Vor einer Weile habe ich einen euphorischen Post darüber geschrieben, wie ich diese Pipeline gebaut, die Berechtigungen abgeschaltet und Features in einem Rutsch umgesetzt habe. Zu dem Rausch stehe ich. Das hier ist die nüchterne Fortsetzung, und sie beginnt mit einer langweiligen Tatsache: Wenn ein Agent mit abgeschalteten Berechtigungen läuft, schaust du nicht zu. Das ist der ganze Sinn der Sache und zugleich das ganze Problem.

Ein Agent, der still wird, hinterlässt genau ein Artefakt: den Trace. Liest du ihn nicht, vertraust du darauf, dass kein Fehler bedeutet, dass nichts schiefgelaufen ist.

Und es kann definitiv schiefgehen, Leute! Hier sind zwei Fälle, die meine Traces erwischt haben:

• Ein Subagent, der mit einer leeren Nachricht gestartet wurde, antwortete, statt zu scheitern: „Es sieht so aus, als wäre deine Nachricht leer angekommen." Das hat die Form einer Antwort. Es ist keine. In einem autonomen Lauf segelt das einfach zum nächsten Schritt durch, als wäre tatsächlich Arbeit passiert.
• Ein Identifier, den es gar nicht gibt, poliva83, wurde mit voller Überzeugung generiert und in die Konfiguration verdrahtet. Mein Handle ist pablooliva. poliva83 ist niemand.

Ein neues Modell prüfen, bevor du ihm vertraust

Sobald du dieses Protokoll hast, ist es das Rohmaterial für Evals.

Das Standardmodell von Claude Code wechselt unter mir. Anthropic veröffentlicht, was man von einem neuen Modell erwarten kann, und ich lese diese Notes. Aber das ist der Durchschnittsfall über die Nutzung aller hinweg. Über meine sagt es nichts.

Mein Setup hat speziell zugeschnittene Skills, einen Stapel CLAUDE.md-Regeln, Workflows, die darauf bauen, dass sich das Modell auf eine bestimmte Weise verhält. Ein Modell kann jeden veröffentlichten Benchmark gewinnen und trotzdem bei der einen seltsamen Sache, auf die ich angewiesen bin, klammheimlich schlechter werden, weil die Release Notes nichts von meiner einen seltsamen Sache wissen. Um das klarzustellen: An meinem Setup ist nichts seltsam. Die Leute sagen, es ist das beste Setup. Niemand sonst hat ein Setup wie dieses.

Evals bestätigen es, statt zu hoffen. Nimm eine Handvoll deiner eigenen echten Aufgaben, die, die du aus deinen Traces herausgezogen hast, schreib auf, wie ein gutes Ergebnis aussieht, und lass sie erneut laufen, wenn das neue Modell kommt. Hält der Score, machst du mit Zuversicht weiter. Fällt der Score, zeigen die fehlgeschlagenen Fälle direkt, welcher Use Case eine Regression hat, bevor es dich bei echter Arbeit etwas kostet. Die veröffentlichten Erwartungen sind die Vorannahme; deine Evals sind die Bestätigung. Bei allem, worauf du angewiesen bist, willst du beides.

Die Obergrenze anheben, was du es unbeaufsichtigt tun lässt

Das ist der Vorteil, von dem ich mir am meisten wünschen würde, dass ihn jemand anders klaut.

Dass SDD-flow einen ganzen Entwicklungszyklus unbeaufsichtigt durchläuft, funktioniert nur in dem Maß, in dem der Agent innerhalb der Regeln bleibt, die ich ihm gegeben habe: die CLAUDE.md-Konventionen, die Skills, die feuern, wenn sie sollen, die Plugins, die sich benehmen. Je mehr ich davon vertrauen kann, desto mehr gebe ich ab, ohne zuzuschauen. Die Frage ist also nicht „ist Autonomie sicher", sondern „wie hebe ich ständig das Maß an, das ich verantwortungsvoll abgeben kann" — und die Antwort muss besser sein als zu hoffen, dass die Regeln noch gelten.

Die Traces schließen diese Schleife mit dem Agenten selbst. Der kostenlose Tarif von LangSmith bewahrt etwa 14 Tage auf, also richte ich Claude alle zwei Wochen auf sein eigenes Protokoll und bitte ihn, zu überprüfen, wie er sich verhalten hat. Hat er CLAUDE.md befolgt? Haben die Skills und Plugins so gefeuert, wie sie sollten? Wo ist er abgedriftet?

Wenn er etwas findet, schlägt er die Änderung vor. Eine Regel, die ständig ignoriert wird, neu formuliert, damit sie ankommt. Eine Skill-Beschreibung, die falsch auslöst, geschärft. Eine mehrdeutige Konvention, explizit gemacht. Der Agent hält sein eigenes Verhalten gegen die Regeln, die er befolgen soll, und sagt mir, wo die beiden auseinandergegangen sind.

Ein konkretes Beispiel. Den Großteil des letzten Jahres erlaubte Claude Code nur eine Ebene von Subagenten, ein Agent konnte keinen weiteren starten, und ich hatte das als Tatsache in meine Agenten-Definitionen eingebacken: „Das Agent-Tool ist in dir wirkungslos." Dann aktivierte ein Point Release klammheimlich verschachtelte Subagenten, und über Nacht behaupteten meine Anweisungen etwas über die Plattform, das nicht mehr stimmte. Ich habe es durch Zufall bemerkt, ich sah zufällig einen Tweet über verschachtelte Subagenten und fing an zu graben. Der Fix war einfach: aus einer Tatsache, die ablaufen kann, eine Regel mit einer Begründung machen. Das Bemerken war der schwierige Teil, und es hing daran, dass ich den richtigen Tweet sah. Die Review-Schleife ist, wie du diese Art von Drift findest, wenn du kein Glück hast.

Das summiert sich. Jeder Durchlauf zieht das Setup ein Stück fester, sodass der nächste autonome Lauf von festerem Boden startet, sodass ich ein bisschen mehr abgeben kann. Die Traces sind nicht nur ein Sicherheitsnetz unter der Autonomie. Sie sind die Art, wie du dir mehr davon verdienst.

Was das tatsächlich erfordert

Weniger, als es klingt. Schalt das Tracing ein, eine Umgebungsvariable, oder lass LangChains LangSmith-CLI-Skills die Verkabelung für dich übernehmen: ein einziger Befehl bringt trace, dataset und evaluator direkt in Claude Code, und die decken sich mit den drei Vorteilen von oben.

npx skills add langchain-ai/langsmith-skills --agent claude-code --skill '*' --yes --global

Lies es nach einem festen Plan, statt das Dashboard zu einem Tab werden zu lassen, den du nie öffnest. Zieh eine Handvoll echter Aufgaben in ein Eval-Set, damit das nächste Modell-Upgrade auf etwas Widerstand trifft. Und dann lass den Agenten seine eigenen Traces überprüfen und dir die Diffs zu deiner Konfiguration liefern.

Ich laufe immer noch ohne Leitplanken. Der Unterschied ist, dass ich einen stillen Lauf nicht mehr für einen sauberen halte, und ich habe einen Agenten, der mir hilft, herauszufinden, wo er es nicht war. Der Agent korrigiert sich selbst, und ich kann mich zurücklehnen und Trump-Witze machen ... die besten Witze, niemand sonst hat bessere Witze.