Wir haben die Befehle des Modells halbiert. Die Genauigkeit blieb gleich.
Auspex führte fast doppelt so viele Befehle aus wie nötig. Ein einfaches Budget hat das gelöst.
Wenn Auspex einen Fehler diagnostiziert, führt das Modell lesende Befehle im Netzwerk aus: Topologie lesen, VLANs prüfen, ein Gerät anpingen. Jeder Befehl kostet Zeit. In Tests sahen wir, dass das Modell viel mehr davon ausführte als nötig.
Was falsch war
Unsere erste Vermutung war fehlende Information. Vielleicht suchte das Modell weiter, weil es das Netzwerk nicht verstand. Also gaben wir ihm vorab eine Karte der Topologie. Nichts änderte sich. Das eigentliche Problem war einfacher: Das Modell wusste nicht, wann es aufhören sollte.
Die Lösung
Wir haben der Schleife, die das Modell ausführt, ein Budget gegeben. Es hat zwei Schwellen:
- Bei 20 Befehlen bekommt das Modell eine kurze Erinnerung: Nenne die wahrscheinlichste Ursache. Reichen die Belege, beende. Wenn nicht, mach genau einen weiteren Aufruf.
- Bei 35 Befehlen stoppt der Lauf.
Jede Schwelle greift nur einmal. In frühen Tests brachte eine wiederholte Erinnerung das Modell vom Kurs ab.
Das Ergebnis
Gemessen haben wir an 89 Prüfungsfragen. Das Modell brauchte 48 % weniger Befehle, löste genau gleich viele Fehler, und kein Lauf erreichte mehr das harte Limit. Die Änderung erschien in auspex-cli v0.3.3. Wer das alte Verhalten will, setzt AUSPEX_TOOL_BUDGET=0.
Die Lehre
Nicht jedes Problem eines Modells braucht mehr Training. Manchmal liegt die Lösung im Programm drumherum. Eine kleine Regel sparte die Hälfte der Arbeit und kostete keine Genauigkeit.