Kann ein kleines, lokales Modell Netzwerkfehler diagnostizieren?

Netzwerkteams in geschlossenen Umgebungen haben ein Problem: Die KI-Werkzeuge, die ihnen helfen könnten, laufen in der Cloud. Viele dieser Netze sind per Richtlinie isoliert, Konfigurationen an einen externen Dienst zu schicken kommt also nicht infrage. Wir wollten wissen, ob ein Modell, klein genug für einen einzigen normalen Rechner, trotzdem echte Diagnosen stellen kann.

Wie wir den Test gebaut haben

Wir wollten kein Quiz. Jede Frage der Prüfung ist ein echter Fehler, eingespielt in ein laufendes virtuelles Netzwerk, das das Modell nie gesehen hat. Das Modell bekommt dieselben lesenden Werkzeuge wie ein Ingenieur, untersucht und nennt Fehlerklasse, Gerät und Ursache.

• 150 Fragen, aus dem Training herausgehalten
• 51 Netzwerktopologien, die das Modell nie sah
• 18 Fehlerklassen
• Nur lesende Werkzeuge: Das Modell kann schauen, nie ändern
• Deterministische Bewertung: keine menschlichen oder KI-Juroren

Die Ergebnisse

Dasselbe Basismodell löste vor unserem Training 11 %. Nach dem Training in unserem synthetischen Netzwerklabor löste Kestrel 68 %. Ein Sprung um 57 Punkte bei Fehlern, die es nie gesehen hatte.

Warum wir das Cloud-Modell zeigen

Claude Sonnet 5 ist ein viel größeres Cloud-Modell. Wir zeigen es als Bezugspunkt, nicht als Konkurrenten. Es braucht eine Internetverbindung und kostet pro Frage Geld. Kestrel läuft offline auf deiner eigenen Hardware. Der faire Vergleich betrachtet Genauigkeit, Datenschutz, Kosten und Hardware zusammen.

Was das bedeutet

Ein kleines Modell, trainiert für eine einzige Aufgabe, kann echte Arbeit leisten, wo Cloud-KI nicht erlaubt ist. 68 % sind nicht 100 %, und das sagen wir auch. Kestrel ist das Modell hinter Auspex, und jede neue Trainingsrunde wird an derselben Prüfung gemessen.