Un petit modèle local peut-il diagnostiquer des pannes réseau ?

Les équipes réseau des environnements fermés ont un problème : les outils d'IA qui pourraient les aider sont dans le cloud. Beaucoup de ces réseaux sont isolés par principe, donc envoyer la configuration à un service externe est exclu. Nous voulions savoir si un modèle assez petit pour tourner sur une seule machine ordinaire pouvait quand même faire un vrai diagnostic.

Comment nous avons construit le test

Nous ne voulions pas d'un quiz. Chaque question de l'examen est une vraie panne, injectée dans un réseau virtuel actif que le modèle n'a jamais vu. Le modèle dispose des mêmes outils en lecture seule qu'un ingénieur, enquête, puis donne la classe de panne, l'équipement et la cause racine.

• 150 questions, tenues hors de l'entraînement
• 51 topologies réseau jamais vues
• 18 classes de pannes
• Outils en lecture seule : le modèle peut regarder, jamais modifier
• Notation déterministe : aucun juge humain ni IA

Les résultats

Le même modèle de base, avant notre entraînement, en résolvait 11 %. Après entraînement dans notre laboratoire réseau synthétique, Kestrel en résout 68 %. Un bond de 57 points sur des pannes jamais vues.

Pourquoi nous montrons le modèle cloud

Claude Sonnet 5 est un modèle cloud bien plus grand. Nous l'incluons comme point de repère, pas comme rival. Il exige une connexion internet et coûte de l'argent à chaque question. Kestrel tourne hors ligne sur votre propre matériel. La comparaison juste porte à la fois sur la précision, la confidentialité, le coût et le matériel.

Ce que cela signifie

Un petit modèle entraîné pour une seule tâche peut faire un vrai travail là où l'IA cloud est interdite. 68 %, ce n'est pas 100 %, et nous le disons. Kestrel est le modèle derrière Auspex, et chaque nouvel entraînement est mesuré sur le même examen.