¿Puede un modelo pequeño y local diagnosticar fallos de red?
Probamos Kestrel con 150 fallos que nunca había visto. Acertó el 68%, frente al 11% del modelo base.
Los equipos de red en entornos cerrados tienen un problema: las herramientas de IA que podrían ayudarles están en la nube. Muchas de estas redes están aisladas por norma, así que enviar la configuración a un servicio externo no es una opción. Queríamos saber si un modelo lo bastante pequeño para funcionar en una sola máquina normal podía hacer un diagnóstico real.
Cómo construimos la prueba
No queríamos un cuestionario. Cada pregunta del examen es un fallo real, inyectado en una red virtual en vivo que el modelo nunca ha visto. El modelo usa las mismas herramientas de solo lectura que usaría un ingeniero, investiga e indica la clase de fallo, el dispositivo y la causa raíz.
- 150 preguntas, fuera del entrenamiento
- 51 topologías de red que el modelo nunca vio
- 18 clases de fallos
- Herramientas de solo lectura: el modelo puede mirar, nunca cambiar
- Puntuación determinista: sin jueces humanos ni de IA
Los resultados
El mismo modelo base, antes de nuestro entrenamiento, resolvió el 11%. Tras entrenar en nuestro laboratorio de red sintético, Kestrel resolvió el 68%. Un salto de 57 puntos en fallos que nunca había visto.
Por qué mostramos el modelo en la nube
Claude Sonnet 5 es un modelo en la nube mucho mayor. Lo incluimos como referencia, no como rival. Necesita conexión a internet y cuesta dinero por cada pregunta. Kestrel funciona sin conexión en tu propio hardware. La comparación justa considera precisión, privacidad, coste y hardware a la vez.
Qué significa
Un modelo pequeño entrenado para una sola tarea puede hacer trabajo real donde la IA en la nube no está permitida. Un 68% no es un 100%, y lo decimos. Kestrel es el modelo detrás de Auspex, y cada nueva ronda de entrenamiento se mide con el mismo examen.
Benchmark completo en la página de Auspex