Küçük, yerel bir model ağ arızalarını teşhis edebilir mi?

Kapalı ortamlarda çalışan ağ ekiplerinin bir sorunu var: onlara yardım edebilecek yapay zekâ araçları bulutta. Bu ağların çoğu kural gereği dış dünyaya kapalı, yani yapılandırmayı dışarıdaki bir servise göndermek mümkün değil. Sıradan tek bir bilgisayarda çalışacak kadar küçük bir modelin yine de gerçek teşhis yapıp yapamayacağını öğrenmek istedik.

Sınavı nasıl kurduk

Bir bilgi yarışması istemedik. Sınavdaki her soru, modelin hiç görmediği canlı bir sanal ağa gerçekten yerleştirilmiş bir arıza. Model bir mühendisin kullanacağı aynı salt okunur araçları alır, inceler ve arızanın sınıfını, cihazını ve kök nedenini söyler.

• Eğitimin dışında tutulmuş 150 soru
• Modelin hiç görmediği 51 ağ topolojisi
• 18 arıza sınıfı
• Salt okunur araçlar: model bakabilir, asla değiştiremez
• Deterministik puanlama: ne insan ne de yapay zekâ jürisi

Sonuçlar

Aynı temel model, bizim eğitimimizden önce %11'ini çözdü. Sentetik ağ laboratuvarımızda eğitildikten sonra Kestrel %68'ini çözdü. Hiç görmediği arızalarda 57 puanlık bir sıçrama.

Bulut modelini neden gösteriyoruz

Claude Sonnet 5 çok daha büyük bir bulut modeli. Onu rakip olarak değil, bir referans noktası olarak gösteriyoruz. İnternet bağlantısı ister ve her soru için para tutar. Kestrel ise kendi donanımında internetsiz çalışır. Adil karşılaştırma doğruluk, gizlilik, maliyet ve donanımı birlikte ele alır.

Bu ne anlama geliyor

Tek bir iş için eğitilmiş küçük bir model, bulut yapay zekâsının yasak olduğu yerlerde gerçek iş yapabilir. %68, %100 değil ve bunu açıkça söylüyoruz. Kestrel, Auspex'in arkasındaki model ve her yeni eğitim turu aynı sınavla ölçülüyor.