AI projeleri neden demo ile üretim arasında ölüyor

Çağrıldığımız her tıkanmış AI projesi dışarıdan aynı görünüyor: üç ay önce yönetim kurulunu etkilemiş bir demo var, üretimde çalışan bir sistem yok. Bu iki durum arasındaki boşluk bir model problemi değil; bir mühendislik problemi.

Demonun hiç test etmediği şeyler

Demo; seçilmiş girdiler, sıcak bir cache, tek bir eşzamanlı kullanıcı ve hangi soruların sorulmaması gerektiğini bilen birinin gözetiminde çalışır. Üretim bu dördünü de ortadan kaldırır. Sonrasında gelen hatalar tahmin edilebilir:

• Retrieval kalitesi çöker — taranmış PDF'ler, tablolar, karışık diller demoda hiç yoktu.
• Gecikme bir bütçeye dönüşür. Demoda kimsenin fark etmediği 9 saniyelik ajan döngüsü, destek masasında kullanılamaz.
• Tool çağrıları sessizce başarısız olur. BFCL-v3 benzeri bir değerlendirme yoksa, ajanın %18 oranında yanlış fonksiyonu seçtiğini bilemezsiniz.
• "Model neyi gördü?" sorusuna kimse cevap veremez, çünkü gözlemlenebilirlik sonradan eklenmiştir — ya da hiç.

Boşluğu kapatan sıkıcı işler

Çözüm nadiren daha büyük bir modeldir. Bizim kurulumlarımızda neredeyse her zaman aynı liste:

1. Sentetik prompt'lardan değil, gerçek trafikten kurulmuş bir eval seti
2. Her LLM çağrısında tracing (OpenTelemetry, lansmandan önce)
3. Adım başına CI'da uygulanan bir gecikme bütçesi
4. Ajanın çağırabildiği her tool için fallback
5. Gerçek donanıma göre boyutlandırılmış serving katmanı (vLLM)

Bunların hiçbiri demoda iyi görünmez. Ama hepsi, kullanıcıyla temasa dayanan bir sistem ile sessizce kapatılan bir sistem arasındaki farktır.

Egemenlik boyutu

AB'de projelerin tıkanmasının ikinci bir nedeni daha var: demo, hukuk biriminin sonradan onaylamayı reddettiği bir hyperscaler API'si üzerine kurulmuştur. Veriniz kurum dışına çıkamıyorsa, bunu demodan sonra keşfetmek tüm stack'i yeniden kurmak demektir. Birinci günden on-prem inference için tasarlamak — kendi GPU'larınızda quantize edilmiş ağırlıklar, kendi gateway'inizin arkasında — egemenliği sonradan eklemekten her zaman ucuzdur.

Demo işin kolay kısmı. Kalan %90 için plan yapın.