Enterprise RAG’i Ölçeklemek: Zor Olan Daha Fazla Doküman Değil
Bir ekipte son derece iyi çalışan RAG sistemi, şirketin geri kalanı kullanmaya başladığında başarısız olabilir.
Pilot aşamasında genellikle sınırlı bir doküman koleksiyonu, birkaç hevesli kullanıcı ve her hatalı cevabı tek tek inceleyebilecek kadar zaman vardır. Index elle yeniden kurulur. İşlenemeyen doküman tekrar yüklenir. Model yavaşladığında birisi servisi restart eder. Bu nedenle en zor kısmı geride bırakmışız gibi görünür.
Ardından ikinci departman sisteme dahil olur. Doküman sayısı büyür, yetkiler birbirinden ayrışır, dosyalar haber vermeden değişir ve birden fazla kullanıcı aynı anda uzun sorular sormaya başlar. İşte bu noktada bir AI uygulaması gibi görünen sistem, distributed production system gibi davranmaya başlar.
Bu yazının ana fikri şudur: RAG’i scale etmek daha fazla doküman yüklemek değildir. Cevap kalitesini kaybetmeden daha fazla kullanıcıyı, versiyonu, yetkiyi, hata modunu ve operasyonel sorumluluğu yönetmektir.
Pilotun gerçekten zorlanmaya başladığı yer
Bir kurum içi politika asistanı düşünelim. Pilot sırasında yalnızca tek bir ekibin erişebildiği dokümanlardan cevap üretiyor. Daha sonra farklı erişim kuralları, yeni bir veri kaynağı ve sık değişen dosyalarla ikinci bir departman geliyor. Bir çalışanın dokümana erişimi kaldırılıyor ama eski bir kopyası hâlâ index içinde bulunuyor. Bu sırada kullanıcıların etkileşimli soruları, gece çalışan toplu özetleme işleriyle aynı inference kapasitesini paylaşıyor.
Bu problemler daha büyük bir context window veya daha yüksek top_k ile çözülmez. Yetkinin retrieval öncesinde denetlenmesi, değişikliklerin ve silmenin güvenle yayılması, ingestion işlerinin kaldığı yerden toparlanabilmesi, admission control ve adil inference scheduling gerekir.
Bu, ölçülmüş bir benchmark değil, mimariyi açıklayan varsayımsal bir senaryodur. Esas mesaj şu: İlk ölçeklenme sorunları çoğu zaman modelin içinde değil, servisler arasındaki sınırda ortaya çıkar. Soru yalnızca vector database'in kaç doküman tutabildiği değil; bir kaynak değiştiğinde, erişim kaldırıldığında veya birçok kullanıcı aynı anda soru sorduğunda sistemin ne yaptığıdır.
Doküman sayısı yanlış bir scale metriğidir
Tek sayfalık bir not ile 500 sayfalık faaliyet raporu “birer doküman” olarak sayılır. Fakat sisteme aynı yükü oluşturmazlar. Bakmamız gereken asıl birimler sayfa, çıkarılan element, chunk, değişen versiyon, embedding işlemi, yetkili retrieval candidate ve üretilen token sayısıdır.
En az dört farklı scale plane’i ayrı ayrı ölçüyoruz:
| Plane | Büyüyen şey | Tipik bottleneck | İzlenecek metric |
|---|---|---|---|
| Data | Sayfa, versiyon, tablo ve görsel | Parsing, OCR ve embedding | Queue age, sayfa/dakika, hatalı sayfa oranı |
| Retrieval | Chunk, filtre ve candidate | Shard fan-out, recall ve reranking | Recall@k, p95 search latency, candidate/query |
| Inference | Eşzamanlı prompt ve output token | Queue, memory ve model throughput | Queue wait, TTFT, token/saniye, p95 uçtan uca latency |
| Control | Kullanıcı, rol, tenant ve policy değişikliği | Authorization drift ve auditability | ACL yayılma süresi, denied-query testleri, audit coverage |
Bütün bunları tek bir “kaç doküman var?” metriğinde toplarsak capacity plan daha production başlamadan yanlış olur.
1. Ingestion’ı request olarak değil queue olarak scale edin
Production ingestion pipeline, 600 sayfalık PDF parse edilirken, OCR çalışırken ve embedding üretilirken bir HTTP request’i açık tutmamalıdır. Dokümanı kabul edip durable bir job oluşturuyor, ardından bounded worker’lar ile asynchronous olarak işliyoruz.
Her job için source_id, source_version, content_hash, parser_version, chunking_version ve embedding_version gibi alanlardan bir idempotency key üretiyoruz. Worker dokümanın yarısını indexledikten sonra crash ederse retry işlemi aynı logical version’a güvenli biçimde devam etmeli veya onu overwrite etmelidir; bütün chunk’ları ikinci kez oluşturmamalıdır.
Orijinal dosyayı immutable tutuyor ve yanına bir processing manifest yazıyoruz. Bu manifest hangi sayfaların başarıyla işlendiğini, hangi parser’ın kullanıldığını, OCR veya multimodal fallback uygulanıp uygulanmadığını, kaç chunk üretildiğini ve hangi index version’a yazıldığını kaydediyor. Başarısız job’lar sessizce kaybolmak yerine dead-letter queue’ya gidiyor.
Search index’e tek tek chunk göndermek yerine bulk write yapmak çoğunlukla daha iyi throughput sağlar. Ancak daha büyük batch her zaman daha iyi değildir. Elastic, bulk boyutunun benchmark edilmesini, worker sayısının cluster doygunluğa ulaşana kadar artırılmasını ve 429 TOO_MANY_REQUESTS alındığında randomized exponential backoff uygulanmasını öneriyor.Elastic indexing guidance
Basitleştirilmiş bir job contract şöyle görünür:
job_id: ingest-01J...
tenant_id: acme
source_id: sharepoint:contract-1842
source_version: "2026-09-03T10:42:00Z"
content_hash: sha256:...
parser_version: doc-service-4.2
chunking_version: legal-v3
embedding_version: multilingual-e5-v2
target_index_version: knowledge-2026-09-v4Stable alias arkasında versioned physical index kullanmak re-embedding ve rollback işini yönetilebilir hale getirir. Yeni index’i arka planda kuruyor, retrieval ve permission testlerini çalıştırıyor, ardından read alias’ı taşıyoruz. Yeni bir embedding modeli mevcut index üzerinde sürpriz değişiklik değil, kontrollü bir migration olmalıdır.
2. Retrieval’ı top-k değerini artırarak scale etmeyin
Corpus büyüdükçe top_k değerini yükseltmek ve daha büyük context window doldurmak en hızlı çözüm gibi görünür. Fakat vector search işi, reranking maliyeti, prompt token’ları ve modelin ayıklamak zorunda olduğu ilgisiz context de birlikte büyür.
Long context, retrieval discipline ihtiyacını ortadan kaldırmaz. Hakemli “Lost in the Middle” çalışması, dil modellerinin uzun context içindeki her konumu aynı güvenilirlikle kullanamadığını ve ilgili bilgi ortada olduğunda performansın düşebildiğini gösteriyor.Lost in the Middle
Bu nedenle retrieval path, context’i genişletmeden önce arama alanını daraltmalıdır:
- Authenticated tenant, kullanıcı grupları ve izinli logical index’ler belirlenir.
- Soru ilgili domain veya doküman koleksiyonuna route edilir.
- Candidate generation’dan önce tenant, ACL, tarih, doküman tipi ve lifecycle filtreleri uygulanır.
- Exact terimler, identifier veya acronym önemliyse lexical ve vector candidate’lar birleştirilir.
- Bounded bir candidate set rerank edilir.
- Modele yalnızca yeterli olan en küçük ve cited context gönderilir.
Hierarchical retrieval bu noktada değerlidir. Küçük bir document-level veya section-level index önce ilgili bölgeyi bulur; paragraph-level retrieval yalnızca bu bölgenin içinde çalışır. Her soruda bütün shard ve chunk’ları yarıştırmayız.
Elasticsearch burada önemli bir operasyonel noktaya dikkat çekiyor: Search her shard üzerinde tek CPU thread ile çalışır. Çok sayıda shard search thread pool’u tüketebilir; aşırı büyük shard’lar ise search ve recovery süresini uzatır. Elastic’in güncel 10–50 GB ve shard başına 200 milyondan az document önerisi bir başlangıç aralığıdır, evrensel kural değildir. Production verisi, filtreler, donanım ve query concurrency ile benchmark yapılmalıdır.Elastic shard sizing
3. Inference kapasitesini search kapasitesinden ayrı ele alın
Retrieval cluster 80 milisaniyede sonuç döndürürken kullanıcı cevap için 25 saniye bekleyebilir. Search scale ile generation scale farklı problemlerdir.
Interactive traffic’i batch summarisation ve offline enrichment işlerinden ayırıyoruz. Her trafik sınıfının ayrı queue, concurrency limit, timeout ve priority değeri bulunuyor. Admission control ile tek kullanıcının onlarca uzun request göndererek model pool’un tamamını işgal etmesini engelliyoruz. Kullanıcı isteği kapattığında cancellation aşağı katmanlara taşınmalı; streaming faydalı progress gösterirken queue latency’yi gizlememelidir.
Model routing de önemlidir. Query classification, metadata normalisation ve rewrite işlemleri çoğu zaman en büyük modele ihtiyaç duymaz. Bunları daha küçük bir model yapabilir; kompleks synthesis daha güçlü modele gönderilebilir. Fakat bu karar quality ile evaluate edilmelidir; model routing yalnızca bir maliyet anahtarı değildir.
Self-hosted inference tarafında vLLM; continuous batching, PagedAttention, quantisation, prefix caching ve farklı parallelism stratejileri sunar. Bu özellikler tasarım alanını genişletir ancak workload’a özgü benchmark ihtiyacını ortadan kaldırmaz. Bu nedenle vLLM ayrı latency, throughput ve serving benchmark araçları sunuyor.vLLM documentation ve vLLM benchmarking
En az queue wait, time to first token, time per output token, toplam input/output token, uçtan uca p50/p95/p99 latency ve rejection rate değerlerini ölçüyoruz. Average latency, çalışanların karşılaştığı concurrency failure’ları gizler.
4. Yapılan işi cache edin, güvenlik hatasını değil
Caching tekrar eden büyük bir iş yükünü ortadan kaldırabilir:
- Parsed page ve OCR sonucu, content hash ve parser version ile
- Embedding, normalize edilmiş chunk hash ve embedding version ile
- Düşük riskli deterministic query rewrite işlemleri
- Index ve permission version key’in bir parçası olduğunda retrieval sonucu
Sadece kullanıcı sorgusunu içeren retrieval cache key tehlikelidir. En az tenant_id, authorized scope veya ACL version, logical index version, retrieval configuration ve query değerlerini içermelidir. Generated text gizli context taşıyabileceği için response caching daha sıkı izolasyon ve invalidation gerektirir. Permission state’in güncel olduğu kanıtlanamıyorsa cache fail closed davranmalıdır.
5. Control plane de corpus ile birlikte büyümelidir
Enterprise scale’de SSO ve RBAC, retrieval bittikten sonra eklenen UI özellikleri değildir. Kaynak sistemdeki erişim kuralları dokümanla birlikte taşınmalı ve candidate döndürülmeden önce uygulanmalıdır. Deactivate edilen kullanıcı, kaldırılan grup üyeliği, document deletion ve legal retention kurallarının ölçülebilir propagation time’ı bulunmalıdır.
Her chunk source_id, version, page veya section ve index version bilgisini taşımalıdır. Her request için authenticated principal, seçilen logical index, policy decision, dönen source ID’ler, model ve prompt version’ları, token kullanımı ve latency kaydedilmelidir. Hassas doküman metnini her log’a kopyalamak gerekmez; provenance ve policy decision’ı kaydetmek gerekir.
NIST Generative AI Profile; data provenance, model version, access mode ve human-oversight sorumluluklarının kaydedilmesini; post-deployment monitoring, incident response, recovery ve change management süreçlerinin kurulmasını öneriyor.NIST AI 600-1 RAG sisteminde bunlar yalnızca final LLM’e değil, bütün pipeline’a uygulanır.
6. Evaluation’ı release gate olarak kullanın
Infrastructure dashboard’un yeşil olması cevapların doğru olduğu anlamına gelmez. Scale değiştikçe retrieval davranışı da değişir: Yeni dokümanlar eskilerle yarışır, ACL filtreleri candidate pool’u daraltır, index ayarları recall’u değiştirir ve yeni embedding version komşulukları yeniden şekillendirir.
Departman, dil, doküman tipi ve permission profile bazında representative question set’leri tutuyoruz. Retrieval ile generation’ı ayrı ölçüyoruz. Retrieval için Recall@k, MRR veya nDCG; cevap için groundedness, citation correctness, completeness ve gerektiğinde abstention testleri kullanıyoruz. RAGAS da ilgili retrieval context, bu context’in model tarafından faithful kullanımı ve generation quality arasında benzer bir ayrım kuruyor.RAGAS paper
Microsoft’un RAG mimari rehberi de representative media ve query’lerle test yapılmasını, retrieval ile uçtan uca kalitenin ayrı ölçülmesini ve sonuçların dokümante edilmesini öneriyor.Microsoft RAG design and evaluation guide
Security testlerini aynı gate içine koyuyoruz. Kullanıcı başka tenant’ın dokümanını retrieve edebiliyor mu? Üyeliği kaldırılmış grup cached result görmeye devam ediyor mu? Prompt injection ile izinsiz index seçilebiliyor mu? Yeterli delil yoksa sistem cevap vermeyi reddediyor mu? Ortalama answer quality yükselse bile bu testlerden birini bozan release production’a çıkamaz.
Pratik scaling gate’leri
| Aşama | Zorunlu gate | Manuel kalmasına izin verilen iş |
|---|---|---|
| Pilot | Representative dokümanlar, üzerinde anlaşılan sorular, source citation ve temel trace | Corpus approval ve failure investigation |
| Beta | SSO/RBAC, asynchronous ingestion, golden set, quota ve user feedback | Seçilmiş document-quality review |
| Production | Availability target, p95/p99 latency, backup, alert, rollback ve incident owner | Low-confidence/high-impact cevapların escalation’ı |
| Organization-wide | Tenant control, cost allocation, audit coverage, lifecycle automation ve adoption metric | Risk-based human approval |
Geçiş kararı rastgele bir doküman sayısına göre değil, bu delillere göre verilmelidir.
Referans mimari
flowchart TD
S["Enterprise sources"] --> Q["Durable ingestion queue"]
Q --> W["Parser / OCR / embedding workers"]
W --> I["Versioned search index"]
W --> P["Processing manifest and error tracking"]
U["Authenticated user"] --> G["Authorisation + ACL pre-filter gateway"]
G --> I
I --> R["Candidate retrieval + reranker"]
R --> M["Model router + admission control"]
M --> L["Inference pool"]
L --> A["Cited answer"]
G --> O["Quality, security and latency traces"]
P --> O
L --> O
En önemli sınır retrieval gateway’dir. Model hangi tool’u kullanacağını seçebilir; fakat kendi identity, tenant veya raw physical index değerini seçemez. Authorization deterministic ve server-side kalır.
Donanım satın almadan önce capacity planning
GPU kataloğuyla değil bir workload sheet ile başlıyoruz:
- Peak query per second ve concurrent session
- p50 ve p95 retrieved context token
- p50 ve p95 generated output token
- Günlük ingest edilen sayfa ve değişen source token
- Chunk expansion factor ve aktif embedding version
- Candidate count, rerank count ve filter selectivity
- Gerekli ACL update ve deletion propagation time
- Hedef p95 latency, availability ve recovery time
İki basit hesap birçok gizli maliyeti görünür kılar: Daily generation işi yaklaşık olarak günlük query sayısı ile ortalama input-plus-output token çarpımıdır. Reindex işi ise değişen source token ile aynı anda oluşturulan embedding version sayısının çarpımına yakındır. Ardından gerçek model, parser ve search cluster’ı realistic input length ve arrival pattern ile benchmark ediyoruz. Vendor’ın verdiği maksimum rakamlar capacity plan değildir.
Sonuç
Enterprise RAG tek bir kutuyu büyüterek scale olmaz. Ingestion güvenli biçimde retry edebildiğinde, index versionlanıp rollback yapılabildiğinde, retrieval permission-aware kaldığında, inference queue concurrency altında ayakta durduğunda ve her release gerçek sorularla evaluate edildiğinde scale olur.
Doküman sayısı görünür olduğu için bütün dikkati üzerine çeker. Zor işlerin çoğu daha az görünürdür: ACL değişiklikleri, stale cache, işlenemeyen sayfalar, dolan queue’lar, drift eden retrieval quality ve sahibi belli olmayan incident’lar.
Production RAG sistemi, vector database’e bağlanmış bir model değildir. Yolun sonunda bir LLM bulunan, yönetilen bir bilgi sistemidir.
LMXAI; document intelligence, retrieval, inference, security ve observability katmanlarını birlikte ele alan enterprise AI platformları tasarlar. RAG pilotunuz güvenilir ve şirket çapında bir servise dönüşmeye hazırsa scaling path’i ve release gate’leri birlikte tasarlayabiliriz.
Kaynaklar
- Microsoft — Design and develop a RAG solution
- Elastic — Optimize indexing speed
- Elastic — Size your Elasticsearch shards
- vLLM — Benchmarking
- Liu ve diğerleri — Lost in the Middle
- Es ve diğerleri — RAGAS
- NIST — AI RMF Generative AI Profile