Enterprise RAG opschalen: meer documenten zijn niet het moeilijkste deel
Een RAG-systeem kan voor één team uitstekend werken en toch vastlopen zodra de rest van de organisatie aansluit.
In een pilot werken we meestal met een beperkte collectie, een paar enthousiaste gebruikers en genoeg tijd om ieder verkeerd antwoord te onderzoeken. We bouwen de index handmatig opnieuw op. Een mislukt document uploaden we nog een keer. Wordt het model traag, dan herstart iemand de service. Daardoor voelt het alsof het moeilijkste werk al achter ons ligt.
Vervolgens sluit een tweede afdeling aan. Het aantal documenten groeit, autorisaties lopen uiteen, bestanden veranderen zonder waarschuwing en meerdere gebruikers stellen tegelijk lange vragen. Een systeem dat op een AI-applicatie leek, begint zich ineens als een distributed production system te gedragen.
Dit is de kern van dit artikel: RAG opschalen betekent niet simpelweg meer documenten uploaden. Het betekent meer gebruikers, versies, autorisaties, failure modes en operationele verantwoordelijkheid beheren zonder antwoordkwaliteit te verliezen.
Waar de pilot echt begint vast te lopen
Stel je een interne beleidsassistent voor. Tijdens de pilot beantwoordt die vragen op basis van documenten die voor één team zijn goedgekeurd. Daarna sluit een tweede afdeling aan met andere toegangsregels, een nieuwe bronkoppeling en bestanden die regelmatig wijzigen. Een voormalige teamgenoot verliest toegang tot een document terwijl een oudere geïndexeerde kopie nog bestaat. Tegelijkertijd concurreren interactieve vragen met een nachtelijke batchtaak.
Een groter contextvenster of een hogere top_k lost dit niet op. Je hebt duidelijke systeemgrenzen nodig: autorisaties vóór retrieval, voorspelbare verwijdering en herindexering, herstelbare ingestion, admission control en eerlijke planning van inferencetaken.
Dit is een illustratief scenario, geen gemeten benchmark. Het laat zien dat de eerste schaalproblemen vaak tussen services ontstaan. De relevante vraag is niet alleen hoeveel documenten de vectordatabase aankan, maar wat er gebeurt als een bron verandert, toegang wordt ingetrokken of veel gebruikers tegelijk vragen stellen.
Het aantal documenten is de verkeerde schaalmaat
Een memo van één pagina en een jaarverslag van 500 pagina’s tellen allebei als één document. Ze veroorzaken niet dezelfde belasting. Betere eenheden zijn pagina’s, geëxtraheerde elementen, chunks, gewijzigde versies, embedding-operaties, geautoriseerde retrieval candidates en gegenereerde tokens.
We meten daarom minstens vier afzonderlijke scale planes:
| Plane | Wat groeit | Typische bottleneck | Belangrijke metric |
|---|---|---|---|
| Data | Pagina’s, versies, tabellen en beelden | Parsing, OCR en embeddings | Queue age, pagina’s/minuut, percentage mislukte pagina’s |
| Retrieval | Chunks, filters en candidates | Shard fan-out, recall en reranking | Recall@k, p95 search latency, candidates/query |
| Inference | Gelijktijdige prompts en output tokens | Queues, geheugen en model throughput | Queue wait, TTFT, tokens/seconde, p95 end-to-end latency |
| Control | Gebruikers, rollen, tenants en policywijzigingen | Authorization drift en auditability | ACL-propagatietijd, denied-query tests, audit coverage |
Wie deze planes reduceert tot één documententeller, begint production met een verkeerd capacity plan.
1. Schaal ingestion als queue, niet als request
Een production ingestion pipeline moet geen HTTP-request openhouden terwijl een PDF van 600 pagina’s wordt geparsed, OCR draait en embeddings worden gegenereerd. Wij accepteren het document, maken een duurzame job aan en verwerken die asynchronous met begrensde workers.
Elke job krijgt een idempotency key op basis van onder meer source_id, source_version, content_hash, parser_version, chunking_version en embedding_version. Crasht een worker nadat de helft is geïndexeerd, dan moet een retry veilig hervatten of dezelfde logische versie overschrijven; hij mag niet alle chunks dupliceren.
Het originele bestand blijft immutable. Daarnaast bewaren we een processing manifest met succesvolle en mislukte pagina’s, parser, OCR- of multimodal fallback, aantal chunks en doelindex. Mislukte jobs gaan naar een dead-letter queue en verdwijnen niet stilletjes.
Batch writes geven doorgaans meer search-indexing throughput dan één request per chunk, maar grotere batches zijn niet automatisch beter. Elastic adviseert de bulkgrootte te benchmarken, het aantal workers alleen op te voeren totdat het cluster verzadigd raakt en bij 429 TOO_MANY_REQUESTS randomized exponential backoff toe te passen.Elastic indexing guidance
Een vereenvoudigd jobcontract ziet er zo uit:
job_id: ingest-01J...
tenant_id: acme
source_id: sharepoint:contract-1842
source_version: "2026-09-03T10:42:00Z"
content_hash: sha256:...
parser_version: doc-service-4.2
chunking_version: legal-v3
embedding_version: multilingual-e5-v2
target_index_version: knowledge-2026-09-v4Versioned physical indexes achter stabiele aliases maken re-embedding en rollback beheersbaar. We bouwen de nieuwe index op de achtergrond, draaien retrieval- en permission tests en verplaatsen daarna de read alias. Een nieuw embeddingmodel hoort een gecontroleerde migratie te zijn, geen verrassing in de bestaande index.
2. Schaal retrieval niet door top-k te verhogen
Wanneer de corpus groeit, lijkt een hogere top_k en een groter context window de snelste oplossing. Daarmee groeien ook vector-searchwerk, rerankingkosten, prompt tokens en irrelevante context.
Long context vervangt retrieval discipline niet. De peer-reviewed studie “Lost in the Middle” laat zien dat taalmodellen lange context niet op iedere positie even betrouwbaar gebruiken en vaak slechter presteren wanneer relevante informatie in het midden staat.Lost in the Middle
Onze retrieval path verkleint de zoekruimte voordat de context groter wordt:
- Bepaal authenticated tenant, gebruikersgroepen en toegestane logische indexes.
- Route de vraag naar het relevante domein of de documentcollectie.
- Pas tenant-, ACL-, tijd-, documenttype- en lifecyclefilters toe vóór candidate generation.
- Combineer lexical en vector candidates wanneer exacte termen, identifiers of acroniemen belangrijk zijn.
- Rerank een begrensde candidateset.
- Stuur alleen de kleinste voldoende, geciteerde context naar het model.
Hierarchical retrieval helpt eveneens. Een compacte document- of section-level index lokaliseert eerst het relevante gebied; daarna zoekt paragraph-level retrieval alleen daarbinnen. Niet iedere shard en chunk hoeft voor iedere vraag mee te dingen.
Elasticsearch maakt een belangrijk operationeel punt: een search draait per shard op één CPU-thread. Te veel shards kunnen de search thread pool uitputten; te grote shards vertragen search en recovery. De huidige richtlijn van 10–50 GB en minder dan 200 miljoen documenten per shard is een startpunt, geen universele regel. Benchmark met productiegegevens, filters, hardware en concurrency.Elastic shard sizing
3. Behandel inference capacity los van search capacity
Een retrievalcluster kan in 80 milliseconden resultaten leveren terwijl de gebruiker 25 seconden op het antwoord wacht. Search scale en generation scale zijn verschillende problemen.
Wij scheiden interactive traffic van batch summarisation en offline enrichment. Iedere klasse heeft een eigen queue, concurrency limit, timeout en prioriteit. Admission control voorkomt dat één gebruiker de volledige model pool bezet met tientallen lange requests. Cancellation moet doorlopen wanneer een request wordt gesloten; streaming moet nuttige voortgang laten zien zonder queue latency te verbergen.
Model routing is eveneens belangrijk. Query classification, metadata normalisation en rewrites hebben vaak niet het grootste model nodig. Een kleiner model kan deze stappen afhandelen; complexe synthese gaat naar een sterker model. Die keuze moet op kwaliteit worden geëvalueerd en is niet uitsluitend een kostenknop.
Voor self-hosted inference bieden engines zoals vLLM continuous batching, PagedAttention, quantisation, prefix caching en verschillende parallelismstrategieën. Dat vergroot de ontwerpvrijheid, maar vervangt workload-specifieke benchmarks niet. Daarom biedt vLLM afzonderlijke latency-, throughput- en servingbenchmarks.vLLM documentation en vLLM benchmarking
Meet minstens queue wait, time to first token, time per output token, totale input/output tokens, end-to-end p50/p95/p99 latency en rejection rate. Gemiddelde latency verbergt precies de concurrency failures die medewerkers merken.
4. Cache werk, geen security mistakes
Caching kan veel herhaald werk elimineren:
- Parsed pages en OCR-resultaten op content hash en parser version
- Embeddings op genormaliseerde chunk hash en embedding version
- Query rewrites voor low-risk deterministic operations
- Retrievalresultaten wanneer index- en permissionversies in de key staan
Een retrieval cache key met alleen de gebruikersvraag is gevaarlijk. Voeg minimaal tenant_id, geautoriseerde scope of ACL version, logical index version, retrievalconfiguratie en query toe. Response caching vraagt nog strengere isolatie en invalidatie, omdat generated text vertrouwelijke context kan bevatten. Is actuele permission state niet aantoonbaar, dan moet de cache fail closed.
5. De control plane moet meegroeien
Op enterprise scale zijn SSO en RBAC geen UI-features die na retrieval worden toegevoegd. Autorisaties uit het bronsysteem reizen mee met het document en worden toegepast voordat candidates terugkomen. Deactivated users, gewijzigde groepslidmaatschappen, document deletion en legal-retentionregels hebben meetbare propagatietijden nodig.
Iedere chunk bewaart source_id, version, pagina of section en index version. Per request loggen we authenticated principal, gekozen logical index, policy decision, source IDs, model- en promptversies, tokens en latency. De gevoelige documenttekst hoeft niet in iedere log; provenance en policybesluiten wel.
Het NIST Generative AI Profile adviseert data provenance, model versions, access modes en human-oversightrollen vast te leggen en post-deployment monitoring, incident response, recovery en change management te organiseren.NIST AI 600-1 Voor RAG geldt dit voor de hele pipeline, niet alleen voor de laatste LLM.
6. Gebruik evaluation als release gate
Een groen infrastructuurdashboard betekent niet dat antwoorden correct zijn. Schalen verandert retrieval: nieuwe documenten concurreren met oude, ACL-filters verkleinen candidate pools, indexinstellingen beïnvloeden recall en een nieuwe embedding version verplaatst vectorbuurten.
Wij onderhouden representatieve question sets per afdeling, taal, documenttype en permission profile. Retrieval en generation worden afzonderlijk geëvalueerd. Voor retrieval gebruiken we onder meer Recall@k, MRR of nDCG; antwoordtests beoordelen groundedness, citation correctness, completeness en passende abstention. RAGAS maakt een vergelijkbaar onderscheid tussen relevante retrieval context, faithful context use en generation quality.RAGAS paper
De Microsoft RAG-architectuurgids adviseert eveneens representatieve media en queries te testen, retrieval én end-to-end kwaliteit te meten en resultaten te documenteren.Microsoft RAG design and evaluation guide
Security tests horen in dezelfde gate. Kan een gebruiker een document van een andere tenant ophalen? Ziet een verwijderde groep nog cached results? Kan prompt injection een ongeautoriseerde index kiezen? Weigert het systeem als bewijs ontbreekt? Een release die gemiddelde kwaliteit verhoogt maar één van deze tests breekt, gaat niet live.
Praktische scaling gates
| Fase | Vereiste gate | Wat nog handmatig mag |
|---|---|---|
| Pilot | Representatieve documenten, afgesproken vragen, broncitaten en basistraces | Corpus approval en failure investigation |
| Beta | SSO/RBAC, asynchronous ingestion, golden set, quota en user feedback | Gerichte document-quality review |
| Production | Availability target, p95/p99 latency, backups, alerts, rollback en incident owner | Escalation voor low-confidence/high-impact answers |
| Organisation-wide | Tenant controls, cost allocation, audit coverage, lifecycle automation en adoption metrics | Risk-based human approval |
De overgang volgt uit bewijs, niet uit een willekeurig documentaantal.
Referentiearchitectuur
flowchart TD
S["Enterprise sources"] --> Q["Durable ingestion queue"]
Q --> W["Parser / OCR / embedding workers"]
W --> I["Versioned search index"]
W --> P["Processing manifest and error tracking"]
U["Authenticated user"] --> G["Authorisation + ACL pre-filter gateway"]
G --> I
I --> R["Candidate retrieval + reranker"]
R --> M["Model router + admission control"]
M --> L["Inference pool"]
L --> A["Cited answer"]
G --> O["Quality, security and latency traces"]
P --> O
L --> O
De retrieval gateway vormt de belangrijkste grens. Het model mag een tool kiezen, maar niet zijn eigen identiteit, tenant of raw physical index. Autorisatie blijft deterministisch en server-side.
Capacity planning vóór hardwareaankoop
Wij beginnen met een workload sheet, niet met een GPU-catalogus:
- Peak queries per second en concurrent sessions
- p50 en p95 retrieved context tokens
- p50 en p95 generated output tokens
- Pagina’s en gewijzigde source tokens per dag
- Chunk expansion factor en actieve embedding versions
- Candidate count, rerank count en filter selectivity
- Gewenste ACL-update- en deletion-propagatietijd
- Target p95 latency, availability en recovery time
Twee eenvoudige berekeningen tonen veel verborgen kosten: daily generation work is ongeveer het aantal queries maal gemiddelde input-plus-output tokens; een reindex is ongeveer het aantal gewijzigde source tokens maal het aantal embeddingversies dat wordt gebouwd. Daarna benchmarken we echte modellen, parsers en het searchcluster met realistische inputlengtes en arrival patterns. Vendor maximums zijn geen capacity plan.
Conclusie
Enterprise RAG schaalt niet door één box groter te maken. Het schaalt wanneer ingestion veilig kan retryen, indexes versioned en teruggedraaid kunnen worden, retrieval permission-aware blijft, inference queues concurrency verdragen en iedere release tegen echte vragen wordt geëvalueerd.
Het documentaantal is zichtbaar en krijgt daarom veel aandacht. Het moeilijke werk is minder zichtbaar: ACL-wijzigingen, stale caches, mislukte pagina’s, overbelaste queues, retrieval drift en onduidelijk incident ownership.
Een production RAG-systeem is geen model dat op een vectordatabase is aangesloten. Het is een governed information system met een LLM aan het einde van het pad.
LMXAI ontwerpt enterprise AI-platforms over document intelligence, retrieval, inference, security en observability. Is jullie RAG-pilot klaar om een betrouwbare organisatiebrede service te worden, dan kunnen we de scaling path en release gates samen ontwerpen.
Bronnen
- Microsoft — Design and develop a RAG solution
- Elastic — Optimize indexing speed
- Elastic — Size your Elasticsearch shards
- vLLM — Benchmarking
- Liu et al. — Lost in the Middle
- Es et al. — RAGAS
- NIST — AI RMF Generative AI Profile