Prestaties
Vergelijk Sluis, LiteLLM en Bifrost op identieke hardware: gateway-overhead, throughput, tail-latency en de testmethode met een echt model.
Eén upstream. Identieke hardware. Dezelfde belasting.
Elke gateway staat voor dezelfde keep-alive mock bij dezelfde gelijktijdigheid en isoleert zo de gateway-overhead van de providervariantie. De meting betreft het OpenAI-protocolpad; het Anthropic-oppervlak voegt één vertaalstap toe.
Eén gedeelde mock-upstream
Alle vier de gateways raken dezelfde Node-mock: keep-alive aan, één vaste vertraging van 60 ms.
Geïsoleerd, identieke hardware
Elk draait in een op CPU/geheugen vastgezette container, belast door oha met 256 verbindingen.
Sluis-open-basislijn
Alles-toestaan-beleid, DLP alleen observeren, auditinhoud uit: Sluis als kale OpenAI-compatibele proxy.
Sluis dicht: het echte product
EU-residentie, DLP-maskering, contentbewaring, hash-geketende audit: elke sluis op het hete pad.
De cijfers, precies zoals gemeten.
Twee Sluis-kolommen: sluis open, een gelijke-monniken-proxyvergelijking; sluis dicht, de compliance-overhead tegen onze eigen basislijn.
2026-07-04 · oha 1.14 · c=256 · 30 s
| Metriek | Sluis open | Sluis dicht | LiteLLM | Bifrost |
|---|---|---|---|---|
| Doorvoer (RPS) | 4,046 | 3,678 | 298 | 3,148 |
| Latentie p50 (ms) | 62 | 63 | 743 | 80 |
| Latentie p99 (ms) | 77 | 130 | 4,584 | 118 |
| Piek-RSS (MiB) | TBD | TBD | TBD | TBD |
| Slagingspercentage | 100% | 100% | 100% | 100% |
Latentie is end-to-end door de gateway gemeten, over dezelfde mock met vaste latentie: de verschillen zijn de eigen overhead van de gateways.
De kolom sluis dicht is compliance-overhead tegenover sluis open, geen duel.
Tegen een echt model (begrensd op 10 RPS zodat de provider nooit afknijpt) voegt de sluis niets toe op de mediaan: 305 ms sluis dicht tegenover 304 ms sluis open. De p99-staarten van die baan horen bij de provider, niet bij de gateways.
Een eerlijke claim, of geen.
Een benchmark die je niet kunt vertrouwen is erger dan geen; daarom leggen we de regels vast vóór elk getal.
- De “snelste”-claim geldt alleen voor sluis open: Sluis als kale proxy tegen LiteLLM en Bifrost.
- Sluis dicht is overhead tegen onze eigen basislijn: één milliseconde op de mediaan, negen procent doorvoer, p99 130 ms tegenover 77 ms.
- De begrensde live-baan voegt niets toe op de mediaan; de p99-staarten zijn providervariantie.
- Is Sluis open niet duidelijk sneller, dan wordt de kop “compliance tegen verwaarloosbare kosten”.