Prestazioni

Una chiusa che non senti.

Un millisecondo alla mediana, misurato, con ogni chiusa di conformità attiva.

Come funzionaLeggere la guida rapida
CONTROLLED FAST PATH · GATE ON
requestproviderinspect01route02seal03out04requestproviderinspect01route02seal03out04

L'ispezione gira nel processo, il ripristino avviene nello stream e il data plane è in Rust: la chiusa costa un millisecondo alla mediana.

4,046 RPSThroughput di picco
+1 msOverhead mediano della chiusa
13.6×Throughput vs LiteLLM

Un upstream. Hardware identico. Lo stesso carico.

Ogni gateway si pone davanti allo stesso mock keep-alive alla stessa concorrenza, isolando l'overhead del gateway dalla varianza del fornitore.

  • Un solo upstream fittizio condiviso

    Tutti e quattro i gateway colpiscono lo stesso mock Node: keep-alive attivo, un ritardo fisso di 60 ms.

  • Isolato, hardware identico

    Ognuno gira in un container fissato su CPU/memoria, caricato da oha con 256 connessioni.

  • Riferimento a chiusa aperta

    Politica permetti-tutto, DLP in sola osservazione, contenuto di audit disattivato: Sluis come semplice proxy compatibile OpenAI.

  • Chiusa chiusa: il prodotto reale

    Residenza UE, mascheramento DLP, ritenzione dei contenuti, audit concatenato con hash: ogni chiusa sul percorso critico.

01 / PRODUCT

A cosa non rinunci.

Una chiusa lascia passare la nave: nulla di ciò su cui conti viene sacrificato alla conformità.

  • Lo streaming resta streaming: i token escono man mano che arrivano, ripristinati nel flusso.
  • La cache risponde alle ripetizioni: cache esatta e semantica, per tenant, cifrate a riposo.
  • Il failover resta nella policy: Sluis reindirizza solo a un ripiego consentito.
02 / METHOD

Costruito perché il risultato non possa essere truccato in silenzio.

Ogni configurazione è fissata e identica su tutti i gateway, così il confronto non può essere sbilanciato di nascosto.

  • Tutti i gateway fissati a cgroups identici di CPU e memoria.
  • L'upstream fittizio è identico byte per byte e condiviso; un unico ritardo fisso per tutti.
  • LiteLLM e Bifrost girano con configurazioni identiche, senza flag nascosti.
  • Stesso warmup scartato e stessa finestra di misura per ogni gateway.
  • Ogni esecuzione è convalidata sui suoi codici di stato: tutto ciò che non è 100 % HTTP 200 viene scartato.
Risultati

I numeri, esattamente come misurati.

Due colonne Sluis: chiusa aperta, un confronto di proxy ad armi pari; chiusa chiusa, l'overhead di conformità rispetto al nostro riferimento.

Misurato il 2026-07-04 su hardware identico (un solo Mac Apple Silicon, Docker) a 256 connessioni; un confronto relativo. Ogni esecuzione verificata al 100 % HTTP 200, varianza tra esecuzioni sotto l'1 %. L'RSS di picco non è stato rilevato in questa esecuzione, quindi quella riga resta TBD.
MetricaSluis chiusa apertaSluis chiusa chiusaLiteLLMBifrost
Throughput (RPS)4,046
3,678
298
3,148
Latenza p50 (ms)62
63
743
80
Latenza p99 (ms)77
130
4,584
118
RSS di picco (MiB)TBD
TBD
TBD
TBD
Tasso di successo100%
100%
100%
100%

La latenza è misurata end-to-end attraverso il gateway, sullo stesso mock a latenza fissa: le differenze sono l'overhead proprio dei gateway.

La colonna chiusa chiusa è overhead di conformità rispetto a chiusa aperta, non un duello.

Contro un modello reale (a tasso limitato a 10 RPS perché il fornitore non strozzi mai), la chiusa non aggiunge nulla alla mediana: 305 ms chiusa contro 304 ms aperta. Le code p99 di quella corsia appartengono al fornitore, non ai gateway.

Un'affermazione onesta, o nessuna.

Un benchmark di cui non ci si può fidare è peggio di nessuno; perciò fissiamo le regole prima di ogni numero.

  • L'affermazione «il più veloce» vale solo a chiusa aperta: Sluis come semplice proxy contro LiteLLM e Bifrost.
  • Chiusa chiusa è overhead rispetto al nostro riferimento: un millisecondo alla mediana, nove per cento di throughput, p99 di 130 ms contro 77 ms.
  • La corsia dal vivo, a tasso limitato, non aggiunge nulla alla mediana; le sue code p99 sono varianza del fornitore.
  • Se Sluis a chiusa aperta non è chiaramente più veloce, il titolo diventa «conformità a costo trascurabile».

Costruito per il regolatore nella stanza, non solo per il test di carico.

Leggi come funziona il gateway, poi osserva come si comporta la chiusa di conformità.

Leggere la guida rapidaCome funziona