Prestazioni
Confronta Sluis, LiteLLM e Bifrost sullo stesso hardware: overhead del gateway, throughput, latenza di coda e metodologia con un modello reale.
Un upstream. Hardware identico. Lo stesso carico.
Ogni gateway si pone davanti allo stesso mock keep-alive alla stessa concorrenza, isolando l'overhead del gateway dalla varianza del fornitore. La misura riguarda il percorso protocollare OpenAI; la superficie Anthropic aggiunge un passaggio di traduzione.
Un solo upstream fittizio condiviso
Tutti e quattro i gateway colpiscono lo stesso mock Node: keep-alive attivo, un ritardo fisso di 60 ms.
Isolato, hardware identico
Ognuno gira in un container fissato su CPU/memoria, caricato da oha con 256 connessioni.
Riferimento a chiusa aperta
Politica permetti-tutto, DLP in sola osservazione, contenuto di audit disattivato: Sluis come semplice proxy compatibile OpenAI.
Chiusa chiusa: il prodotto reale
Residenza UE, mascheramento DLP, ritenzione dei contenuti, audit concatenato con hash: ogni chiusa sul percorso critico.
I numeri, esattamente come misurati.
Due colonne Sluis: chiusa aperta, un confronto di proxy ad armi pari; chiusa chiusa, l'overhead di conformità rispetto al nostro riferimento.
2026-07-04 · oha 1.14 · c=256 · 30 s
| Metrica | Sluis chiusa aperta | Sluis chiusa chiusa | LiteLLM | Bifrost |
|---|---|---|---|---|
| Throughput (RPS) | 4,046 | 3,678 | 298 | 3,148 |
| Latenza p50 (ms) | 62 | 63 | 743 | 80 |
| Latenza p99 (ms) | 77 | 130 | 4,584 | 118 |
| RSS di picco (MiB) | TBD | TBD | TBD | TBD |
| Tasso di successo | 100% | 100% | 100% | 100% |
La latenza è misurata end-to-end attraverso il gateway, sullo stesso mock a latenza fissa: le differenze sono l'overhead proprio dei gateway.
La colonna chiusa chiusa è overhead di conformità rispetto a chiusa aperta, non un duello.
Contro un modello reale (a tasso limitato a 10 RPS perché il fornitore non strozzi mai), la chiusa non aggiunge nulla alla mediana: 305 ms chiusa contro 304 ms aperta. Le code p99 di quella corsia appartengono al fornitore, non ai gateway.
Un'affermazione onesta, o nessuna.
Un benchmark di cui non ci si può fidare è peggio di nessuno; perciò fissiamo le regole prima di ogni numero.
- L'affermazione «il più veloce» vale solo a chiusa aperta: Sluis come semplice proxy contro LiteLLM e Bifrost.
- Chiusa chiusa è overhead rispetto al nostro riferimento: un millisecondo alla mediana, nove per cento di throughput, p99 di 130 ms contro 77 ms.
- La corsia dal vivo, a tasso limitato, non aggiunge nulla alla mediana; le sue code p99 sono varianza del fornitore.
- Se Sluis a chiusa aperta non è chiaramente più veloce, il titolo diventa «conformità a costo trascurabile».