Performance

Une écluse que vous ne sentez pas.

Une milliseconde à la médiane, mesurée, avec toutes les portes de conformité actives.

Comment ça marcheLire le guide de démarrage
CONTROLLED FAST PATH · GATE ON
requestproviderinspect01route02seal03out04requestproviderinspect01route02seal03out04

L'inspection s'exécute en interne, la restauration se fait dans le flux, et le plan de données est en Rust : la porte coûte une milliseconde à la médiane.

4,046 RPSDébit de pointe
+1 msSurcharge médiane de la porte
13.6×Débit vs LiteLLM

Un seul upstream. Un matériel identique. La même charge.

Chaque gateway se place devant le même mock keep-alive à la même concurrence, isolant la surcharge du gateway de la variance du fournisseur.

  • Un seul upstream factice partagé

    Les quatre gateways frappent le même mock Node : keep-alive actif, un délai fixe de 60 ms.

  • Isolé, matériel identique

    Chacun tourne dans un conteneur épinglé CPU/mémoire, chargé par oha à 256 connexions.

  • Référence porte ouverte

    Politique tout-autorisé, DLP en observation seule, contenu d'audit désactivé : Sluis en simple proxy compatible OpenAI.

  • Porte fermée : le vrai produit

    Résidence UE, masquage DLP, rétention de contenu, audit chaîné par hachage : chaque porte sur le chemin critique.

01 / PRODUCT

Ce à quoi vous ne renoncez pas.

Une écluse laisse passer le navire : rien de ce sur quoi vous comptez n'est sacrifié à la conformité.

  • Le streaming reste du streaming : les jetons partent à mesure qu'ils arrivent, restaurés dans le flux.
  • Le cache répond aux répétitions : caches exact et sémantique, par locataire, chiffrés au repos.
  • Le basculement reste dans la politique : Sluis ne réachemine que vers un repli autorisé.
02 / METHOD

Conçu pour qu'on ne puisse pas truquer le résultat en silence.

Chaque configuration est épinglée et identique d'un gateway à l'autre, pour que la comparaison ne puisse pas être discrètement biaisée.

  • Tous les gateways épinglés à des cgroups CPU et mémoire identiques.
  • L'upstream factice est identique à l'octet près et partagé ; un seul délai fixe pour tous.
  • LiteLLM et Bifrost tournent sur des configurations identiques, sans aucun drapeau caché.
  • Préchauffe écartée identique et fenêtre de mesure identique pour chaque gateway.
  • Chaque exécution est validée sur ses codes de statut : tout ce qui n'est pas 100 % HTTP 200 est écarté.
Résultats

Les chiffres, exactement tels que mesurés.

Deux colonnes Sluis : porte ouverte, une comparaison de proxy à parts égales ; porte fermée, la surcharge de conformité face à notre propre référence.

Mesuré le 2026-07-04 sur un matériel identique (un seul Mac Apple Silicon, Docker) à 256 connexions ; une comparaison relative. Chaque exécution vérifiée à 100 % HTTP 200, variance entre exécutions sous 1 %. Le RSS maximal n'a pas été relevé lors de cette exécution, cette ligne reste donc TBD.
MétriqueSluis porte ouverteSluis porte ferméeLiteLLMBifrost
Débit (RPS)4,046
3,678
298
3,148
Latence p50 (ms)62
63
743
80
Latence p99 (ms)77
130
4,584
118
RSS maximal (MiB)TBD
TBD
TBD
TBD
Taux de succès100%
100%
100%
100%

La latence est mesurée de bout en bout à travers le gateway, sur le même mock à latence fixe : les écarts représentent la surcharge propre des gateways.

La colonne porte fermée est la surcharge de conformité face à la porte ouverte, pas un duel.

Face à un modèle réel (plafonné à 10 RPS pour que le fournisseur ne limite jamais), la porte n'ajoute rien à la médiane : 305 ms porte fermée contre 304 ms porte ouverte. Les queues p99 de cette voie appartiennent au fournisseur, pas aux gateways.

Une affirmation honnête, ou aucune.

Un benchmark auquel on ne peut se fier est pire que rien ; nous fixons donc les règles avant tout chiffre.

  • L'affirmation « le plus rapide » ne vaut que porte ouverte : Sluis en simple proxy face à LiteLLM et Bifrost.
  • La porte fermée est une surcharge face à notre propre référence : une milliseconde à la médiane, neuf pour cent de débit, p99 de 130 ms contre 77 ms.
  • La voie en direct, plafonnée, n'ajoute rien à la médiane ; ses queues p99 sont la variance du fournisseur.
  • Si Sluis porte ouverte n'est pas nettement plus rapide, le titre devient « la conformité à coût négligeable ».

Conçu pour le régulateur dans la pièce, pas seulement pour le test de charge.

Découvrez le fonctionnement du gateway, puis voyez comment la porte de conformité se comporte.

Lire le guide de démarrageComment ça marche