Performance
Comparez Sluis, LiteLLM et Bifrost sur un matériel identique : surcharge du gateway, débit, latence de queue et méthode de test avec modèle réel.
Un seul upstream. Un matériel identique. La même charge.
Chaque gateway se place devant le même mock keep-alive à la même concurrence, isolant la surcharge du gateway de la variance du fournisseur. La campagne mesure le chemin protocolaire OpenAI ; la surface Anthropic ajoute une étape de traduction.
Un seul upstream factice partagé
Les quatre gateways frappent le même mock Node : keep-alive actif, un délai fixe de 60 ms.
Isolé, matériel identique
Chacun tourne dans un conteneur épinglé CPU/mémoire, chargé par oha à 256 connexions.
Référence porte ouverte
Politique tout-autorisé, DLP en observation seule, contenu d'audit désactivé : Sluis en simple proxy compatible OpenAI.
Porte fermée : le vrai produit
Résidence UE, masquage DLP, rétention de contenu, audit chaîné par hachage : chaque porte sur le chemin critique.
Les chiffres, exactement tels que mesurés.
Deux colonnes Sluis : porte ouverte, une comparaison de proxy à parts égales ; porte fermée, la surcharge de conformité face à notre propre référence.
2026-07-04 · oha 1.14 · c=256 · 30 s
| Métrique | Sluis porte ouverte | Sluis porte fermée | LiteLLM | Bifrost |
|---|---|---|---|---|
| Débit (RPS) | 4,046 | 3,678 | 298 | 3,148 |
| Latence p50 (ms) | 62 | 63 | 743 | 80 |
| Latence p99 (ms) | 77 | 130 | 4,584 | 118 |
| RSS maximal (MiB) | TBD | TBD | TBD | TBD |
| Taux de succès | 100% | 100% | 100% | 100% |
La latence est mesurée de bout en bout à travers le gateway, sur le même mock à latence fixe : les écarts représentent la surcharge propre des gateways.
La colonne porte fermée est la surcharge de conformité face à la porte ouverte, pas un duel.
Face à un modèle réel (plafonné à 10 RPS pour que le fournisseur ne limite jamais), la porte n'ajoute rien à la médiane : 305 ms porte fermée contre 304 ms porte ouverte. Les queues p99 de cette voie appartiennent au fournisseur, pas aux gateways.
Une affirmation honnête, ou aucune.
Un benchmark auquel on ne peut se fier est pire que rien ; nous fixons donc les règles avant tout chiffre.
- L'affirmation « le plus rapide » ne vaut que porte ouverte : Sluis en simple proxy face à LiteLLM et Bifrost.
- La porte fermée est une surcharge face à notre propre référence : une milliseconde à la médiane, neuf pour cent de débit, p99 de 130 ms contre 77 ms.
- La voie en direct, plafonnée, n'ajoute rien à la médiane ; ses queues p99 sont la variance du fournisseur.
- Si Sluis porte ouverte n'est pas nettement plus rapide, le titre devient « la conformité à coût négligeable ».