Rendimiento
Compare Sluis, LiteLLM y Bifrost en el mismo hardware: sobrecarga del gateway, rendimiento, latencia de cola y metodología con un modelo real.
Un upstream. Hardware idéntico. La misma carga.
Cada gateway se sitúa ante el mismo mock keep-alive con la misma concurrencia, aislando la sobrecarga del gateway de la varianza del proveedor. La ejecución mide la ruta del protocolo OpenAI; la superficie Anthropic añade un paso de traducción.
Un único upstream simulado compartido
Los cuatro gateways golpean el mismo mock de Node: keep-alive activo, un retardo fijo de 60 ms.
Aislado, hardware idéntico
Cada uno corre en un contenedor fijado en CPU/memoria, cargado por oha con 256 conexiones.
Línea base con compuerta abierta
Política de permitir todo, DLP solo observación, contenido de auditoría desactivado: Sluis como proxy simple compatible con OpenAI.
Compuerta cerrada: el producto real
Residencia UE, enmascarado DLP, retención de contenido, auditoría encadenada por hash: cada compuerta en la ruta crítica.
Las cifras, exactamente como se midieron.
Dos columnas de Sluis: compuerta abierta, una comparación de proxy en igualdad de condiciones; compuerta cerrada, la sobrecarga de cumplimiento frente a nuestra propia línea base.
2026-07-04 · oha 1.14 · c=256 · 30 s
| Métrica | Sluis compuerta abierta | Sluis compuerta cerrada | LiteLLM | Bifrost |
|---|---|---|---|---|
| Rendimiento (RPS) | 4,046 | 3,678 | 298 | 3,148 |
| Latencia p50 (ms) | 62 | 63 | 743 | 80 |
| Latencia p99 (ms) | 77 | 130 | 4,584 | 118 |
| RSS máximo (MiB) | TBD | TBD | TBD | TBD |
| Tasa de éxito | 100% | 100% | 100% | 100% |
La latencia se mide de extremo a extremo a través del gateway, sobre el mismo mock de latencia fija: las diferencias son la sobrecarga propia de los gateways.
La columna de compuerta cerrada es sobrecarga de cumplimiento frente a compuerta abierta, no un duelo.
Frente a un modelo real (con tasa limitada a 10 RPS para que el proveedor nunca estrangule), la compuerta no añade nada en la mediana: 305 ms cerrada frente a 304 ms abierta. Las colas p99 de ese carril pertenecen al proveedor, no a los gateways.
Una afirmación honesta, o ninguna.
Un benchmark en el que no se puede confiar es peor que ninguno; por eso fijamos las reglas antes de cualquier cifra.
- La afirmación de «el más rápido» solo vale con compuerta abierta: Sluis como proxy simple frente a LiteLLM y Bifrost.
- Compuerta cerrada es sobrecarga frente a nuestra línea base: un milisegundo en la mediana, un nueve por ciento de rendimiento, p99 de 130 ms frente a 77 ms.
- El carril en vivo, con tasa limitada, no añade nada en la mediana; sus colas p99 son varianza del proveedor.
- Si Sluis con compuerta abierta no es claramente más rápido, el titular pasa a «cumplimiento a coste insignificante».