Wydajność
Porównaj Sluis, LiteLLM i Bifrost na identycznym sprzęcie: narzut bramy, przepustowość, opóźnienia ogona i metodologia z prawdziwym modelem.
Jeden upstream. Identyczny sprzęt. To samo obciążenie.
Każda brama staje przed tym samym mockiem keep-alive przy tej samej współbieżności, izolując narzut bramy od zmienności dostawcy. Pomiar dotyczy ścieżki protokołu OpenAI; powierzchnia Anthropic dodaje jeden krok tłumaczenia.
Jeden współdzielony pozorowany upstream
Wszystkie cztery bramy uderzają w ten sam mock Node: keep-alive włączony, jedno stałe opóźnienie 60 ms.
Odizolowane, identyczny sprzęt
Każda działa w kontenerze przypiętym do CPU/pamięci, obciążana przez oha przy 256 połączeniach.
Punkt odniesienia przy wrotach otwartych
Polityka zezwól-na-wszystko, DLP tylko obserwacja, treść audytu wyłączona: Sluis jako zwykłe proxy zgodne z OpenAI.
Wrota zamknięte: prawdziwy produkt
Rezydencja UE, maskowanie DLP, retencja treści, audyt łączony haszem: każde wrota na ścieżce krytycznej.
Liczby, dokładnie tak jak zmierzone.
Dwie kolumny Sluis: wrota otwarte, porównanie proxy na równych zasadach; wrota zamknięte, narzut zgodności wobec naszego własnego punktu odniesienia.
2026-07-04 · oha 1.14 · c=256 · 30 s
| Metryka | Sluis wrota otwarte | Sluis wrota zamknięte | LiteLLM | Bifrost |
|---|---|---|---|---|
| Przepustowość (RPS) | 4,046 | 3,678 | 298 | 3,148 |
| Opóźnienie p50 (ms) | 62 | 63 | 743 | 80 |
| Opóźnienie p99 (ms) | 77 | 130 | 4,584 | 118 |
| Szczytowy RSS (MiB) | TBD | TBD | TBD | TBD |
| Wskaźnik powodzenia | 100% | 100% | 100% | 100% |
Opóźnienie mierzymy od końca do końca przez bramę, na tym samym mocku o stałym opóźnieniu: różnice to własny narzut bram.
Kolumna wrota zamknięte to narzut zgodności wobec wrót otwartych, nie pojedynek.
Wobec prawdziwego modelu (tempo ograniczone do 10 RPS, by dostawca nigdy nie dławił), brama nie dodaje nic w medianie: 305 ms z wrotami zamkniętymi wobec 304 ms z otwartymi. Ogony p99 tego toru należą do dostawcy, nie do bram.
Uczciwe twierdzenie albo żadne.
Benchmark, któremu nie można ufać, jest gorszy niż jego brak; dlatego ustalamy reguły przed każdą liczbą.
- Twierdzenie „najszybszy” dotyczy tylko wrót otwartych: Sluis jako zwykłe proxy wobec LiteLLM i Bifrost.
- Wrota zamknięte to narzut wobec naszego punktu odniesienia: jedna milisekunda w medianie, dziewięć procent przepustowości, p99 130 ms wobec 77 ms.
- Tor na żywo, o ograniczonym tempie, nie dodaje nic w medianie; jego ogony p99 to wariancja dostawcy.
- Jeśli Sluis przy wrotach otwartych nie jest wyraźnie szybszy, nagłówek brzmi „zgodność przy znikomym koszcie”.