Wydajność

Śluza, której nie czujesz.

Jedna milisekunda w medianie, zmierzona, przy każdej aktywnej bramie zgodności.

Jak to działaPrzeczytaj przewodnik startowy
CONTROLLED FAST PATH · GATE ON
requestproviderinspect01route02seal03out04requestproviderinspect01route02seal03out04

Inspekcja działa w procesie, przywracanie odbywa się w strumieniu, a płaszczyzna danych jest w Rust: brama kosztuje jedną milisekundę w medianie.

4,046 RPSSzczytowa przepustowość
+1 msMedianowy narzut bramy
13.6×Przepustowość vs LiteLLM

Jeden upstream. Identyczny sprzęt. To samo obciążenie.

Każda brama staje przed tym samym mockiem keep-alive przy tej samej współbieżności, izolując narzut bramy od zmienności dostawcy.

  • Jeden współdzielony pozorowany upstream

    Wszystkie cztery bramy uderzają w ten sam mock Node: keep-alive włączony, jedno stałe opóźnienie 60 ms.

  • Odizolowane, identyczny sprzęt

    Każda działa w kontenerze przypiętym do CPU/pamięci, obciążana przez oha przy 256 połączeniach.

  • Punkt odniesienia przy wrotach otwartych

    Polityka zezwól-na-wszystko, DLP tylko obserwacja, treść audytu wyłączona: Sluis jako zwykłe proxy zgodne z OpenAI.

  • Wrota zamknięte: prawdziwy produkt

    Rezydencja UE, maskowanie DLP, retencja treści, audyt łączony haszem: każde wrota na ścieżce krytycznej.

01 / PRODUCT

Z czego nie rezygnujesz.

Śluza przepuszcza statek: nic, na czym polegasz, nie zostaje poświęcone dla zgodności.

  • Streaming pozostaje streamingiem: tokeny wychodzą, gdy tylko przychodzą, przywracane w strumieniu.
  • Pamięć podręczna odpowiada na powtórzenia: dokładna i semantyczna, per najemca, szyfrowana w spoczynku.
  • Przełączanie awaryjne zostaje w polityce: Sluis przekierowuje tylko do dozwolonego zapasu.
02 / METHOD

Zbudowane tak, by wyniku nie dało się po cichu zmanipulować.

Każda konfiguracja jest przypięta i identyczna we wszystkich bramach, więc porównania nie da się po cichu przechylić.

  • Wszystkie bramy przypięte do identycznych cgroup CPU i pamięci.
  • Pozorowany upstream jest identyczny co do bajta i współdzielony; jedno stałe opóźnienie dla wszystkich.
  • LiteLLM i Bifrost działają na identycznych konfiguracjach, bez żadnych ukrytych flag.
  • Jednakowe odrzucone rozgrzewanie i jednakowe okno pomiaru dla każdej bramy.
  • Każdy przebieg jest sprawdzany po kodach statusu: wszystko poza 100 % HTTP 200 jest odrzucane.
Wyniki

Liczby, dokładnie tak jak zmierzone.

Dwie kolumny Sluis: wrota otwarte, porównanie proxy na równych zasadach; wrota zamknięte, narzut zgodności wobec naszego własnego punktu odniesienia.

Zmierzono 2026-07-04 na identycznym sprzęcie (jeden Mac Apple Silicon, Docker) przy 256 połączeniach; porównanie względne. Każdy przebieg zweryfikowany na 100 % HTTP 200, wariancja między przebiegami poniżej 1 %. Szczytowego RSS nie zarejestrowano w tym przebiegu, więc ten wiersz pozostaje TBD.
MetrykaSluis wrota otwarteSluis wrota zamknięteLiteLLMBifrost
Przepustowość (RPS)4,046
3,678
298
3,148
Opóźnienie p50 (ms)62
63
743
80
Opóźnienie p99 (ms)77
130
4,584
118
Szczytowy RSS (MiB)TBD
TBD
TBD
TBD
Wskaźnik powodzenia100%
100%
100%
100%

Opóźnienie mierzymy od końca do końca przez bramę, na tym samym mocku o stałym opóźnieniu: różnice to własny narzut bram.

Kolumna wrota zamknięte to narzut zgodności wobec wrót otwartych, nie pojedynek.

Wobec prawdziwego modelu (tempo ograniczone do 10 RPS, by dostawca nigdy nie dławił), brama nie dodaje nic w medianie: 305 ms z wrotami zamkniętymi wobec 304 ms z otwartymi. Ogony p99 tego toru należą do dostawcy, nie do bram.

Uczciwe twierdzenie albo żadne.

Benchmark, któremu nie można ufać, jest gorszy niż jego brak; dlatego ustalamy reguły przed każdą liczbą.

  • Twierdzenie „najszybszy” dotyczy tylko wrót otwartych: Sluis jako zwykłe proxy wobec LiteLLM i Bifrost.
  • Wrota zamknięte to narzut wobec naszego punktu odniesienia: jedna milisekunda w medianie, dziewięć procent przepustowości, p99 130 ms wobec 77 ms.
  • Tor na żywo, o ograniczonym tempie, nie dodaje nic w medianie; jego ogony p99 to wariancja dostawcy.
  • Jeśli Sluis przy wrotach otwartych nie jest wyraźnie szybszy, nagłówek brzmi „zgodność przy znikomym koszcie”.

Zbudowany dla regulatora w pokoju, nie tylko pod test obciążeniowy.

Przeczytaj, jak działa brama, a potem zobacz, jak spisuje się wrota zgodności.

Przeczytaj przewodnik startowyJak to działa