Leistung

Eine Schleuse, die Sie nicht spüren.

Eine Millisekunde im Median, gemessen, mit jeder aktiven Compliance-Schleuse.

So funktioniert esSchnellstart lesen
CONTROLLED FAST PATH · GATE ON
requestproviderinspect01route02seal03out04requestproviderinspect01route02seal03out04

Die Prüfung läuft prozessintern, die Wiederherstellung geschieht im Stream, und die Datenebene ist Rust: Die Schleuse kostet eine Millisekunde im Median.

4,046 RPSSpitzendurchsatz
+1 msMedian-Overhead der Schleuse
13.6×Durchsatz vs. LiteLLM

Ein Upstream. Identische Hardware. Dieselbe Last.

Jedes Gateway steht vor demselben Keep-Alive-Mock bei gleicher Nebenläufigkeit und trennt so den Gateway-Overhead von der Anbieter-Varianz.

  • Ein geteilter Mock-Upstream

    Alle vier Gateways treffen denselben Node-Mock: Keep-Alive an, eine feste Verzögerung von 60 ms.

  • Isoliert, identische Hardware

    Jedes läuft in einem CPU/Speicher-gepinnten Container, belastet von oha mit 256 Verbindungen.

  • Basislinie bei offener Schleuse

    Alles-erlauben-Richtlinie, DLP nur beobachtend, Audit-Inhalt aus: Sluis als reiner OpenAI-kompatibler Proxy.

  • Geschlossene Schleuse: das echte Produkt

    EU-Residenz, DLP-Maskierung, Inhaltsaufbewahrung, hash-verketteter Audit: jede Schleuse auf dem heißen Pfad.

01 / PRODUCT

Worauf Sie nicht verzichten.

Eine Schleuse lässt das Schiff passieren: Nichts, worauf Sie sich verlassen, wird für Compliance geopfert.

  • Streaming bleibt Streaming: Token gehen raus, sobald sie ankommen, im Stream wiederhergestellt.
  • Der Cache beantwortet Wiederholungen: exakter und semantischer Cache, pro Mandant, ruhend verschlüsselt.
  • Failover bleibt in der Richtlinie: Sluis leitet nur zu einem erlaubten Ausweichanbieter um.
02 / METHOD

So gebaut, dass das Ergebnis nicht heimlich manipuliert werden kann.

Jede Konfiguration ist festgelegt und über alle Gateways identisch, sodass der Vergleich nicht heimlich verzerrt werden kann.

  • Alle Gateways auf identische CPU- und Speicher-cgroups festgelegt.
  • Der Mock-Upstream ist byte-identisch und geteilt; eine feste Verzögerung für alle.
  • LiteLLM und Bifrost laufen mit identischen Konfigurationen, ohne versteckte Flags.
  • Gleiches verworfenes Warmup und gleiches Messfenster pro Gateway.
  • Jeder Lauf wird an seinen Statuscodes gemessen: alles außer 100 % HTTP 200 wird verworfen.
Ergebnisse

Die Zahlen, genau wie gemessen.

Zwei Sluis-Spalten: offene Schleuse, ein Äpfel-mit-Äpfeln-Proxy-Vergleich; geschlossene Schleuse, der Compliance-Overhead gegenüber unserer eigenen Basislinie.

Gemessen am 2026-07-04 auf identischer Hardware (ein Apple-Silicon-Mac, Docker) bei 256 Verbindungen; ein relativer Vergleich. Jeder Lauf zu 100 % HTTP 200 verifiziert, Wiederholungsvarianz unter 1 %. Spitzen-RSS wurde in diesem Lauf nicht erfasst, daher bleibt diese Zeile TBD.
MetrikSluis offene SchleuseSluis geschlossene SchleuseLiteLLMBifrost
Durchsatz (RPS)4,046
3,678
298
3,148
Latenz p50 (ms)62
63
743
80
Latenz p99 (ms)77
130
4,584
118
Spitzen-RSS (MiB)TBD
TBD
TBD
TBD
Erfolgsquote100%
100%
100%
100%

Die Latenz wird Ende-zu-Ende durch das Gateway über denselben Mock mit fester Latenz gemessen: die Unterschiede sind der Eigen-Overhead der Gateways.

Die Spalte geschlossene Schleuse ist Compliance-Overhead gegenüber offener Schleuse, kein Duell.

Gegen ein echtes Modell (ratenbegrenzt auf 10 RPS, damit der Anbieter nie drosselt) kostet die Schleuse im Median nichts: 305 ms geschlossen gegenüber 304 ms offen. Die p99-Ausläufer dieser Bahn gehören dem Anbieter, nicht den Gateways.

Eine ehrliche Aussage, oder gar keine.

Ein Benchmark, dem man nicht trauen kann, ist schlimmer als keiner; darum legen wir die Regeln vor jeder Zahl fest.

  • Die „am schnellsten“-Aussage gilt nur bei offener Schleuse: Sluis als reiner Proxy gegen LiteLLM und Bifrost.
  • Geschlossene Schleuse ist Overhead gegenüber unserer Basislinie: eine Millisekunde im Median, neun Prozent Durchsatz, p99 130 ms gegenüber 77 ms.
  • Die ratenbegrenzte Live-Bahn kostet im Median nichts; ihre p99-Ausläufer sind Anbieter-Varianz.
  • Ist Sluis offen nicht klar schneller, lautet die Schlagzeile „Compliance zu vernachlässigbaren Kosten“.

Gebaut für den Regulierer im Raum, nicht nur für den Lasttest.

Lesen Sie, wie das Gateway funktioniert, und sehen Sie dann, wie sich die Compliance-Schleuse schlägt.

Schnellstart lesenSo funktioniert es