Filter-Benchmark
Jeder Filter, gemessen.
Ein öffentliches Korpus aus 1.000 fiktiven Dokumenten misst, was jeder Sluis-Filter bringt: Erkennungsrate, Fehlalarme und Latenz. Für jeden reproduzierbar.
Methodik
Jedes Dokument ist fiktiv und trägt Gold-Annotationen: Zeichenketten, die geschwärzt werden müssen, und knappe Fehltreffer, die überleben müssen. Ein Filter, der alles schwärzt, erreicht 100 % Recall; die Fehlalarm-Spalte hält die Zahl ehrlich.
- 1.000 generierte Dokumente: strukturierte PII, Namen und Organisationen, Secrets, Prompt-Injections und harte Negative.
- Sechs Sprachen: Niederländisch, Englisch, Deutsch, Französisch, Italienisch und Spanisch, als Text, E-Mail, Code/Log, DOCX und PDF mit Textebene.
- Pro Funktion und pro Preset: Erkennungsrate (Recall) UND Fehlalarme pro 1.000 Wörter, plus die Latenzwirkung.
- Ein festgelegtes Claude-Modell beurteilt zusätzlich Rest-Identifizierbarkeit und entscheidet Fehlalarme; beide Werte werden veröffentlicht.
Ergebnisse
Ergebnisse noch nicht veröffentlicht
Der erste vollständige Matrix-Lauf gegen ein getaggtes Sluis-Release ist noch nicht veröffentlicht. Die Ergebnisse erscheinen hier, pro Filter und pro Preset, mit dem nächsten Release.
dataset / pending
Der Datensatz wird veröffentlicht
Das Benchmark-Korpus ist noch nicht herunterladbar. Schreiben Sie uns, und wir schicken den Link, sobald es online ist.
Schreiben Sie uns