Benchmark de filtros
Cada filtro, medido.
Un corpus público de 1.000 documentos ficticios mide lo que aporta cada filtro de Sluis: tasa de detección, falsos positivos y latencia. Reproducible por cualquiera.
Metodología
Cada documento es ficticio y lleva anotaciones de referencia: cadenas que deben censurarse y casi coincidencias que deben sobrevivir. Un filtro que censura todo logra el 100 % de exhaustividad; la columna de falsos positivos mantiene la cifra honesta.
- 1.000 documentos generados: PII estructurada, nombres y organizaciones, secretos, inyecciones de prompt y negativos difíciles.
- Seis idiomas: neerlandés, inglés, alemán, francés, italiano y español, en texto, correo, código/registro, DOCX y PDF con capa de texto.
- Por función y por preajuste: tasa de detección (exhaustividad) Y falsos positivos por 1.000 palabras, más el impacto en latencia.
- Un modelo Claude fijado juzga además la identificabilidad residual y arbitra los falsos positivos; se publican ambas puntuaciones.
Resultados
Resultados pendientes de publicación
La primera matriz completa contra una versión etiquetada de Sluis aún no está publicada. Los resultados aparecerán aquí, por filtro y por preajuste, con la próxima versión.
dataset / pending
El conjunto de datos está en camino
El corpus del benchmark aún no se puede descargar. Escríbanos y le enviaremos el enlace en cuanto esté disponible.
Escríbanos