Su bandeja de soporte, clasificada antes de que nadie la lea

Clasifique con un clic una bandeja de ocho mensajes de clientes y después escriba el suyo en cualquiera de diez idiomas. Un modelo pequeño en su navegador indica el departamento, la solicitud y el tono.

La demo necesita JavaScript. El modelo se descarga una sola vez, 55 MB; su navegador lo conserva.

La demo en sí está en inglés, como sus datos.

27 tipos de solicitud en 11 departamentos de una tienda en línea; todo lo demás se marca como no relacionado, y por debajo del 50% el modelo dice que no está seguro. Diez idiomas, se admiten erratas.

96% frente a 87%De 160 mensajes de clientes escritos a mano, asignados a la solicitud correcta; un LLM abierto 150× más grande obtuvo un 87%.

Nunca sale de sus sistemasEl texto de los clientes se clasifica en su propio servidor o en el navegador.

Menos de 2 horasPor millón de mensajes en un servidor corriente. Sin factura por mensaje.

Cómo funciona

DatosSolicitudes de atención al cliente de Bitext (en inglés), traducidas automáticamente a otros nueve idiomas, más una clase «no es una solicitud» aprendida de frases de Wikipedia y Tatoeba. Los ejemplos de entrenamiento se presentan como mensajes realistas: saludo, número de pedido, despedida.

ModeloLas primeras 16 de las 22 capas de mmBERT-small, ajustadas para clasificar 27 tipos de solicitud: 52 MB de pesos más un vocabulario de 3 MB para diez idiomas. Los 160 mensajes de prueba escritos a mano son del mismo autor que los de entrenamiento, así que el 96% es una cota superior; en 10.000 solicitudes de Bitext reservadas obtiene un 99%, el LLM un 73%.

EjecuciónONNX + transformers.js, WebGPU o WASM. El mismo modelo funciona en un servidor con CPU en pocos milisegundos por mensaje.

Coste y velocidadCon cuatro hilos de CPU, el modelo tarda 5,7 ms por mensaje, 1,6 horas por millón. El LLM abierto es Qwen 2.5 7B, solo con la lista de tipos de solicitud. Un LLM alojado a precio de tarifa costaría unos 35 $ por millón de mensajes así (una estimación a partir de longitudes de prompt medidas), facturado por cada mensaje y con el texto enviado fuera de sus sistemas.

Código, configuraciones y el benchmark completo: github.com/balticml/support-triage. Pesos: huggingface.co/balticml/mmbert-small-support-triage. ¿Lo quiere en su bandeja, con sus departamentos? Contacte con nosotros