A sua caixa de apoio, organizada antes de alguém a ler
Organize com um clique uma caixa com oito mensagens de clientes e depois escreva a sua em qualquer uma de dez línguas. Um modelo pequeno no navegador indica o departamento, o pedido e o tom.
A demo precisa de JavaScript. O modelo é descarregado uma só vez, 55 MB; o seu navegador guarda-o.
A demo em si está em inglês, tal como os dados.
27 tipos de pedido em 11 departamentos de uma loja online; tudo o resto volta como não relacionado, e abaixo de 50% o modelo diz que não tem a certeza. Dez línguas, gralhas bem-vindas.
96% contra 87%Das 160 mensagens de clientes escritas à mão, encaminhadas para o pedido certo; um LLM aberto 150× maior obteve 87%.
Nunca sai dos seus sistemasO texto dos clientes é classificado no seu próprio servidor ou no navegador.
Menos de 2 horasPor milhão de mensagens num servidor comum. Sem fatura por mensagem.
Como funciona
DadosPedidos de apoio ao cliente da Bitext (em inglês), traduzidos automaticamente para mais nove línguas, mais uma classe «não é um pedido» aprendida a partir de frases da Wikipédia e do Tatoeba. Os exemplos de treino são apresentados como mensagens realistas: saudação, número de encomenda, despedida.
ModeloAs primeiras 16 das 22 camadas do mmBERT-small, ajustadas para classificar 27 tipos de pedido: 52 MB de pesos mais um vocabulário de 3 MB para dez línguas. As 160 mensagens de teste escritas à mão são do mesmo autor das mensagens de treino, por isso 96% é um limite superior; em 10 000 pedidos Bitext reservados obtém 99%, o LLM 73%.
ExecuçãoONNX + transformers.js, WebGPU ou WASM. O mesmo modelo corre num servidor com CPU em poucos milissegundos por mensagem.
Custo e velocidadeEm quatro threads de CPU, o modelo demora 5,7 ms por mensagem, 1,6 horas por milhão. O LLM aberto é o Qwen 2.5 7B, apenas com a lista de tipos de pedido. Um LLM alojado a preço de tabela custaria cerca de 35 $ por milhão destas mensagens (uma estimativa a partir de comprimentos de prompt medidos), faturado por cada mensagem, com o texto enviado para fora dos seus sistemas.
Código, configurações e o benchmark completo: github.com/balticml/support-triage. Pesos: huggingface.co/balticml/mmbert-small-support-triage. Quer isto na sua caixa, com os seus departamentos? Entre em contacto