Căsuța de suport, sortată înainte ca cineva s-o citească

Sortați dintr-un clic o căsuță cu opt mesaje de la clienți, apoi scrieți propriul mesaj în oricare dintre cele zece limbi. Un model mic din browser numește departamentul, solicitarea și starea de spirit.

Demo-ul necesită JavaScript. Modelul se descarcă o singură dată, 55 MB; browserul dumneavoastră îl păstrează.

Demo-ul în sine este în engleză, ca și datele sale.

27 de tipuri de solicitări în 11 departamente ale unui magazin online; orice altceva revine ca neînrudit, iar sub 50% modelul spune că nu este sigur. Zece limbi, greșelile de tastare sunt binevenite.

96% vs. 87%Din 160 de mesaje de la clienți scrise de mână, direcționate către solicitarea corectă; un LLM deschis de 150 de ori mai mare a obținut 87%.

Nu vă părăsește niciodată sistemeleTextul clienților este clasificat pe propriul server sau în browser.

Sub 2 orePer milion de mesaje, pe un server obișnuit. Fără factură per mesaj.

Cum funcționează

DateSolicitări de suport Bitext (în engleză), traduse automat în încă nouă limbi, plus o clasă „nu este o solicitare” învățată din propoziții Wikipedia și Tatoeba. Exemplele de antrenare sunt încadrate în mesaje realiste: salut, număr de comandă, semnătură.

ModelPrimele 16 din cele 22 de straturi ale mmBERT-small, ajustate pentru a clasifica 27 de tipuri de solicitări: 52 MB de ponderi plus un vocabular de 3 MB pentru zece limbi. Cele 160 de mesaje de test scrise de mână provin de la același autor ca mesajele de antrenare, deci 96% este o limită superioară; pe 10.000 de solicitări Bitext păstrate deoparte obține 99%, LLM-ul 73%.

RulareONNX + transformers.js, WebGPU sau WASM. Același model rulează pe un server CPU în câteva milisecunde per mesaj.

Cost și vitezăPe patru fire de execuție CPU, modelul are nevoie de 5,7 ms per mesaj, 1,6 ore per milion. LLM-ul deschis este Qwen 2.5 7B, care a primit doar lista tipurilor de solicitări. Un LLM găzduit, la prețul de listă, ar costa aproximativ 35 $ per milion de astfel de mesaje (estimare din lungimi de prompt măsurate), facturat pentru fiecare mesaj, cu textul trimis în afara sistemelor dumneavoastră.

Cod, configurații și benchmarkul complet: github.com/balticml/support-triage. Ponderi: huggingface.co/balticml/mmbert-small-support-triage. Vreți asta în căsuța dumneavoastră, cu propriile departamente? Contactați-ne