La vostra casella di assistenza, smistata prima che qualcuno la legga
Smistate con un clic una casella di otto messaggi di clienti, poi scrivetene uno vostro in una delle dieci lingue. Un piccolo modello nel browser indica reparto, richiesta e stato d'animo.
La demo richiede JavaScript. Il modello si scarica una volta sola, 55 MB; il vostro browser lo conserva.
La demo è in inglese, come i suoi dati.
27 tipi di richiesta in 11 reparti di un negozio online; tutto il resto risulta non pertinente, e sotto il 50% il modello dice di non essere sicuro. Dieci lingue, refusi benvenuti.
96% contro 87%Dei 160 messaggi di clienti scritti a mano, assegnati alla richiesta giusta; un LLM aperto 150× più grande ha ottenuto l'87%.
Non lascia mai i vostri sistemiIl testo dei clienti viene classificato sul vostro server o nel browser.
Meno di 2 orePer milione di messaggi su un server comune. Nessuna bolletta per messaggio.
Come funziona
DatiRichieste di assistenza Bitext (in inglese), tradotte automaticamente in altre nove lingue, più una classe «non è una richiesta» appresa da frasi di Wikipedia e Tatoeba. Gli esempi di addestramento sono confezionati come messaggi realistici: saluto, numero d'ordine, chiusura.
ModelloI primi 16 dei 22 strati di mmBERT-small, addestrati per classificare 27 tipi di richiesta: 52 MB di pesi più un vocabolario di 3 MB per dieci lingue. I 160 messaggi di test scritti a mano vengono dallo stesso autore dei messaggi di addestramento, quindi il 96% è un limite superiore; su 10.000 richieste Bitext tenute da parte ottiene il 99%, l'LLM il 73%.
EsecuzioneONNX + transformers.js, WebGPU o WASM. Lo stesso modello gira su un server CPU in pochi millisecondi per messaggio.
Costi e velocitàSu quattro thread di CPU il modello impiega 5,7 ms per messaggio, 1,6 ore per milione. L'LLM aperto è Qwen 2.5 7B, con la sola lista dei tipi di richiesta. Un LLM in hosting a prezzo di listino costerebbe circa 35 $ per milione di messaggi simili (una stima da lunghezze di prompt misurate), fatturati messaggio per messaggio, con il testo inviato fuori dai vostri sistemi.
Codice, configurazioni e benchmark completo: github.com/balticml/support-triage. Pesi: huggingface.co/balticml/mmbert-small-support-triage. Lo volete per la vostra casella, con i vostri reparti? Contattateci