Je supportinbox gesorteerd voordat iemand hem leest
Sorteer met één klik een inbox van acht klantberichten en schrijf daarna je eigen bericht in een van tien talen. Een klein model in je browser benoemt de afdeling, het verzoek en de stemming.
De demo heeft JavaScript nodig. Het model is een eenmalige download van 55 MB; je browser bewaart het.
De demo zelf is in het Engels, net als de data.
27 soorten verzoeken in 11 afdelingen van een webshop; al het andere komt terug als niet gerelateerd, en onder 50% zegt het model dat het niet zeker is. Tien talen, typfouten welkom.
96% vs. 87%Van 160 handgeschreven klantberichten naar het juiste verzoek gestuurd; een open LLM dat 150× groter is haalde 87%.
Verlaat nooit je systemenKlanttekst wordt op je eigen server of in de browser geclassificeerd.
Minder dan 2 uurPer miljoen berichten op een gewone server. Geen rekening per bericht.
Hoe het werkt
DataBitext-klantenservicevragen (Engels), machinaal vertaald naar negen andere talen, plus een klasse “geen verzoek” geleerd uit zinnen van Wikipedia en Tatoeba. Trainingsregels zijn verpakt in realistische berichten: begroeting, ordernummer, afsluiting.
ModelDe eerste 16 van de 22 lagen van mmBERT-small, gefinetuned om 27 verzoektypen te herkennen: 52 MB aan gewichten plus een woordenschat van 3 MB voor tien talen. De 160 handgeschreven testberichten komen van dezelfde auteur als de trainingsberichten, dus 96% is een bovengrens; op 10.000 achtergehouden Bitext-verzoeken haalt het 99%, de LLM 73%.
UitvoeringONNX + transformers.js, WebGPU of WASM. Hetzelfde model draait op een CPU-server in een paar milliseconden per bericht.
Kosten en snelheidOp vier CPU-threads doet het model 5,7 ms per bericht, 1,6 uur per miljoen. Het open LLM is Qwen 2.5 7B, met alleen de lijst van verzoektypen. Een gehost LLM tegen catalogusprijs zou ongeveer $ 35 per miljoen van zulke berichten kosten (een schatting op basis van gemeten promptlengtes), gefactureerd per bericht, terwijl de tekst je systemen verlaat.
Code, configuraties en de volledige benchmark: github.com/balticml/support-triage. Gewichten: huggingface.co/balticml/mmbert-small-support-triage. Wil je dit voor je inbox, met je eigen afdelingen? Neem contact op