Din supportindbakke, sorteret før nogen læser den
Sortér en indbakke med otte kundebeskeder med ét klik, og skriv så din egen på et af ti sprog. En lille model i din browser angiver afdeling, henvendelse og stemning.
Demoen kræver JavaScript. Modellen er en download på 55 MB, én gang; din browser gemmer den.
Selve demoen er på engelsk, ligesom dens data.
27 henvendelsestyper i 11 afdelinger i en webshop; alt andet markeres som urelateret, og under 50% siger modellen, at den er usikker. Ti sprog, stavefejl er velkomne.
96 % mod 87 %Af 160 håndskrevne kundebeskeder sendt til den rigtige henvendelse; en åben sprogmodel, der er 150× større, fik 87 %.
Forlader aldrig dine systemerKundetekst klassificeres på din egen server eller i browseren.
Under 2 timerPr. million beskeder på en almindelig server. Ingen regning pr. besked.
Sådan virker det
DataBitext-kundeservicehenvendelser (engelsk), maskinoversat til ni andre sprog, plus en klasse »ingen henvendelse« lært fra sætninger fra Wikipedia og Tatoeba. Træningsrækkerne pakkes ind i realistiske beskeder: hilsen, ordrenummer, afslutning.
ModelDe første 16 af mmBERT-smalls 22 lag, finjusteret til at klassificere 27 forespørgselstyper: 52 MB vægte plus et ordforråd på 3 MB til ti sprog. De 160 håndskrevne testbeskeder er skrevet af samme forfatter som træningsbeskederne, så 96 % er en øvre grænse; på 10.000 tilbageholdte Bitext-forespørgsler scorer den 99 %, sprogmodellen 73 %.
KørselsmiljøONNX + transformers.js, WebGPU eller WASM. Den samme model kører på en CPU-server på få millisekunder per besked.
Pris og hastighedPå fire CPU-tråde bruger modellen 5,7 ms pr. besked, 1,6 timer pr. million. Den åbne sprogmodel er Qwen 2.5 7B, kun med listen over forespørgselstyper. En hostet sprogmodel til listepris ville koste omkring 35 dollar pr. million af den slags beskeder (et skøn ud fra målte promptlængder), faktureret for hver besked og med teksten sendt uden for dine systemer.
Kode, konfigurationer og hele sammenligningen: github.com/balticml/support-triage. Vægte: huggingface.co/balticml/mmbert-small-support-triage. Vil du have det på din indbakke, med dine afdelinger? Tag kontakt