Kundeserviceinnboksen din, sortert før noen leser den
Sorter en innboks med åtte kundemeldinger med ett klikk, og skriv så din egen på hvilket som helst av ti språk. En liten modell i nettleseren din angir avdeling, henvendelse og stemning.
Demoen krever JavaScript. Modellen er en nedlasting på 55 MB, én gang; nettleseren din tar vare på den.
Selve demoen er på engelsk, i likhet med dataene.
27 henvendelsestyper i 11 avdelinger i en nettbutikk; alt annet merkes som urelatert, og under 50% sier modellen at den er usikker. Ti språk, skrivefeil er velkomne.
96 % mot 87 %Av 160 håndskrevne kundemeldinger sendt til riktig henvendelse; en åpen språkmodell som er 150× større, fikk 87 %.
Forlater aldri systemene dineKundetekst klassifiseres på din egen server eller i nettleseren.
Under 2 timerPer million meldinger på en vanlig server. Ingen regning per melding.
Slik fungerer det
DataBitext-kundeservicehenvendelser (engelsk), maskinoversatt til ni språk til, pluss en klasse «ingen henvendelse» lært fra setninger fra Wikipedia og Tatoeba. Treningsradene pakkes inn i realistiske meldinger: hilsen, ordrenummer, avslutning.
ModellDe første 16 av mmBERT-smalls 22 lag, finjustert for å klassifisere 27 forespørselstyper: 52 MB vekter pluss et ordforråd på 3 MB for ti språk. De 160 håndskrevne testmeldingene er skrevet av samme forfatter som treningsmeldingene, så 96 % er en øvre grense; på 10 000 tilbakeholdte Bitext-forespørsler oppnår den 99 %, språkmodellen 73 %.
KjøremiljøONNX + transformers.js, WebGPU eller WASM. Den samme modellen kjører på en CPU-server på noen millisekunder per melding.
Kostnad og hastighetPå fire CPU-tråder bruker modellen 5,7 ms per melding, 1,6 timer per million. Den åpne språkmodellen er Qwen 2.5 7B, bare med listen over forespørselstyper. En hostet språkmodell til listepris ville kostet rundt 35 dollar per million slike meldinger (et anslag ut fra målte promptlengder), fakturert for hver melding og med teksten sendt ut av systemene dine.
Kode, konfigurasjoner og hele sammenligningen: github.com/balticml/support-triage. Vekter: huggingface.co/balticml/mmbert-small-support-triage. Vil du ha dette for innboksen din, med dine avdelinger? Ta kontakt