Din supportinkorg, sorterad innan någon läser den
Sortera en inkorg med åtta kundmeddelanden med ett klick och skriv sedan ett eget på något av tio språk. En liten modell i din webbläsare anger avdelning, ärende och stämning.
Demon kräver JavaScript. Modellen är en nedladdning på 55 MB, en gång; din webbläsare sparar den.
Själva demon är på engelska, precis som dess data.
27 ärendetyper i 11 avdelningar i en webbutik; allt annat markeras som orelaterat, och under 50% säger modellen att den är osäker. Tio språk, stavfel välkomna.
96 % mot 87 %Av 160 handskrivna kundmeddelanden hamnade så många på rätt ärende; en öppen språkmodell som är 150× större fick 87 %.
Lämnar aldrig dina systemKundtext klassificeras på din egen server eller i webbläsaren.
Under 2 timmarPer miljon meddelanden på en vanlig server. Ingen faktura per meddelande.
Så fungerar det
DataBitexts kundtjänstärenden (engelska), maskinöversatta till nio språk till, plus en klass ”inget ärende” inlärd från meningar ur Wikipedia och Tatoeba. Träningsraderna kläs i realistiska meddelanden: hälsning, ordernummer, avslutning.
ModellDe första 16 av mmBERT-smalls 22 lager, finjusterade för att klassificera 27 ärendetyper: 52 MB vikter plus ett ordförråd på 3 MB för tio språk. De 160 handskrivna testmeddelandena kommer från samma författare som träningsmeddelandena, så 96 % är en övre gräns; på 10 000 undanhållna Bitext-ärenden når den 99 %, språkmodellen 73 %.
KörmiljöONNX + transformers.js, WebGPU eller WASM. Samma modell körs på en CPU-server på några millisekunder per meddelande.
Kostnad och hastighetPå fyra CPU-trådar tar modellen 5,7 ms per meddelande, 1,6 timmar per miljon. Den öppna språkmodellen är Qwen 2.5 7B, med bara listan över ärendetyper. En molntjänst med en språkmodell till listpris skulle kosta omkring 35 dollar per miljon sådana meddelanden (en uppskattning utifrån uppmätta promptlängder), debiterat för varje meddelande och med texten skickad utanför dina system.
Kod, konfigurationer och hela jämförelsen: github.com/balticml/support-triage. Vikter: huggingface.co/balticml/mmbert-small-support-triage. Vill du ha detta för din inkorg, med dina avdelningar? Hör av dig