Jūsų klientų pašto dėžutė, surūšiuota dar niekam neperskaičius
Vienu spustelėjimu surūšiuokite aštuonių klientų žinučių dėžutę, tada parašykite savo bet kuria iš dešimties kalbų. Mažas modelis Jūsų naršyklėje nurodo skyrių, užklausą ir nuotaiką.
Demonstracijai reikia JavaScript. Modelis atsisiunčiamas vieną kartą, 55 MB; Jūsų naršyklė jį išsaugo.
Pati demonstracija yra anglų kalba, kaip ir jos duomenys.
27 užklausų tipai 11 internetinės parduotuvės skyrių; visa kita grąžinama kaip nesusiję, o žemiau 50% modelis praneša, kad nėra tikras. Dešimt kalbų, rašybos klaidos leidžiamos.
96% prieš 87%Iš 160 ranka parašytų klientų žinučių nukreiptos į tinkamą užklausą; 150 kartų didesnis atviras LLM pasiekė 87%.
Niekada nepalieka Jūsų sistemųKlientų tekstas klasifikuojamas Jūsų serveryje arba naršyklėje.
Mažiau nei 2 valandosMilijonui žinučių paprastame serveryje. Jokio mokesčio už žinutę.
Kaip tai veikia
DuomenysBitext klientų aptarnavimo užklausos (anglų k.), mašininiu būdu išverstos į dar devynias kalbas, ir klasė „ne užklausa“, išmokta iš Wikipedia ir Tatoeba sakinių. Mokymo eilutės įvilktos į realistiškas žinutes: pasisveikinimas, užsakymo numeris, atsisveikinimas.
ModelisPirmieji 16 iš 22 mmBERT-small sluoksnių, pritaikyti klasifikuoti 27 užklausų tipus: 52 MB svorių ir 3 MB žodynas dešimčiai kalbų. 160 ranka parašytų testo žinučių parašė tas pats autorius, kaip ir mokymo žinutes, todėl 96% yra viršutinė riba; su 10 000 atidėtų Bitext užklausų jis pasiekia 99%, LLM – 73%.
VykdymasONNX + transformers.js, WebGPU arba WASM. Tas pats modelis CPU serveryje apdoroja žinutę per kelias milisekundes.
Kaina ir greitisKeturiose CPU gijose modeliui reikia 5,7 ms vienai žinutei, 1,6 valandos milijonui. Atviras LLM – Qwen 2.5 7B, gavęs tik užklausų tipų sąrašą. Talpinamas LLM pagal kainoraštį kainuotų apie 35 $ už milijoną tokių žinučių (įvertis pagal išmatuotus užklausų ilgius), mokant už kiekvieną žinutę ir siunčiant tekstą už Jūsų sistemų ribų.
Kodas, konfigūracijos ir visas palyginimas: github.com/balticml/support-triage. Svoriai: huggingface.co/balticml/mmbert-small-support-triage. Norite to savo pašto dėžutei, su savo skyriais? Susisiekite