Schránka zákazníckej podpory roztriedená skôr, než ju niekto prečíta
Jedným kliknutím roztrieďte schránku s ôsmimi správami od zákazníkov a potom napíšte vlastnú v ktoromkoľvek z desiatich jazykov. Malý model vo vašom prehliadači určí oddelenie, typ požiadavky a náladu.
Ukážka vyžaduje JavaScript. Model má 55 MB na stiahnutie, raz; prehliadač si ho ponechá.
Samotná ukážka je v angličtine, rovnako ako jej údaje.
27 typov požiadaviek v 11 oddeleniach internetového obchodu; všetko ostatné sa vráti ako nesúvisiace a pod 50% model povie, že si nie je istý. Desať jazykov, preklepy vítané.
96% vs. 87%Zo 160 ručne napísaných správ od zákazníkov nasmerovaných k správnej požiadavke; otvorený LLM 150× väčší dosiahol 87%.
Nikdy neopustí vaše systémyTexty zákazníkov sa klasifikujú na vašom vlastnom serveri alebo v prehliadači.
Menej ako 2 hodinyNa milión správ na bežnom serveri. Žiadny účet za správu.
Ako to funguje
ÚdajePožiadavky zákazníckej podpory Bitext (anglicky), strojovo preložené do ďalších deviatich jazykov, plus trieda „nejde o požiadavku“ naučená z viet z Wikipédie a Tatoeby. Trénovacie riadky sú zabalené do realistických správ: pozdrav, číslo objednávky, podpis.
ModelPrvých 16 z 22 vrstiev mmBERT-small, doladených na klasifikáciu 27 typov požiadaviek: 52 MB váh plus 3 MB slovníka pre desať jazykov. 160 ručne napísaných testovacích správ pochádza od rovnakého autora ako trénovacie správy, preto je 96% horná hranica; na 10 000 odložených požiadavkách Bitext dosahuje 99%, LLM 73%.
BehONNX + transformers.js, WebGPU alebo WASM. Ten istý model beží na serveri s CPU za niekoľko milisekúnd na správu.
Náklady a rýchlosťNa štyroch vláknach CPU spracuje model správu za 5,7 ms, milión za 1,6 hodiny. Otvorený LLM je Qwen 2.5 7B, ktorý dostal len zoznam typov požiadaviek. Hostovaný LLM podľa cenníka by stál asi 35 $ za milión takých správ (odhad z nameraných dĺžok promptov), s účtom za každú správu a s textom odosielaným mimo vaše systémy.
Kód, konfigurácie a celý benchmark: github.com/balticml/support-triage. Váhy: huggingface.co/balticml/mmbert-small-support-triage. Chcete to pre svoju schránku, s vlastnými oddeleniami? Ozvite sa