Schránka zákaznické podpory roztříděná dřív, než ji kdokoli přečte
Jedním kliknutím roztřiďte schránku s osmi zprávami od zákazníků a pak napište vlastní v kterémkoli z deseti jazyků. Malý model ve vašem prohlížeči určí oddělení, typ požadavku a náladu.
Ukázka vyžaduje JavaScript. Model má 55 MB ke stažení, jednou; prohlížeč si ho ponechá.
Samotná ukázka je v angličtině, stejně jako její data.
27 typů požadavků v 11 odděleních internetového obchodu; vše ostatní se vrátí jako nesouvisející a pod 50% model řekne, že si není jistý. Deset jazyků, překlepy vítány.
96% vs. 87%Ze 160 ručně napsaných zpráv od zákazníků směrováno ke správnému požadavku; otevřený LLM 150× větší dosáhl 87%.
Nikdy neopustí vaše systémyTexty zákazníků se klasifikují na vašem vlastním serveru nebo v prohlížeči.
Méně než 2 hodinyNa milion zpráv na běžném serveru. Žádný účet za zprávu.
Jak to funguje
DataPožadavky zákaznické podpory Bitext (anglicky), strojově přeložené do dalších devíti jazyků, plus třída „nejde o požadavek“ naučená z vět z Wikipedie a Tatoeby. Trénovací řádky jsou zabalené do realistických zpráv: pozdrav, číslo objednávky, podpis.
ModelPrvních 16 z 22 vrstev mmBERT-small, doladěných ke klasifikaci 27 typů požadavků: 52 MB vah plus 3 MB slovníku pro deset jazyků. 160 ručně napsaných testovacích zpráv pochází od stejného autora jako trénovací zprávy, takže 96% je horní hranice; na 10 000 odložených požadavcích Bitext dosahuje 99%, LLM 73%.
BěhONNX + transformers.js, WebGPU nebo WASM. Tentýž model běží na serveru s CPU za několik milisekund na zprávu.
Náklady a rychlostNa čtyřech vláknech CPU zpracuje model zprávu za 5,7 ms, milion za 1,6 hodiny. Otevřený LLM je Qwen 2.5 7B, který dostal jen seznam typů požadavků. Hostovaný LLM podle ceníku by stál asi 35 $ za milion takových zpráv (odhad z naměřených délek promptů), s účtem za každou zprávu a s textem odesílaným mimo vaše systémy.
Kód, konfigurace a celý benchmark: github.com/balticml/support-triage. Váhy: huggingface.co/balticml/mmbert-small-support-triage. Chcete to pro svou schránku, s vlastními odděleními? Ozvěte se