Ügyfélszolgálati postafiókja szétválogatva, mielőtt bárki elolvasná
Válogasson szét egy kattintással egy nyolc ügyfélüzenetes postafiókot, aztán írjon sajátot a tíz nyelv bármelyikén. Egy kis modell a böngészőjében megnevezi az osztályt, a kérést és a hangulatot.
A demóhoz JavaScript szükséges. A modell egyszeri, 55 MB-os letöltés; a böngészője megőrzi.
Maga a demó angol nyelvű, akárcsak az adatai.
27 kéréstípus egy webshop 11 osztályán; minden más nem kapcsolódóként jön vissza, 50% alatt pedig a modell jelzi, hogy nem biztos. Tíz nyelv, elírások megengedve.
96% vs. 87%A 160 kézzel írt ügyfélüzenetből ennyit irányított a megfelelő kérésre; egy 150× nagyobb nyílt LLM 87%-ot ért el.
Sosem hagyja el a rendszereitAz ügyfelek szövegének osztályozása a saját szerverén vagy a böngészőben történik.
2 óránál kevesebbEgymillió üzenetre, egy átlagos szerveren. Nincs üzenetenkénti számla.
Hogyan működik
AdatokBitext ügyfélszolgálati kérések (angolul), gépi fordítással további kilenc nyelvre, plusz egy „nem kérés” osztály Wikipédia- és Tatoeba-mondatokból tanulva. A tanítósorok valósághű üzenetekbe vannak csomagolva: köszönés, rendelésszám, aláírás.
ModellAz mmBERT-small 22 rétegéből az első 16, finomhangolva 27 kéréstípus osztályozására: 52 MB súly és egy 3 MB-os szókészlet tíz nyelvhez. A 160 kézzel írt tesztüzenet ugyanattól a szerzőtől származik, mint a tanítóüzenetek, így a 96% felső korlát; 10 000 félretett Bitext-kérésen 99%-ot ér el, az LLM 73%-ot.
FuttatásONNX + transformers.js, WebGPU vagy WASM. Ugyanez a modell CPU-s szerveren üzenetenként néhány ezredmásodperc alatt fut.
Költség és sebességNégy CPU-szálon a modellnek üzenetenként 5,7 ms kell, egymillióhoz 1,6 óra. A nyílt LLM a Qwen 2.5 7B, amely csak a kéréstípusok listáját kapta meg. Egy felhőben futó LLM listaáron kb. 35 dollárba kerülne egymillió ilyen üzenetenként (becslés mért promptméretek alapján), minden üzenetért számlázva, a szöveget pedig a rendszerein kívülre küldve.
Kód, konfigurációk és a teljes benchmark: github.com/balticml/support-triage. Súlyok: huggingface.co/balticml/mmbert-small-support-triage. Ilyet szeretne a saját postafiókjába, saját osztályaival? Vegye fel a kapcsolatot