Skrzynka obsługi klienta posortowana, zanim ktokolwiek ją przeczyta
Posortuj jednym kliknięciem skrzynkę z ośmioma wiadomościami od klientów, a potem napisz własną w jednym z dziesięciu języków. Mały model w przeglądarce wskaże dział, rodzaj sprawy i nastrój.
Demo wymaga JavaScriptu. Model to 55 MB do pobrania raz; przeglądarka go zachowuje.
Samo demo jest po angielsku, tak jak jego dane.
27 rodzajów spraw w 11 działach sklepu internetowego; wszystko inne wraca jako niezwiązane, a poniżej 50% model mówi, że nie jest pewien. Dziesięć języków, literówki mile widziane.
96% wobec 87%Ze 160 ręcznie napisanych wiadomości od klientów trafia do właściwego rodzaju sprawy; otwarty LLM 150× większy: 87%.
Nigdy nie opuszcza Twoich systemówTekst klienta jest klasyfikowany na Twoim własnym serwerze albo w przeglądarce.
Poniżej 2 godzinNa milion wiadomości na zwykłym serwerze. Bez opłaty za każdą wiadomość.
Jak to działa
DaneZapytania do obsługi klienta Bitext (po angielsku), przetłumaczone maszynowo na dziewięć kolejnych języków, plus klasa „to nie jest sprawa” wyuczona na zdaniach z Wikipedii i Tatoeby. Przykłady treningowe są opakowane w realistyczne wiadomości: powitanie, numer zamówienia, podpis.
ModelPierwsze 16 z 22 warstw mmBERT-small, dostrojone do klasyfikacji 27 typów zgłoszeń: 52 MB wag plus 3 MB słownika dla dziesięciu języków. 160 ręcznie napisanych wiadomości testowych pochodzi od tego samego autora co wiadomości treningowe, więc 96% to górna granica; na 10 000 odłożonych zgłoszeniach Bitext model ma 99%, LLM 73%.
UruchomienieONNX + transformers.js, WebGPU albo WASM. Ten sam model działa na serwerze CPU w kilka milisekund na wiadomość.
Koszt i szybkośćNa czterech wątkach CPU model potrzebuje 5,7 ms na wiadomość, 1,6 godziny na milion. Otwarty LLM to Qwen 2.5 7B, który dostał tylko listę typów zgłoszeń. Hostowany LLM w cenie katalogowej kosztowałby około 35 $ za milion takich wiadomości (szacunek na podstawie zmierzonych długości promptów), płatne za każdą wiadomość, a tekst trafiałby poza Twoje systemy.
Kod, konfiguracje i pełny benchmark: github.com/balticml/support-triage. Wagi: huggingface.co/balticml/mmbert-small-support-triage. Chcesz tego w swojej skrzynce, z własnymi działami? Napisz do nas