Jūsu klientu atbalsta pastkaste, sašķirota, pirms kāds to izlasa
Ar vienu klikšķi sašķirojiet pastkasti ar astoņām klientu ziņām, pēc tam uzrakstiet savu jebkurā no desmit valodām. Neliels modelis Jūsu pārlūkā nosaka nodaļu, pieprasījumu un noskaņojumu.
Demonstrācijai nepieciešams JavaScript. Modelis tiek lejupielādēts vienreiz, 55 MB; Jūsu pārlūks to saglabā.
Pati demonstrācija ir angļu valodā, tāpat kā tās dati.
27 pieprasījumu veidi interneta veikala 11 nodaļās; viss pārējais tiek atzīmēts kā nesaistīts, un zem 50% modelis saka, ka nav pārliecināts. Desmit valodas, drukas kļūdas atļautas.
96% pret 87%No 160 ar roku rakstītiem klientu ziņojumiem novirzīti uz pareizo pieprasījumu; 150× lielāks atvērts LLM sasniedza 87%.
Nekad neatstāj Jūsu sistēmasKlientu teksts tiek klasificēts Jūsu pašu serverī vai pārlūkā.
Mazāk nekā 2 stundasUz miljonu ziņojumu parastā serverī. Nav maksas par katru ziņojumu.
Kā tas darbojas
DatiBitext klientu atbalsta pieprasījumi (angliski), mašīntulkoti vēl deviņās valodās, kā arī klase „nav pieprasījums“, apgūta no Wikipedia un Tatoeba teikumiem. Apmācības rindas ietītas reālistiskās ziņās: sveiciens, pasūtījuma numurs, nobeigums.
ModelisPirmie 16 no mmBERT-small 22 slāņiem, pielāgoti 27 pieprasījumu veidu klasificēšanai: 52 MB svaru plus 3 MB vārdnīca desmit valodām. 160 ar roku rakstītos testa ziņojumus rakstījis tas pats autors, kas apmācības ziņojumus, tāpēc 96% ir augšējā robeža; ar 10 000 atliktiem Bitext pieprasījumiem tas sasniedz 99%, LLM — 73%.
Izpildes videONNX + transformers.js, WebGPU vai WASM. Tas pats modelis darbojas CPU serverī dažās milisekundēs uz ziņu.
Izmaksas un ātrumsUz četriem CPU pavedieniem modelim vajag 5,7 ms uz ziņojumu, 1,6 stundas uz miljonu. Atvērtais LLM ir Qwen 2.5 7B, kam dots tikai pieprasījumu veidu saraksts. Mitināts LLM pēc cenrāža izmaksātu aptuveni 35 $ par miljonu šādu ziņojumu (aplēse no izmērītiem uzvednes garumiem), ar rēķinu par katru ziņojumu un tekstu, kas tiek sūtīts ārpus Jūsu sistēmām.
Kods, konfigurācijas un pilns salīdzinājums: github.com/balticml/support-triage. Svari: huggingface.co/balticml/mmbert-small-support-triage. Vēlaties to savai pastkastei, ar savām nodaļām? Sazinieties ar mums