Пощата на поддръжката, сортирана преди някой да я прочете
Сортирайте с едно щракване пощенска кутия с осем съобщения от клиенти, после напишете свое на някой от десетте езика. Малък модел в браузъра Ви посочва отдела, запитването и настроението.
Демото изисква JavaScript. Моделът е 55 MB за изтегляне, веднъж; браузърът го запазва.
Самата демонстрация е на английски, както и данните ѝ.
27 вида запитвания в 11 отдела на онлайн магазин; всичко останало се връща като несвързано, а под 50% моделът казва, че не е сигурен. Десет езика, печатните грешки са добре дошли.
96% срещу 87%От 160 ръчно написани съобщения от клиенти, насочени към правилната заявка; отворен LLM, 150 пъти по-голям, постигна 87%.
Никога не напуска Вашите системиТекстовете на клиентите се класифицират на Вашия собствен сървър или в браузъра.
Под 2 часаНа милион съобщения на обикновен сървър. Без такса на съобщение.
Как работи
ДанниЗапитвания към поддръжката от Bitext (на английски), машинно преведени на още девет езика, плюс клас „не е запитване“, научен от изречения от Уикипедия и Tatoeba. Обучаващите примери са оформени като реалистични съобщения: поздрав, номер на поръчка, подпис.
МоделПървите 16 от 22 слоя на mmBERT-small, дообучени да класифицират 27 вида заявки: 52 MB тегла плюс 3 MB речник за десет езика. 160-те ръчно написани тестови съобщения са от същия автор като обучителните, затова 96% е горна граница; на 10 000 отделени заявки от Bitext моделът постига 99%, LLM — 73%.
ИзпълнениеONNX + transformers.js, WebGPU или WASM. Същият модел работи на CPU сървър за няколко милисекунди на съобщение.
Цена и скоростНа четири нишки на процесора моделът отнема 5,7 ms на съобщение, 1,6 часа на милион. Отвореният LLM е Qwen 2.5 7B, получил само списъка с видове заявки. Хостван LLM по ценоразпис би струвал около 35 $ на милион такива съобщения (оценка от измерени дължини на промптовете), с такса за всяко съобщение и текст, изпращан извън Вашите системи.
Код, конфигурации и пълният бенчмарк: github.com/balticml/support-triage. Тегла: huggingface.co/balticml/mmbert-small-support-triage. Искате ли това за Вашата поща, с Вашите отдели? Свържете се с нас