Скринька підтримки, відсортована раніше, ніж хтось її прочитає
Відсортуйте одним кліком скриньку з восьми повідомлень від клієнтів, потім напишіть своє будь-якою з десяти мов. Невелика модель у вашому браузері визначить відділ, тип звернення та настрій.
Для демо потрібен JavaScript. Модель — це 55 MB для одноразового завантаження; браузер її зберігає.
Саме демо англійською, як і його дані.
27 типів звернень в 11 відділах інтернет-магазину; усе інше повертається як непов'язане, а нижче 50% модель каже, що не впевнена. Десять мов, помилки друку вітаються.
96% проти 87%Зі 160 написаних вручну повідомлень від клієнтів спрямовано до правильного запиту; відкрита LLM, у 150 разів більша, отримала 87%.
Ніколи не залишає ваших системТексти клієнтів класифікуються на вашому власному сервері або в браузері.
Менше 2 годинНа мільйон повідомлень на звичайному сервері. Без оплати за повідомлення.
Як це працює
ДаніЗвернення до підтримки Bitext (англійською), машинно перекладені ще дев'ятьма мовами, плюс клас «не звернення», вивчений на реченнях із Вікіпедії та Tatoeba. Навчальні приклади обгорнуто в реалістичні повідомлення: привітання, номер замовлення, підпис.
МодельПерші 16 із 22 шарів mmBERT-small, донавчені класифікувати 27 типів запитів: 52 MB ваг плюс 3 MB словника для десяти мов. 160 написаних вручну тестових повідомлень мають того самого автора, що й навчальні, тож 96% — це верхня межа; на 10 000 відкладених запитів Bitext модель має 99%, LLM — 73%.
ВиконанняONNX + transformers.js, WebGPU або WASM. Та сама модель працює на CPU-сервері за кілька мілісекунд на повідомлення.
Вартість і швидкістьНа чотирьох потоках CPU модель витрачає 5,7 ms на повідомлення, 1,6 години на мільйон. Відкрита LLM — Qwen 2.5 7B, якій дали лише список типів запитів. Хостована LLM за прайсом коштувала б близько 35 $ за мільйон таких повідомлень (оцінка за виміряною довжиною промптів), з оплатою за кожне повідомлення і текстом, що надсилається за межі ваших систем.
Код, конфігурації та повний бенчмарк: github.com/balticml/support-triage. Ваги: huggingface.co/balticml/mmbert-small-support-triage. Хочете таке для своєї скриньки, з вашими відділами? Зв'язатися