Ihr Support-Postfach, sortiert, bevor es jemand liest
Sortieren Sie mit einem Klick ein Postfach mit acht Kundennachrichten und schreiben Sie dann eine eigene in einer von zehn Sprachen. Ein kleines Modell im Browser nennt Abteilung, Anliegen und Stimmung.
Die Demo benötigt JavaScript. Das Modell ist ein einmaliger Download von 55 MB; Ihr Browser behält es.
Die Demo selbst ist auf Englisch, wie ihre Daten.
27 Anliegen in 11 Abteilungen eines Onlineshops; alles andere gilt als themenfremd, und unter 50% sagt das Modell, dass es unsicher ist. Zehn Sprachen, Tippfehler willkommen.
96 % vs. 87 %Von 160 handgeschriebenen Kundennachrichten dem richtigen Anliegen zugeordnet; ein 150× größeres offenes LLM kam auf 87 %.
Verlässt nie Ihre SystemeKundentexte werden auf Ihrem eigenen Server oder im Browser klassifiziert.
Unter 2 StundenPro Million Nachrichten auf einem gewöhnlichen Server. Keine Rechnung pro Nachricht.
So funktioniert es
DatenBitext-Supportanfragen (Englisch), maschinell in neun weitere Sprachen übersetzt, dazu eine Klasse „kein Anliegen“, gelernt aus Sätzen von Wikipedia und Tatoeba. Trainingsbeispiele sind in realistische Nachrichten verpackt: Begrüßung, Bestellnummer, Grußformel.
ModellDie ersten 16 der 22 Schichten von mmBERT-small, feinabgestimmt auf 27 Anfragearten: 52 MB Gewichte plus ein 3 MB großes Vokabular für zehn Sprachen. Die 160 handgeschriebenen Testnachrichten stammen vom selben Autor wie die Trainingsnachrichten, daher sind 96 % eine Obergrenze; auf 10.000 zurückgehaltenen Bitext-Anfragen erreicht es 99 %, das LLM 73 %.
LaufzeitONNX + transformers.js, WebGPU oder WASM. Dasselbe Modell läuft auf einem CPU-Server in wenigen Millisekunden pro Nachricht.
Kosten und TempoAuf vier CPU-Threads braucht das Modell 5,7 ms pro Nachricht, 1,6 Stunden pro Million. Das offene LLM ist Qwen 2.5 7B, nur mit der Liste der Anfragearten. Ein gehostetes LLM zum Listenpreis würde etwa 35 $ pro Million solcher Nachrichten kosten (eine Schätzung aus gemessenen Prompt-Längen), abgerechnet für jede Nachricht, und der Text verlässt Ihre Systeme.
Code, Konfigurationen und der vollständige Benchmark: github.com/balticml/support-triage. Gewichte: huggingface.co/balticml/mmbert-small-support-triage. Das für Ihr Postfach, mit Ihren Abteilungen? Kontakt aufnehmen