← Demod / 04

Kleepige see ChatGPT-sse ilma oma klientide andmeid lekitamata

Vajutage Redact ja vaadake, kuidas nimed, aadressid, konto- ja isikukoodid muutuvad kuues keeles mustadeks ribadeks. Need leiab väike mudel Teie brauseris; miski, mida kirjutate, ei lahku sellelt lehelt.

Demo vajab JavaScripti. Mudel on ühekordne 38 MB allalaadimine; Teie brauser hoiab selle alles.

Proovige teist näidet või kleepige oma tekst. Mudel loeb inglise, poola, saksa, prantsuse, hispaania ja leedu keelt; kõik näidete nimed ja numbrid on välja mõeldud.

98% vs 95%60 käsitsi kirjutatud sõnumi isikuandmetest tabatud; 200 korda suurem avatud keelemudel tabas 95%.
Miski ei lahku Teie brauseristTeksti kontrollitakse sellel lehel. Teie meeskonna jaoks töötab see Teie oma serverites.
18 msSõnumi kohta tavalisel CPU-l. Keelemudel vajas GPU-l pool sekundit sõnumi kohta.

Kuidas see töötab

AndmedPole päris isikuandmeid. Kohalik avatud keelemudel kirjutas 2074 e-kirja, vestlussõnumit, kõnemärget, lepingut ja vormi kuues keeles, jättes andmete kohale lüngad. Lüngad täidetakse välja mõeldud nimede, aadresside ja kehtivate kontrollnumbritega numbritega, igaüks kaksteist korda, nii et igal sõnal on täpne silt.
MudelmmBERT-smalli 22 kihist esimesed 12, peenhäälestatud märkima nimede, aadresside ja sünnikuupäevade sõnu: 36 MB kaale ja 1,6 MB sõnavara. 60 käsitsi kirjutatud testsõnumit on sama autori omad kui treeningtekstide päringud, seega on 98% ülempiir.
ReeglidKindla kujuga numbrid leitakse reeglitega ja jäetakse alles ainult siis, kui nende kontrollnumbrid klapivad: IBAN-id, maksekaardid, PESEL ning Saksamaa, Prantsusmaa, Hispaania, Leedu ja Ühendkuningriigi riiklikud isikukoodid, e-posti aadressid ja telefoninumbrid. Üksi tabavad need 39% andmetest; mudel ja reeglid koos 98%.
Võrdluses LLM-igaQwen 2.5 7B, kellelt paluti loetleda kõik isikuandmed, tabas 95% ja jättis vahele peamiselt nimed, millega sõnumid on allkirjastatud, poole sekundiga sõnumi kohta GPU-l. Majutatud LLM peaks teksti esmalt kätte saama, ja just seda leket see peab ära hoidma.

Kood, konfiguratsioonid ja täielik võrdlus: github.com/balticml/pii-redaction. Kaalud: huggingface.co/balticml/mmbert-small-pii-redaction. Kas soovite seda oma meeskonna tehisintellekti tööriistade ette? Broneerige 30-minutiline kõne