← Demonstrācijas / 04

Ielīmējiet ChatGPT, nenopludinot savu klientu datus

Nospiediet “Redact” un vērojiet, kā vārdi, adreses, kontu un personas kodu numuri pārvēršas melnās joslās, sešās valodās. Tos atrod neliels modelis Jūsu pārlūkā; nekas, ko ierakstāt, neatstāj šo lapu.

Demonstrācijai nepieciešams JavaScript. Modelis tiek lejupielādēts vienreiz, 38 MB; Jūsu pārlūks to saglabā.

Izmēģiniet citu piemēru vai ielīmējiet savu tekstu. Modelis lasa angļu, poļu, vācu, franču, spāņu un lietuviešu valodā; visi vārdi un numuri piemēros ir izdomāti.

98% vs 95%Tik daudz personas datu atrasts 60 ar roku rakstītos ziņojumos; 200× lielāks atvērts LLM atrada 95%.
Nekas neatstāj Jūsu pārlūkuTeksts tiek pārbaudīts šajā lapā. Jūsu komandai tas darbojas Jūsu pašu serveros.
18 msUz vienu ziņojumu parastā CPU. LLM vajadzēja pussekundi uz ziņojumu GPU.

Kā tas darbojas

DatiNekādu īstu personas datu. Lokāls atvērts LLM uzrakstīja 2 074 e-pastus, tērzēšanas ziņas, zvanu piezīmes, līgumus un veidlapas sešās valodās, ar tukšām vietām datiem. Tukšās vietas aizpildītas ar izdomātiem vārdiem, adresēm un numuriem ar derīgiem kontrolcipariem, katrs teksts divpadsmit reizes, tāpēc katram vārdam ir precīza birka.
ModelisPirmie 12 no 22 mmBERT-small slāņiem, pielāgoti iezīmēt vārdu, adrešu un dzimšanas datumu vārdus: 36 MB svaru un 1,6 MB vārdnīca. 60 ar roku rakstītos testa ziņojumus rakstīja tas pats autors, kas uzvednes mācību tekstiem, tāpēc 98% ir augšējā robeža.
NoteikumiFiksēta formāta numurus atrod noteikumi un patur tikai tad, ja sakrīt kontrolcipari: IBAN, maksājumu kartes, PESEL un Vācijas, Francijas, Spānijas, Lietuvas un Apvienotās Karalistes personas kodus, e-pasta adreses un tālruņa numurus. Vieni paši tie atrod 39% datu; modelis un noteikumi kopā 98%.
Salīdzinājumā ar LLMQwen 2.5 7B, kam lūgts uzskaitīt visus personas datus, atrada 95% un visbiežāk palaida garām vārdus, ar kuriem parakstīti ziņojumi; tam vajadzēja pussekundi uz ziņojumu GPU. Mākonī izvietotam LLM vispirms būtu jāsaņem teksts, un tieši šo noplūdi tas ir paredzēts apturēt.

Kods, konfigurācijas un pilns salīdzinājums: github.com/balticml/pii-redaction. Svari: huggingface.co/balticml/mmbert-small-pii-redaction. Vēlaties to pirms savas komandas MI rīkiem? Pieteikt 30 min sarunu