← Demor / 04

Klistra in i ChatGPT utan att läcka dina kunders uppgifter

Tryck på ”Redact” och se namn, adresser, konto- och id-nummer bli svarta streck, på sex språk. En liten modell i din webbläsare hittar dem; inget du skriver lämnar den här sidan.

Demon kräver JavaScript. Modellen är en nedladdning på 38 MB, en gång; din webbläsare sparar den.

Prova ett annat exempel eller klistra in din egen text. Modellen läser engelska, polska, tyska, franska, spanska och litauiska; alla namn och nummer i exemplen är påhittade.

98% vs 95%Av personuppgifterna i 60 handskrivna meddelanden hittade; en öppen språkmodell som är 200 gånger större hittade 95 %.
Inget lämnar din webbläsareTexten kontrolleras på den här sidan. För ditt team körs den på era egna servrar.
18 msPer meddelande på en vanlig CPU. Språkmodellen behövde en halv sekund per meddelande på en GPU.

Så fungerar det

DataInga riktiga personuppgifter. En lokal öppen språkmodell skrev 2 074 mejl, chattmeddelanden, samtalsanteckningar, avtal och formulär på sex språk, med luckor där uppgifterna ska stå. Luckorna fylls med påhittade namn, adresser och nummer med giltiga kontrollsiffror, varje text tolv gånger, så att varje ord har en exakt etikett.
ModellDe första 12 av mmBERT-smalls 22 lager, finjusterade för att markera orden i namn, adresser och födelsedatum: 36 MB vikter plus ett ordförråd på 1.6 MB. De 60 handskrivna testmeddelandena kommer från samma författare som promptarna till träningstexterna, så 98 % är en övre gräns.
ReglerNummer med fast form hittas av regler och behålls bara när kontrollsiffrorna stämmer: IBAN, betalkort, PESEL och de nationella id-numren i Tyskland, Frankrike, Spanien, Litauen och Storbritannien, e-postadresser och telefonnummer. Ensamma hittar de 39 % av uppgifterna; modell och regler tillsammans 98 %.
Jämfört med en språkmodellQwen 2.5 7B, ombedd att lista varje personuppgift, hittade 95 % och missade mest namnen som meddelandena är undertecknade med, på en halv sekund per meddelande på en GPU. En molntjänst med en språkmodell skulle först behöva ta emot texten, och det är just den läckan detta ska stoppa.

Kod, konfigurationer och hela jämförelsen: github.com/balticml/pii-redaction. Vikter: huggingface.co/balticml/mmbert-small-pii-redaction. Vill du ha detta framför ditt teams AI-verktyg? Boka ett samtal på 30 min