Вставляйте в ChatGPT без витоку даних ваших клієнтів
Натисніть «Redact» і подивіться, як імена, адреси, номери рахунків та ідентифікаційні номери перетворюються на чорні смуги, шістьма мовами. Їх знаходить невелика модель у вашому браузері; ніщо з того, що ви вводите, не залишає цієї сторінки.
Для демо потрібен JavaScript. Модель — це 38 MB для одноразового завантаження; браузер її зберігає.
Спробуйте інший приклад або вставте власний текст. Модель читає англійською, польською, німецькою, французькою, іспанською та литовською; усі імена й номери в прикладах вигадані.
98% vs 95%Знайдено стільки персональних даних у 60 написаних вручну повідомленнях; відкрита LLM, у 200 разів більша, знайшла 95%.
Ніщо не залишає вашого браузераТекст перевіряється на цій сторінці. Для вашої команди це працює на ваших власних серверах.
18 msНа повідомлення на звичайному CPU. LLM потребувала пів секунди на повідомлення на GPU.
Як це працює
ДаніЖодних реальних персональних даних. Локальна відкрита LLM написала 2 074 електронні листи, повідомлення в чаті, нотатки дзвінків, договори й форми шістьма мовами, з пропусками там, де мають бути дані. Пропуски заповнено вигаданими іменами, адресами та номерами з правильними контрольними цифрами, кожен текст дванадцять разів, тож кожне слово має точну мітку.
МодельПерші 12 із 22 шарів mmBERT-small, донавчені позначати слова імен, адрес і дат народження: 36 MB ваг плюс 1,6 MB словника. 60 написаних вручну тестових повідомлень мають того самого автора, що й промпти для навчальних текстів, тож 98% — це верхня межа.
ПравилаНомери сталої форми знаходять правила й залишають лише тоді, коли сходяться контрольні цифри: IBAN, платіжні картки, PESEL і національні ідентифікаційні номери Німеччини, Франції, Іспанії, Литви та Великої Британії, адреси електронної пошти й номери телефонів. Самі правила знаходять 39% даних; модель і правила разом — 98%.
У порівнянні з LLMQwen 2.5 7B, яку попросили перелічити всі персональні дані, знайшла 95% і пропускала здебільшого імена, якими підписані повідомлення, витрачаючи пів секунди на повідомлення на GPU. Хостована LLM мусила б спершу отримати текст, а саме цьому витоку це й має запобігти.
Код, конфігурації та повний бенчмарк: github.com/balticml/pii-redaction. Ваги: huggingface.co/balticml/mmbert-small-pii-redaction. Хочете таке перед інструментами AI своєї команди? Запланувати 30-хвилинну розмову