Google оголосила про нову програму винагород, присвячену пошуку помилок у продуктах зі штучним інтелектом. Найвищі виплати — до $30 000 — компанія пропонує за виявлення способів примусити AI виконувати «несанкціоновані дії».
- До прикладів таких вразливостей Google відносить ситуації, коли зловмисник може змусити систему, наприклад, відкрити двері через Google Home або надіслати електронні листи користувача третій особі.
- Компанія вперше чітко визначила, що вважається AI-помилкою: це будь-яке використання великої мовної або генеративної моделі для шкоди користувачам чи обходу систем безпеки. Найсерйознішими вважаються випадки, коли ШІ може змінювати налаштування облікових записів або дані без дозволу власника.
- За два роки після відкриття своєї ШІ-програми для дослідників безпеки Google вже виплатила понад $430 000 винагород. При цьому компанія уточнює: галюцинації або небажаний контент, створений моделлю, не вважаються вразливістю і мають надсилатися через стандартні канали зворотного зв’язку, щоб команди безпеки могли удосконалити навчання моделей.
Разом із програмою винагород Google також представила CodeMender — AI-агента, який виправляє вразливості в коді. За словами компанії, він уже допоміг реалізувати 72 виправлення у відкритих проєктах після перевірки дослідниками.
