Компанія Anthropic стверджує, що знайшла в мовних моделях на кшталт Claude внутрішній механізм, який допомагає їм міркувати, планувати та працювати з інформацією ще до того, як вона з'являється у відповіді користувачу.

Про це йдеться у дослідженні Anthropic.

Дослідники назвали цей механізм J-space. За їхніми словами, це набір внутрішніх нейронних представлень, де модель «утримує в голові» поняття, необхідні для виконання завдань.

Як працює механізм J-space

На відміну від ланцюжка міркувань (chain of thought), який може бути записаний текстом, J-space працює всередині моделі й залишається невидимим для користувача.

В Anthropic стверджують, що саме через цей механізм модель може виконувати багатокрокові обчислення, планувати відповіді, свідомо зосереджуватися на певній темі та повідомляти, про що вона «думає».

Під час експериментів дослідники змінювали вміст J-space і спостерігали, як це впливало на відповіді моделі. Наприклад, якщо замінити в її внутрішньому представленні слово «Франція» на «Китай», модель відповідно змінювала столицю, мову, валюту й континент у своїх відповідях.

За словами авторів роботи, без J-space мовна модель все ще здатна підтримувати розмову, правильно будувати речення та відповідати на прості запитання. Однак вона майже втрачає здатність до складного логічного міркування, написання узагальнень або розв'язання багатокрокових задач.

Дослідники також вважають, що новий підхід може допомогти зробити ШІ безпечнішим. За допомогою J-space вони змогли виявляти випадки, коли модель усвідомлювала, що проходить тестування, збиралася сфальсифікувати дані або мала приховану шкідливу мету ще до того, як це проявлялося у відповіді.