Anthropic дала шести сотрудникам независимой организации METR рабочие устройства, место в офисе и доступ к внутренним инструментам. Уровень доступа примерно соответствует собственной команде компании, которая оценивает риски моделей.
METR сможет опубликовать выводы, а Anthropic заявляет, что не имеет права запретить публикацию целиком. Компания может потребовать убрать заранее оговорённые категории закрытой информации.
Что увидят проверяющие
Экспертам дают не только готовые модели. Они могут изучать обучение, работу защитных механизмов, отчёты об инцидентах и решения команды по рискам.
Из доступа исключены данные клиентов, защищённые юридические материалы и часть сведений об архитектуре моделей. Anthropic сама определяет, относится ли конкретная информация к закрытой категории, а METR может публично оценить обоснованность такого ограничения.
Почему обычных тестов недостаточно
Публичный тест видит поведение модели снаружи. Он не показывает, какие тревожные результаты компания получила до выпуска и почему решила, что риск допустим.
Anthropic сравнивает новый формат с проверяющими внутри крупного банка. Смысл не в том, чтобы поверить отчёту компании, а в том, чтобы дать независимой команде увидеть больше исходных данных.
Кто ещё участвует
Компания работает с SecureBio, Accenture и Faculty, а также обсуждает сотрудничество с другими организациями, включая Hugging Face. Для них пока действуют более узкие уровни доступа и разные права на публикацию.
Anthropic предлагает три уровня независимой проверки. Формат METR относится к самому глубокому, но это добровольная программа самой компании, а не государственный аудит.
Для пользователя главный результат появится позже: METR должна выпустить собственные оценки рисков, инцидентов и практик Anthropic. До этой публикации судить об эффективности проверки рано.
