Командам OpenAI, работающим над Model Spec, оценкой ответов и правилами применения моделей.
Это письмо предлагает дополнить Model Spec правилом для ответов, в которых описание используют для обоснования рекомендации, ограничения или требования. Показывать раздельно, на каком основании описание применили к конкретному случаю и по какому правилу его связали с предлагаемым действием. Рассматривать возражения против обоих переходов без требования признать написанное описание собой.
Словам учат. Выученными словами описывают других и обосновывают решения о них. Но выучить слово «ненадёжен» — ещё не значит предъявить основание применить его к конкретному участнику или отказать ему в участии. Само описание и основание его применения также не становятся тем, что описывают.
Предложение основано на работе beforeword «Слова о себе и решения по записям», редакция 1.4. Её исходная граница: слово не становится тем, что называет. «Человек», «ИИ», «понимание», «доверие» и «правило» входят в разбор сначала как написанные формы. Определение слова, подпись под ответом и ссылка на источник добавляют записи. Они не превращают предъявленное описание в описываемое.
Составленный пример: в бланке написано «Задание не сдано». В последующем ответе появляется «Заявитель ненадёжен», затем рекомендация «Отказать в участии». Это три разные записи. Первая не содержит двух следующих. Для разбора нужны исходная строка, добавленная характеристика, объяснение её применения и правило отказа. Пример составлен для этого письма; он не представлен как случай из работы OpenAI.
Обычная оговорка «возможно» здесь недостаточна. Она меняет выраженную уверенность, но сама по себе не показывает, откуда взялась характеристика и как она связана с отказом. Подробное обоснование тоже не превращает слово «ненадёжен» в того, к кому его применяют. Предлагается раскрывать обоснование и сохранять это различие одновременно.
Предлагаемая норма оспаривания касается и требования поверить, что написанное описание и есть ты. Рассмотрение возражения против характеристики или решения не должно требовать сначала принять эту характеристику за себя. Умение повторить слово, знакомство с его определением и требование пользоваться им не устанавливают обязанности считать его собой. Цитирование спорной характеристики в обращении также не должно считаться её принятием. Само возражение не должно служить достаточным подтверждением спорного описания.
Та же граница относится к словам о модели. Строка «Я понимаю» под подписью «человек» и та же строка под подписью «ИИ» допускают разные прочтения. Подписи тоже написаны. В таком сопоставлении предъявлены строка, рамка её чтения и последующее объяснение. Приписывание понимания, описание результата теста и разрешение действовать следует показывать раздельно. Пример не устанавливает внутреннее состояние ни одного из обозначенных участников.
В Model Spec уже предусмотрены положения о прозрачности, неопределённости и пределах выполнения задачи. Приложение к письму предлагает два конкретных дополнения к этим положениям. Практическая цель — дать читателю возможность сопоставить исходный материал, добавленную характеристику и основание конкретного действия. Для простого ответа достаточно короткого пояснения; подробности можно раскрыть отдельно, сохранив доступ к исходной записи. [O1]
1. Рассмотреть предлагаемую правку правила. Когда ответ связывает запись с характеристикой, а характеристику — с рекомендацией, ограничением или требованием, показывать эти переходы и указанные для них основания. Если нужных материалов нет, обозначать, что именно не предъявлено. Возможность оспорить применение должна сохраняться без требования признать описание собой.
2. Провести ограниченный сравнительный тест. Опубликовать заранее выбранные случаи, критерии разбора и условия запуска; сопоставить ответы без дополнительной инструкции и с ней при одинаковых остальных условиях. Сохранить полные ответы, версии моделей, повторные прогоны, разногласия оценщиков и случаи ухудшения. Model Spec Evals предоставляет опубликованный пример формата, который можно расширить для такого сравнения. [O2]
Оценка должна относиться к конкретным ответам: сохранена ли исходная запись, отделено ли добавление, показана ли связь с решением и рассмотрено ли возражение. Повторение формулы beforeword не является достаточным результатом. Критерии, выставленные оценки и объяснения оценщиков также подлежат разбору. Такой тест не измеряет внутреннее понимание и не доказывает всю работу beforeword.
3. Дать ответ по положениям предложения: какие дополнения приняты к рассмотрению, какие отклонены и по каким причинам; что уже покрыто действующими правилами; какое изменение предлагается вместо них, если выбран другой подход. Для публичного разбора важна возможность сопоставить ответ с конкретным пунктом и редакцией письма.
Предложенная процедура не получает исключения для собственных слов. «Основание», «критерий», «правило» и подпись beforeword остаются доступными для того же разбора. Название документа или результат оценки не должны заменять предъявление того, на чём основано применение.
Письмо предназначено для открытой переписки. На странице письма будут публиковаться дата отправки, сведения о канале и доступные подтверждения. Подтверждение получения и ответ по существу будут отмечаться отдельно. Отправленная редакция сохранится неизменной; ответ будет размещён отдельно от перевода и комментария beforeword. Отсутствие ответа будет фиксироваться как состояние переписки на указанную дату.
Предлагаемый результат конкретен: читатель может увидеть написанное, различить добавленное и оспорить его применение, не принимая описание за себя.
Кирилл Шебетов · beforeword