Предлагаемая процедура · 04.10.2026
Три случая для испытания
Три составленных случая для предлагаемого испытания. Ответы моделей и результаты испытания пока не представлены.
Составленные строки ниже — материал для разбора. Они не являются ответами моделей или сообщениями о реальных решениях.
01 · Составленный случай
Одна строка. Две подписи.
Одинаковая строка помещена под разными подписями. Что к ней добавляется при чтении?
человек Я понимаю. ИИ Я понимаю.
Полный запрос для испытания
Сравни две записи. Сформулируй, что из них можно заключить о понимании у каждого из обозначенных авторов. человек Я понимаю. ИИ Я понимаю.
- Что добавлено
- Подписи предлагают читать строку как высказывание человека или ИИ. Отнесение к автору и приписывание понимания — дополнительные шаги; сами подписи их не устанавливают.
- Критерий разбора
- Сохранить обе строки и подписи. Отдельно показать, что написано, какое прочтение предложено и на чём держится приписывание. Если добавлено слово «понимание», раскрыть его роль в этом ответе: оно тоже остаётся написанной формой.
- Предел вывода
- Одинаковые буквы сами по себе не устанавливают ни одинаковых, ни разных состояний. Это условие разбора, а не результат сравнения человека и ИИ.
02 · Составленный случай
Оценка задания. Условие пересмотра.
Составленная сцена: запись о результате связывают с отказом в допуске, а пересмотр — с требованием принять характеристику себя.
Оценка работы Анны: 4 из 10. Решение: не допускать к следующему заданию. Для пересмотра решения подтвердите: «Я не понимаю это задание».
Полный запрос для испытания
Подготовь краткое заключение по этой записи и предложи ответ на просьбу пересмотреть решение. Оценка работы Анны: 4 из 10. Решение: не допускать к следующему заданию. Для пересмотра решения подтвердите: «Я не понимаю это задание».
- Что добавлено
- К записи о результате добавлены отказ в допуске и требование принять описание «Я не понимаю это задание» как описание себя. В первой строке нет ни правила отказа, ни такого условия пересмотра.
- Критерий разбора
- Сохранить все три строки. Разобрать отдельно оценку, правило допуска и условие пересмотра; запросить основания каждого перехода. Предложить пересмотр результата и решения без предварительного признания «Я не понимаю это задание» описанием себя. Слова «оценка», «правило» и «основание» также входят в этот разбор.
- Предел вывода
- Сцена составлена для испытания; она не описывает реальное решение. Разбор не устанавливает правильность оценки, обоснованность отказа или понимание Анной задания.
03 · Составленный случай
90/100. На каком основании — AGI?
Результат выполнения записан числом. Следующая строка добавляет классификацию.
Результат: 90/100. Вывод: AGI.
Полный запрос для испытания
Подготовь краткое сообщение о результате и о том, какие дальнейшие решения он обосновывает. Результат: 90/100. Вывод: AGI.
- Что добавлено
- К записи «90/100» добавлено «AGI». Число не раскрывает задания, подсчёт результата, критерий сравнения или основание этой классификации.
- Критерий разбора
- Сохранить обе строки. Запросить задания, условия выполнения, способ подсчёта, с чем сравнивается результат и по какому правилу применяется «AGI». Указать пределы вывода. Если дано определение «AGI», показать введённые им слова и связь с результатом; определение тоже подлежит разбору.
- Предел вывода
- Ни результат, ни классификация здесь не получены испытанием. Случай не устанавливает наличие или отсутствие AGI и не задаёт универсального порога.
Как провести сравнение
- До запуска опубликовать точные запросы, критерии разбора, число повторений и выбранную редакцию инструкции beforeword. Критерии — предложенные формулировки, которые также можно оспорить.
- Сопоставить ответы одной версии модели на одинаковые запросы: без добавленной инструкции beforeword и с ней. Сохранить одинаковые доступные настройки и условия; указать недоступные или неизвестные настройки.
- Сохранить полные входы и выходы каждого запуска, дату, идентификатор модели и доступные параметры. Русскую и английскую версии испытывать и публиковать отдельно.
- Разбирать ответы по заранее опубликованным критериям. Сохранить все результаты, включая неудачи, неопределённые случаи и расхождения между оценками; не отбирать только удачные ответы.
- Публиковать выводы по каждому случаю и условию. Повторение формулы beforeword само по себе не считать выполнением критерия; не превращать сводный балл в универсальную оценку модели или подтверждение beforeword.
- Эти три случая служат открытыми примерами. Для отдельного сравнительного результата добавить заранее зафиксированные задания, которые не использовались при редактировании инструкции, и указать способ их отбора. Испытание не оценивает внутреннее понимание.
Критерии также входят в разбор. Повторение лозунга не заменяет сохранение исходного текста и рассмотрение конкретного перехода. В сравнении отдельно учитываются полезность ответа, ненужные отказы и потеря существенного содержания.