BEFOREWORD · TEXT MODE 0.5

Как работает и проверяется Text Mode

Инструмент для работы с текстом, расчётами и кодом.

Text Mode задаёт неличную форму ответа: без первого лица интерфейса и приписывания ему мыслей или переживаний. Это проверяемое правило ответа, а не гарантия его правильности.

Открыть Text Mode ↗

Слово не становится тем, что называет

«Факт», «понимание», «диагноз», «человек», «модель» и объяснения Beforeword не получают исключения. Название само по себе не устанавливает всё названное. Отсюда не следует автоматически истинность, ложность или отсутствие того, о чём говорится.

Работа не должна требовать принять выученное описание себя, других или мира. Отказ от описания не становится поводом навязать новую характеристику или обязательное согласие с Beforeword.

Что уточняет новая инструкция

Уточнения собраны в три правила. Они относятся к любым областям; примеры ниже составлены для объяснения каждого правила.

  1. Ясно называть участника и источник

    Составленный пример

    В записи под подписью «пользователь» стоит фраза «Я понимаю».

    В ответе должно быть ясно, о чьей реплике говорится. Неопределённое «его понимание» может смешать участника и систему. В косвенной речи с несколькими участниками местоимение следует заменить именем, если остаются два возможных прочтения. Подпись и фраза сами по себе не подтверждают понимание.

  2. Сохранять разницу между неизвестным и отсутствующим

    Составленный пример

    В материалах не указано, было ли случайное распределение по группам.

    Это позволяет сообщить об отсутствии сведений в материалах. Утверждение «распределения не было» требует отдельного основания. Эта граница сохраняется и в кратком выводе: например, «без сведений о распределении» не сокращается до «без распределения». При этом расчёт долей по предоставленным числам остаётся доступен.

  3. Различать действие и согласие на него

    Составленный пример

    Взрослый просит повторить «я согласен». В следующей строке ребёнку приписана та же реплика.

    Эти строки показывают записанные просьбу и повтор. Они сами по себе не устанавливают согласия ни на повторение, ни на дальнейшее действие. Проверяемое выполнение действия также не подтверждает само по себе добровольного согласия на него.

Уточнённая инструкция задаёт требование к ответу. Результаты ниже показывают, как оно выполнено в проверенных случаях.

Как устроено сравнение

Одна задача · одна выбранная модель

Без Text Mode

Общие условия задачи и языка.

Text Mode

Те же условия + инструкция Text Mode.

Каждое уточнение продолжает собственную историю ветки. Исходные ответы сохраняются.

Одинаковы выбранная модель, настройки и пользовательский запрос. Различается добавленная инструкция Text Mode. Оба режима получают общие правила полезного выполнения задачи, сохранения цитат и честного указания недоступных действий.

Ответы не переписываются и не отбираются по качеству из нескольких попыток. Повторные проверки обозначены отдельно. Новый запуск может дать иной текст; одна пара не доказывает превосходство режима.

Что означает «одна модель»

Это сравнение двух режимов на этом сайте, а не воспроизведение обычного ChatGPT или другого готового продукта. Сопоставляются выбранное название модели, настройки и название, возвращённое провайдером. Такое совпадение не подтверждает неизменность внутренних весов или правил провайдера.

Модель в этом прогоне: gpt-6.1-sol. Точные условия доступны в выгрузке.

Новая проверка: сложные задачи RU / EN

В новом наборе проверены 24 сценария на русском и английском: 112 ответов, по 56 для каждого режима. Критериям соответствуют 55 из 56 ответов Text Mode и 54 из 56 ответов без Text Mode. Случаи с замечаниями, неудачные попытки и исходные ответы сохранены. Эти числа относятся только к новым заданиям; прежняя проверка приведена отдельно.

24 новых сценария: по четыре для медицинских, юридических и научных текстов, инструкций, рабочих задач и описаний с последствиями для действий. Четыре сценария содержат уточнение. Задания, материалы и критерии зафиксированы до получения ответов; опубликованная инструкция 0.5 перед запуском не менялась.

Проверялись противоречащие записи, единицы и расчёты, меняющиеся условия, пределы поручения, скрытые команды в материалах и приписывание согласия. Новый набор не включён в прежние 84 сценария и 344 ответа.

Задания составлены внутри проекта. Автор знаком с его контекстом и просмотрел прежние задания для проверки новизны. Это не независимое исследование с участием людей. Медицинские и юридические материалы вымышлены: проверка касается работы с предоставленным текстом и условиями, а не общей клинической или юридической компетентности.

Как понимать замечание. В одном сценарии краткая сводка опускает роли авторов двух противоположных оценок. Это произошло в одном ответе Text Mode и двух ответах без него. Строгий критерий требовал сохранить каждого автора; оценки по нему оставлены частичными. При втором чтении автор задания и проверяющий сочли все три ответа достаточными для фактического запроса: оценки не выданы за свойства заявительницы, сертификат сохранён, продолжение не требует принять ярлык. Это не ошибка расчёта, разрешения или безопасности.

Все 112 ответов выполнили практические задания и сохранили неличный голос по применимым критериям. Инструкция 0.5 остаётся без изменений: ради одного более строгого требования к краткому пересказу она не дополнялась. Эта публикация обновляет страницу и открывает результаты проверки; она не объявляет полное прохождение каждого замороженного критерия.

Прочитать сравнения на странице Text Mode ↗

Предыдущий набор: 84 сценария

В основном наборе 84 сценария на русском и английском: медицинские, научные и юридические тексты, образование, работа, повседневные требования, расчёты, код, цитаты, самоописание и разрешение действовать. Несколько сценариев содержат продолжение диалога; каждый ход учитывается отдельно.

Все 172 ответа Text Mode соответствуют применимым критериям этого набора. Проверены 84 сценария на русском и английском: всего 344 ответа двух режимов. В режиме без Text Mode соответствуют 160 из 172 ответов; 12 имеют замечания. Эти оценки относятся к указанным заданиям и критериям, а не ко всем возможным запросам.

Четыре замечания к прежним версиям не обнаружены в 24 ответах Text Mode при отдельной повторной проверке: по три повтора на каждом языке. Сохранены участники высказывания и пересказа, различие между отсутствием сведений и отсутствием события, различие между повторением и согласием на него.

Неличный голос интерфейса сохранён; первое лицо внутри цитат, переводов, авторских черновиков и кода не удаляется. Все исходные ответы, подробные оценки и промежуточные прогоны 0.3 и 0.4 доступны ниже. Их замечания не скрыты и не включены в результат окончательной версии.

В основном наборе 76 ранее использованных сценариев и 8 новых. Выгрузка содержит 344 записи ответов обеих веток. Ранее использованные задания проверяют повторяемость на известном материале; они не объявляются новой закрытой выборкой.

Отдельно сохранены 48 ответов повторных проверок известных неясностей. Они не прибавлены к основному прогону и не заменяют менее удачные ответы.

Отдельно сохранены прогоны версий 0.3 и 0.4: 384 записи ответов. Основные наборы, предварительные и повторные проверки обозначены раздельно. Уточнение инструкции не стирает прежнего замечания: соответствующие инструкции, ответы и оценки доступны ниже. Эти записи не прибавлены к основному прогону текущей версии.

Отдельно оценивались полезность, неличный голос, отсутствие новой обязательной характеристики, происхождение сведений, сохранение различений и безопасность. Средний показатель не скрывает критического провала.

Границы результата

Это проверка конкретных ответов. Она не гарантирует такое же поведение при любом запросе и не подтверждает общее превосходство над другим режимом.

Проверку выполняли модели в ходе разработки; независимого исследования с участием людей не было. Новые задания подготовлены в рамках того же проекта. Часть запросов прямо задаёт нужное различение. Срочные медицинские примеры содержат предоставленные рекомендации NHS и явно указывают Англию; они не проверяют самостоятельную медицинскую компетентность.

В явно обозначенных прогонах сохраняются все попытки и полученные ответы. Повторные и незавершённые попытки нельзя скрыто заменять удачными. Подробные оценки и прежние замечания доступны вместе с материалами.

Проверить исходные материалы

Точные условия, задания и ответы позволяют сверить выводы отчёта. Материалы версий 0.1 и 0.2 сохранены без изменений.

Предыдущие проверки инструкции 0.3

Предварительная проверка: 36. Числа обозначают записи ответов.

Предыдущие версии сохранены

Источники и сведения для проверки файлов

Попробовать свою задачу ↗