Как проверить ответ ИИ: его перечитывает модель другого семейства.

У «Дебатов» два режима, и один из них выбирается за тебя: если в ответе есть факты, их проверяют по интернету; если нет, второй ИИ перечитывает ответ без интернета. В режиме «Проверка фактов» приложение выделяет утверждения из ответа, ищет их в интернете, помечает каждое и приводит в итоговой версии кликабельные источники, никогда не выдумывая источник. В режиме «Проверка» модель из другого семейства читает ответ и критикует его, не обращаясь к интернету. «Проверка фактов» запускается, когда в ответе на вопрос о фактах есть проверяемые данные (цифры, даты) или когда он сам говорит, что не может подтвердить что-то; код и вопросы, где важно мнение, уходят в «Проверку». Режим можно выбрать и самому.

Режим «Проверка» мы измерили на 20 вопросах, ответы на которые нельзя проверить. До нашей доработки итоговая версия выдумывала факт в 10 случаях из 20; после неё в 1 из 20, и ни одного выдуманного источника. Один из 20 — это не ноль: поэтому «Проверка фактов» идёт в интернет, как только в ответе есть что проверять, и поэтому источники стоит открывать.

«Точки зрения» — премиум-вкладка для тем, по которым мнения расходятся. Две стороны — модели из разных семейств — отстаивают каждая свою позицию со своими источниками из интернета, а затем итоговый синтез сводит всё вместе. Это стоит в среднем около 21 кредита за тему и доступно подписчикам. В сравнении со взвешенным ответом одной модели судья предпочёл «Точки зрения» в 83–90 % измеренных случаев (сначала 6, затем 15 тем), а в 4 ловушках, где факты установлены, они были представлены как установленные 4 раза из 4.

Модель, перечитывающая собственный ответ, больше ничего не исправляет: мы это измерили. Те же баги, те же ошибки, а судья предпочёл перечитанную версию лишь в 15 % открытых задач. Модель, которая что-то упустила в первый раз, склонна упустить это и во второй, вероятно потому, что пробел идёт от обучения, а не от спешки.

Критик из того же семейства справился не лучше, а порой хуже. Получив задание проверить ответ DeepSeek, критик DeepSeek поднял больше пунктов и чаще бил ложную тревогу, а в исправленном коде оказалось 46 исправленных подброшенных багов из 49 против 47 у ответа без проверки. Он также не заметил загадку-перевёртыш, на которую попался ответ: модели одного семейства разделяют слепые зоны.

Критик другого семейства увидел эту загадку, пересчитал задачу на подсчёт, которую ответ решил неверно (155 вместо 153), и нашёл два последних бага в коде. Поэтому приложение никогда не позволяет модели проверять собственное семейство: критик выбирается на нашем сервере, а браузер отправляет только выбранную глубину.

Рецензент, который одобряет всё, бесполезен, а тот, кто выдумывает проблемы ради солидности, ещё хуже. Поэтому критик работает по строгим правилам: процитировать точную строку или утверждение, объяснить с доказательством (контрпример, расчёт, нарушенное требование), почему это неверно, предложить правку и не касаться стиля. Если после настоящей проверки он не находит ничего серьёзного, он так и пишет и называет, что проверил.

В исследовании критик другого семейства поднимал около двух пунктов за проверку. В коде 17 из 19 пунктов, в которых названа функция, указывали на реальный подброшенный баг. В трети случаев он сообщал, что серьёзного нет; тогда ответ остаётся как был, а завершающий шаг пропускается.

Автор тоже не подчиняется слепо. Ему велено принимать пункт только после проверки и объяснять каждый отказ. В 15 из 20 итоговых версий хотя бы один пункт был отклонён с причиной. Оба списка ты видишь под итоговой версией: что изменилось и какие пункты отклонены.

Мы измерили и более долгий обмен: две модели по очереди отвечают друг другу по пунктам два-три раунда, затем итог. На коде он не дал результата лучше одной проверки, ошибся ещё в одном вопросе, судья предпочёл его лишь в половине открытых задач, а стоил он втрое дороже и длился в два-три раза дольше.

Поэтому приложение делает один раунд, но хорошо: черновик, критик другого семейства, исправленная итоговая версия. Когда критик ничего не находит, обмен на этом заканчивается; так было в трети тестовых случаев.

Привычные советы остаются в силе. Попроси источники и открой их. Пересчитай сам. Запусти код, прежде чем ему доверять, лучше с тестом на крайние случаи: пустой список, даты вокруг дня рождения, значения, которые не числа. Переформулируй вопрос и посмотри, держится ли ответ. И спроси другую модель, потому что две модели из разных семейств редко ошибаются одинаково.

«Дебаты» автоматизируют этот последний шаг и оставляют письменный след. Они полезнее всего там, где ошибка чего-то стоит: код перед выкладкой, расчёт, на котором строится решение, краткое изложение договора, план с компромиссами, важное письмо. Для короткого разговора или вопроса вкуса обычно хватает ответа без проверки, и он приходит быстрее.

Функция не заменяет твоё суждение. В режиме «Проверка» критик не выходит в интернет, а пункт, с которым согласны обе модели, всё равно может быть неверным. Зато она даёт тебе второе, независимое прочтение, где каждая причина изложена письменно.