Окно контекста

У модели нет памяти между запросами. Каждый раз, когда ты отправляешь сообщение, приложение заново посылает всю переписку, и модель читает её с самого начала. Всё, что помещается в окно, модель видит; то, что за его пределами, для этого ответа просто не существует. Окно общее для входа и выхода, поэтому длинный запрос оставляет меньше места ответу, а у многих моделей есть ещё отдельный потолок на длину одного ответа. Место занимают и приложенные изображения, описания инструментов и скрытые инструкции. Представь рабочий стол: на маленьком приходится убирать бумаги в папки, на большом помещается всё дело.

Большое окно позволяет работать с длинными материалами — договором, несколькими главами рукописи, стенограммой совещания или значительной частью кодовой базы — не разрезая их на куски: договор на сорок страниц, запись квартального звонка для инвесторов, черновик диссертации, выгруженная таблица или целый репозиторий. Но у этого есть цена: чтение большего числа токенов занимает больше времени и, у платных моделей, больше денег. К тому же модели неравномерно обрабатывают очень длинный ввод, и детали, спрятанные в середине огромного текста, порой пропускаются, так что большое окно не гарантирует, что каждая строка будет использована хорошо.

Когда переписка перерастает окно, приложению приходится выбирать. Оно может отбросить или сократить самые старые сообщения, заменить их кратким пересказом или попросить тебя начать заново. Некоторые приложения сохраняют начальные инструкции и последние реплики, а всё, что между ними, сжимают. Другой подход — поиск по базе (retrieval): вместо вставки целой библиотеки ты ищешь по ней и даёшь модели только фрагменты, относящиеся к вопросу. Архитектурные приёмы вроде внимания со скользящим окном, ротационных позиционных эмбеддингов (RoPE) и KV-кэша позволяют инженерам растянуть окна до сотен тысяч позиций, хотя расход памяти и задержка всё равно растут вместе с длиной запроса.

У каждой модели NeverNo своё окно, оно указано на её странице. В большей части каталога доступно 128 000 или 200 000 токенов, у Claude Haiku 5.5 — 100 000, а у Kimi K3, приватной рассуждающей модели от Moonshot, самое большое — 256 000 токенов. Этого достаточно, чтобы поместить в один чат длинный отчёт или стопку документов и задавать вопросы по всему массиву.

Страница об альтернативе ChatGPT описывает ту же идею для тех, кто переходит от другого ассистента: принеси длинный документ, сохрани переписку и выбери модель с подходящим окном. Для коллекций, слишком больших для любого окна, Сейф хранит твои документы зашифрованными в браузере и отправляет только фрагменты, нужные для ответа на вопрос.