Что такое контекстное окно

Простыми словами

Представьте, что модель читает разговор через окно ограниченного размера. Всё, что попадает в это окно — недавние сообщения и ваш новый вопрос, — она учитывает. То, что вышло за край (очень давние реплики длинного диалога), может выпасть из виду.

Именно поэтому в рамках одного чата нейросеть помнит, о чём вы говорили выше, и отвечает с учётом контекста — но у этой памяти есть предел, и он у разных моделей разный. Флагманские модели, как правило, удерживают заметно больше.

Как использовать это с пользой

Несколько практичных привычек:

• Держите один чат под одну тему — так контекст остаётся релевантным, а не забивается лишним.
• Начали новую задачу — начните новый диалог, чтобы старое не мешало.
• Большой документ давайте частями и просите модель подытоживать по ходу.
• Ключевые условия задачи полезно повторить ближе к финалу длинного разговора.

Связь с токенами

Чем длиннее контекст, тем больше данных модель обрабатывает за один ответ, а значит — тем выше расход токенов. Очень длинные диалоги обходятся дороже коротких, потому что модель каждый раз «перечитывает» всю доступную предысторию.

Практический вывод: если тема сменилась, выгоднее открыть новый чат, а не тянуть один бесконечный. И память чище, и токенов уходит меньше.

Частые вопросы

Другие гайды