Контекстное окно и память ИИ: в чём разница и почему это важно
Контекстное окно это рабочая память модели на одну сессию, а долговременная память ИИ живёт во внешней базе. Разбираем разницу на примерах и цифрах.
Контекстное окно и память ИИ-ассистента это два разных механизма. Окно: рабочая память модели на одну сессию, всё, что модель видит прямо сейчас. Память: внешняя база, которая живёт между сессиями и не зависит от модели. Окно измеряется токенами и очищается при новом разговоре; память хранится на диске и накапливается месяцами. Практическое следствие: ассистент без внешней памяти забудет Ваш проект завтра, каким бы большим ни было окно. Ассистент с внешней памятью достаёт нужный факт из базы и подкладывает его в окно в момент вопроса. Исследование Liu et al. (2023) добавляет важный штрих: даже внутри одного длинного окна модели надёжно видят начало и конец, а середину теряют. Поэтому «большое окно» не заменяет память, а дополняет её. Ниже разберём оба механизма на примерах и цифрах.
Как работает контекстное окно
Токен это фрагмент слова, в русском тексте примерно половина короткого слова. Всё общение с моделью, включая её собственные ответы и служебные инструкции, складывается в одно окно. Когда лимит достигнут, происходит одно из двух: либо старые сообщения вытесняются, либо запрос обрезается. В обоих случаях модель перестаёт видеть часть разговора, и Вам приходится повторяться.
Второе свойство окна: оно живёт одну сессию. Закрыли чат, открыли новый, и модель снова ничего о Вас не знает. Это не дефект конкретного продукта, а базовое устройство языковых моделей: они не дообучаются на Ваших разговорах на лету.
Как работает долговременная память
Внешняя память устроена иначе. Факты из разговоров и документов сохраняются в базе в виде эмбеддингов, векторных отпечатков смысла. При новом вопросе система ищет близкие по смыслу фрагменты и подаёт их модели вместе с Вашим сообщением. Модель отвечает так, будто помнит: на деле она читает подсказку, собранную из базы.
Сравнительное исследование Li et al. (2024) показывает, что такой поиск по базе на длинной дистанции работает точнее и дешевле, чем попытка держать весь архив в гигантском окне. Как этот слой устроен целиком, от нарезки знаний до ночной консолидации, мы разбираем в обзоре темы память ИИ-ассистента.
Что это означает для рабочего ассистента
Для разовых вопросов хватает окна: спросили, получили ответ, забыли друг о друге. Для рабочего ассистента, который ведёт Ваших клиентов и проекты, нужна база: она переживает смену сессии и даже смену модели. У Хермес эта база хранится на сервере клиента, целиком выгружается и переносится; как это устроено, описано на странице продукта.
Проверить разницу просто. Спросите своего текущего ассистента о деталях проекта из разговора месячной давности. Если ответ пустой, у Вас окно без памяти.
Сколько помещается в контекстное окно?
У современных моделей окно измеряется сотнями тысяч токенов, это сотни страниц текста. Звучит много, но окно общее для Ваших сообщений, ответов модели, документов и служебных инструкций. В рабочей переписке за пару недель оно заполняется, и старое вытесняется.
Если окно такое большое, зачем вообще нужна отдельная память?
По трём причинам. Окно очищается с каждой новой сессией. Внутри длинного окна модели теряют середину текста, это показано в исследовании Lost in the Middle. И держать весь архив в окне дорого: каждый токен контекста оплачивается при каждом запросе. Внешняя память решает все три проблемы: хранит постоянно, ищет по смыслу и подаёт в окно только нужное.
источники (2)
- Lost in the Middle: How Language Models Use Long Contexts · arXiv, Liu et al. · 2023
- RAG vs. long-context LLMs: a comprehensive study · arXiv, Li et al. · 2024