Память ИИ-ассистента: как она устроена и почему обычный ИИ забывает

Память ИИ-ассистента состоит из двух слоёв. Первый: контекстное окно, рабочая память модели. Это текст, который модель видит прямо сейчас: Ваши сообщения, её ответы, приложенные документы. Окно ограничено и очищается при новой сессии, поэтому обычный чат-бот каждый раз знакомится с Вами заново. Второй слой: долговременная память, внешняя база рядом с моделью. Ассистент записывает туда факты о Вас и Вашем деле, а при новом вопросе достаёт нужное и подкладывает модели в окно. Забывание возникает там, где второго слоя нет: сессия закрылась, окно очистилось, сказанное исчезло. Исследование «Lost in the Middle» (Liu et al., 2023) показало, что даже внутри одного длинного окна модели теряют информацию из середины, поэтому надёжная память строится не расширением окна, а внешним хранилищем с поиском по смыслу. Ниже разберём оба слоя: от токенов и эмбеддингов до ночной консолидации, встроенной памяти ChatGPT и Алисы и вопроса о том, кому память принадлежит.

Контекстное окно и токены: с чего начинается память

Токен это фрагмент слова; в русском тексте примерно половина короткого слова. Всё, что происходит в сессии, складывается в одно окно: Ваши сообщения, ответы модели, приложенные файлы и служебные инструкции продукта. Окно у современных моделей вмещает сотни страниц текста. Звучит просторно, но место общее, и в живой рабочей переписке оно заканчивается быстрее, чем кажется.

Представьте обычные две недели работы консультанта: переписка о трёх проектах, два договора, разбор задолженности, план вебинара. Всё это текст, и весь он претендует на место в одном окне. Когда лимит достигнут, происходит одно из двух: либо старые сообщения вытесняются, либо запрос обрезается. В обоих случаях модель перестаёт видеть часть разговора. Отсюда знакомый эффект длинных сессий: ассистент «забывает» договорённость с самого начала беседы, хотя Вы её никуда не удаляли.

Второе свойство окна важнее первого: оно живёт одну сессию. Закрыли чат, открыли новый, и модель снова ничего о Вас не знает. Это не дефект конкретного продукта, а базовое устройство языковых моделей: они не дообучаются на Ваших разговорах на лету. То, что выглядит как память чат-бота, всегда либо текущее окно, либо отдельный внешний слой. Разницу между ними мы подробно разобрали в статье о контекстном окне и памяти.

Есть и третье свойство, о котором вспоминают позже всех: окно оплачивается. Каждый токен контекста тарифицируется при каждом запросе. Чем больше текста Вы держите в окне постоянно, тем дороже каждый вопрос, даже самый короткий.

Почему большое окно не заменяет память

Производители моделей соревнуются в длине контекста, и возникает соблазн решить проблему памяти в лоб: сложить весь архив переписки в гигантское окно. Исследование «Lost in the Middle» (Liu et al., 2023) показывает, почему это не работает. Авторы проверили, как модели используют длинный контекст, и получили U-образную кривую: информация из начала и конца окна извлекается надёжно, а из середины теряется. Качество ответов заметно падало, когда нужный факт оказывался в средней части длинного контекста, причём это касалось и моделей, специально заявленных как длинноконтекстные.

Практический вывод: чем длиннее окно, тем больше в нём «слепой зоны». Архив, засыпанный в контекст целиком, не читается моделью равномерно. Длинные окна при этом полезны: они позволяют разбирать большие документы и вести долгие сессии без обрывов. Но полезны они как рабочая поверхность, а не как хранилище.

К слепой зоне добавляется экономика. Держать весь архив в окне значит оплачивать его при каждом вопросе заново: спросили, сколько стоит час Вашей консультации, а заплатили за прочтение всей переписки за год. Внешняя память решает обе проблемы сразу. Она хранит архив на диске, где хранение почти ничего не стоит, а в окно подаёт только фрагменты, относящиеся к вопросу: короткий контекст, в котором нет середины, которую можно потерять.

Окно и память не конкурируют, а дополняют друг друга: окно отвечает за «прямо сейчас», память за «всё, что было».

Эмбеддинги и векторная база: как ИИ хранит смысл

Чтобы искать по смыслу, а не по совпадению слов, память хранит знания в виде эмбеддингов. Эмбеддинг это числовой отпечаток смысла: фрагмент текста превращается в вектор, длинный ряд чисел, где у похожих по смыслу фраз получаются близкие ряды. Фразы «встреча перенеслась на четверг» и «созвон сдвинулся на день» почти не совпадают по словам, но их эмбеддинги окажутся рядом, потому что рядом их смыслы.

Похожесть двух векторов измеряется углом между ними: этот способ называется косинусным сходством. Чем меньше угол, тем ближе две мысли друг к другу. Так у смысла появляется геометрия: вопрос «что мы решили по оплате?» становится точкой в пространстве, и поиск сводится к тому, чтобы найти записи, чьи точки лежат рядом.

Для повседневной работы с ассистентом Вам не нужно понимать математику глубже. Достаточно одного следствия: память на эмбеддингах находит нужное, даже если Вы спрашиваете другими словами, чем говорили месяц назад. Вы спрашиваете «кто из клиентов интересовался групповым форматом?», а в базе лежит фраза «Марина спросила, можно ли заниматься не индивидуально». Слова не совпадают ни одним корнем, смысл совпадает, и память эту запись найдёт. История чата так не умеет: она хранит буквы, а не смысл.

Векторная база и чанкинг: где память живёт физически

Эмбеддинги нужно где-то хранить и быстро искать. Для этого существуют векторные базы данных. Прежде чем документ попадёт в такую базу, он проходит подготовку, которую называют чанкингом: текст режется на фрагменты разумного размера, обычно от абзаца до страницы. Размер куска влияет на качество ответов: слишком мелкие фрагменты теряют контекст, слишком крупные размывают смысл. Каждый фрагмент получает свой эмбеддинг и ложится в базу.

Поиск по базе не перебирает записи подряд. Алгоритмы приближённого поиска, такие как HNSW, строят из векторов подобие карты, по которой запрос идёт к ближайшим соседям коротким путём. Поэтому ассистент находит нужный факт среди сотен тысяч записей за доли секунды.

Что попадает в базу? Всё, из чего состоит Ваше дело: разговоры с ассистентом, загруженные документы, заметки, письма, материалы курсов. Память наполняется двумя путями: сама, по ходу работы, и разово, когда Вы переносите в неё накопленный архив в первый день.

Важная деталь, которая часто теряется за терминами: векторная база это обычная программа на обычном сервере. У Хермес, например, память живёт в PostgreSQL с расширением pgvector: открытая, проверенная технология, а не закрытый ящик. Такую базу можно резервно копировать, переносить и читать стандартными инструментами. Из этой обыденности вырастает главный вопрос темы, к которому мы вернёмся ниже: раз база физически лежит на конкретном сервере, то чей это сервер?

RAG: как знания из базы попадают в ответ

Механизм, который соединяет базу с моделью, называется RAG: retrieval-augmented generation, генерация с подкреплением поиском. Схема простая. Вы задаёте вопрос. Система превращает его в эмбеддинг, находит в базе близкие по смыслу фрагменты и подкладывает их модели в окно вместе с вопросом. Модель отвечает так, будто помнит: на деле она читает шпаргалку, собранную из Вашей же базы за долю секунды до ответа.

Подход описали Льюис и соавторы (Lewis et al., 2020). Они соединили два вида памяти: параметрическую, зашитую в веса модели при обучении, и непараметрическую, внешний векторный индекс документов. Ответы такой связки оказались конкретнее и фактически точнее, чем у модели, опирающейся только на собственные веса.

RAG часто путают с дообучением, поэтому разведём и это. Дообучение (fine-tuning) меняет саму модель: её стиль, навыки, поведение. Это дорого, медленно и плохо подходит для хранения фактов: чтобы модель «запомнила» нового клиента, её пришлось бы переобучать. Память через RAG ничего в модели не меняет: новый факт просто ложится в базу и доступен со следующего вопроса. Для рабочего ассистента, у которого факты меняются ежедневно, работает именно память, а не дообучение.

Слои памяти: Hot, Warm, Cold и ночная консолидация

Складывать все воспоминания в одну кучу неэффективно: то, что нужно каждый день, и то, что понадобится раз в год, требуют разного обращения. Проект MemGPT (Packer et al., 2023) предложил решение, подсмотренное у операционных систем: у компьютера есть быстрая оперативная память и медленный диск, и система сама решает, что держать под рукой, а что убрать в хранилище. Авторы научили модель управлять собственной памятью так же: самой переносить знания из рабочего контекста во внешнее хранилище и поднимать обратно, когда они понадобились.

По этому принципу устроена «Вечная память» Хермес: три слоя. Hot: то, что нужно прямо сейчас, живёт ближе всего к окну. Warm: рабочий контекст последних недель, текущие клиенты и проекты. Cold: архив, который не мешает, но и не исчезает. Знания переезжают между слоями по мере использования: факт, к которому Вы обращаетесь часто, поднимается наверх, забытый проект постепенно опускается в архив, откуда его в любой момент можно достать вопросом.

Для Вас эта механика невидима. Виден результат: ассистент отвечает быстро о текущем и не теряет давнее. Спросите о клиенте, с которым работали прошлой осенью, и ассистент поднимет его из холодного слоя так же уверенно, как вчерашнюю задачу из горячего, просто на долю секунды медленнее.

Сон и консолидация: зачем памяти ночной режим

Память, в которую только пишут, со временем зарастает: дубли, устаревшие факты, десять версий одной договорённости. Человеческий мозг решает эту задачу во сне, когда день пересортировывается в устойчивые воспоминания. У памяти ассистента есть прямой аналог.

Исследование sleep-time compute (Lin et al., 2025) показало, что модель может обрабатывать накопленный контекст заранее, в простое, до того как пользователь задал вопрос. Предвычисленные выводы затем удешевляют и ускоряют ответы: в экспериментах авторов та же точность достигалась примерно впятеро меньшими вычислениями в момент запроса.

У Хермес это ночной режим «Сон и консолидация». Пока Вы отдыхаете, память пересобирается: накопленное за день сжимается в устойчивые факты, дубли сворачиваются, противоречия помечаются, важное поднимается в верхние слои. Утром ассистент отвечает из уже упорядоченной памяти, а не раскапывает сырой лог вчерашнего дня.

Память ChatGPT и Алисы: что умеют встроенные функции

Встроенная память у массовых ассистентов есть, и полезно честно описать, что она умеет. OpenAI включила функцию Memory в ChatGPT в 2024 году: ассистент сохраняет заметки о пользователе, а Вы можете их посмотреть, удалить или отключить функцию целиком. Позже ChatGPT научился опираться и на прошлые разговоры. Для личных задач это заметный шаг вперёд.

Пределы тоже задокументированы. Справка OpenAI (Memory FAQ) описывает память как хранилище заметок с ограниченным объёмом: когда оно заполняется, приходится удалять старое. Формат закрыт, заметки живут в инфраструктуре провайдера, и выгрузить память как живую базу, чтобы перенести её в другую систему, нельзя. Экспорт истории чатов существует, но это архив текста, а не работающая память.

У Алисы логика похожая: она запоминает короткие факты по явной просьбе, имя, адрес, предпочтения, и хранит их в аккаунте Яндекса. Для бытовых сценариев этого достаточно: включить свет, напомнить о встрече, поставить любимую музыку. Здесь и проходит граница: голосовой помощник помнит заметки о Вас, рабочий ассистент должен помнить Ваше дело целиком, со всеми документами и историей решений. Это разные объёмы и разные архитектуры.

Общий предел у обеих один, и он не технический, а архитектурный: память привязана к продукту и живёт на чужом сервере. Она не переносится, не выгружается и заканчивается вместе с подпиской. Подробное сравнение по оси памяти мы собрали на странице Хермес против ChatGPT.

Можно ли перенести память в другую модель

Модели устаревают быстро: то, что впечатляло год назад, сегодня середина рейтинга. Поэтому зрелый вопрос о памяти звучит так: переживёт ли она смену модели?

Ответ зависит от архитектуры. Если память встроена в продукт провайдера, она умирает вместе с продуктом: заметки ChatGPT не переедут к конкуренту. Если память это внешняя база, модель становится сменной деталью. Векторная база не знает и не хочет знать, какая модель читает из неё фрагменты: сегодня одна, завтра другая, база на месте. Память, привязанная к одной модели, по сути не память, а аренда с выселением без предупреждения.

Хермес построена по второму принципу. Память лежит в базе на сервере клиента, а модель подключается снаружи и заменяется без потери накопленного. Вы меняете «мозг», не трогая «биографию». На горизонте нескольких лет это свойство важнее любых характеристик конкретной модели: модели будут меняться ещё много раз, а Ваш накопленный контекст должен пережить их все.

Кому принадлежит память

Память ассистента похожа на запах духов на свитере: её не видно и не потрогать, но она накапливается с каждым разговором. Через полгода работы это месяцы контекста о клиентах, проектах, ценах и решениях. Ценность ассистента постепенно перетекает из модели в эту накопленную память, и тогда вопрос владения перестаёт быть абстрактным.

Ответ на него прозаичен: память принадлежит тому, на чьём сервере она физически лежит. Не тому, кто написал в соглашении «ваши данные принадлежат вам», а тому, кто может в любой момент снять с диска файл базы. Если база у провайдера, смена сервиса означает начать с нуля. Если база на Вашем сервере, Вы забираете её целиком.

Так устроен продукт intakto: сервер с памятью физически находится в РФ, данные не уходят за рубеж, а сам сервер принадлежит клиенту по договору. Решите уйти: заберёте сервер со всей памятью, копий не останется. Владение здесь не маркетинговая формула, а описание того, где лежат файлы.

Как проверить память своего ассистента

Проверка не требует технических знаний: достаточно трёх вопросов тому ассистенту, которым Вы уже пользуетесь.

Первый вопрос: о детали из разговора месячной давности. Не «о чём мы говорили», а конкретно: «какую цену мы обсуждали для проекта N в начале июня?» Окно такой вопрос не переживает, память отвечает фактом.

Второй вопрос: «что ты обо мне помнишь и откуда это взялось?» Настоящая память показывает список фактов и их источники. Иллюзия памяти отвечает общими словами или пересказывает текущую сессию.

Третий вопрос: «могу ли я выгрузить свою память и перенести её в другую систему?» Этот вопрос проверяет не технологию, а владение. «Да, вот база» и «можно скачать архив переписки» звучат похоже, но означают разное: живую память и мёртвый текст.

Если ассистент молчит на все три, Вы работаете с окном без памяти, и каждый Ваш день начинается со знакомства заново.

Статьи этой темы разбирают каждый узел подробно: токены и цену запроса, эмбеддинги и косинусное сходство, векторные базы и чанкинг, RAG и дообучение, слои памяти и ночную консолидацию, пределы памяти ChatGPT и Алисы, перенос накопленного между моделями. Список пополняется, свежее сверху на главной блога.