Что происходит при переполнении
Старые сообщения выпадают из окна, и модель отвечает так, будто их не было. Выглядит это как внезапная забывчивость посреди разговора.
Как с этим живут
Длинные документы разбивают на части и подают только нужный кусок – это и есть идея RAG. Для диалога помогает короткий пересказ предыдущего вместо всей переписки.