ai·борщ
Все статьи →
БЛОГ

Контекст 1 млн токенов: что реально загрузить в модель и где она теряет данные

DeepSeek V4-Pro вышла с контекстом в миллион токенов. Сколько это страниц, где модель теряет факты из середины и когда вместо длинного контекста нужен RAG.

18 августа 2026 · AI Борщ

13 августа 2026 года DeepSeek вывела в общий доступ V4-Pro с контекстным окном в 1 млн токенов, такое же окно у Claude Opus 5. Это сотни расшифровок звонков, годовая переписка с клиентом или вся база знаний продукта в одном запросе. Но окно и внимание модели - разные вещи. Модели хуже используют факты из середины длинного текста, а дешёвые модели на длинном контексте проседают сильнее: GPT-5.6 Luna в тесте на документах от 256 тысяч до 1 млн токенов набрала 41,3%. Поэтому длинный контекст подходит для задач на понимание документа целиком, а для поиска конкретных фактов в большой базе надёжнее RAG.

Сколько это в страницах

Токен - кусочек слова, которым модель считает текст. Сколько символов в токене, зависит от модели и языка. Для GigaChat Сбер называл ориентир: миллион токенов вмещает в среднем до 3,5 млн символов. Это почти 2000 страниц по 1800 знаков. У моделей, которые хуже режут русский текст, страниц получится меньше.

Что вышло в августе

DeepSeek V4-Pro в общем доступе с 13 августа: модель на архитектуре mixture of experts с 1,6 трлн параметров, из которых на каждый токен работают 49 млрд, окно в 1 млн токенов и открытые веса под лицензией MIT. С 16 августа DeepSeek считает API по времени суток, в непиковые часы вдвое дешевле. Claude Opus 5 с окном в 1 млн токенов вышла 24 июля.

Длинное окно стоит денег. Один запрос на миллион входных токенов к Claude Opus 5 стоит 5 долларов, поэтому повторяющийся контекст выгодно держать в кэше.

Эффект потерянной середины

Исследование «Lost in the Middle» 2023 года показало: языковые модели лучше используют информацию из начала и конца длинного контекста и хуже из середины. Новые модели стали точнее, но проверять это на своих данных всё равно стоит.

Anthropic в руководстве по контекст-инженерингу описывает контекст как ограниченный ресурс с убывающей отдачей. Каждый лишний фрагмент размывает внимание модели. Задача формулируется так: найти минимальный набор самых полезных токенов, который сильнее всего повышает шанс нужного результата.

Когда длинный контекст, а когда RAG

RAG - схема, при которой система сначала находит в базе нужные фрагменты, а модель отвечает только по ним.

ЗадачаЧто выбратьПочему
Понять документ целиком: договор, стратегию, годовой отчётДлинный контекстНужны связи между разными частями текста
Найти конкретный факт в большой базеRAGМодель видит только нужные фрагменты, ошибок меньше и дешевле
Регулярные ответы по базе знанийRAGБаза обновляется, длинный контекст пришлось бы загружать заново
Сравнить несколько длинных документовДлинный контекст с чёткими вопросамиМодель видит всё сразу

Как проверить на своих документах

  • Вставь в середину длинного документа факт, которого больше нет нигде в тексте.
  • Спроси модель об этом факте и о фактах из начала и конца документа.
  • Повтори проверку на трёх длинах: 50, 200 и 500 тысяч токенов.
  • Сравни несколько моделей на одних и тех же вопросах.
  • Длинные документы клади в начало запроса, вопрос и инструкции в конец.

Что осталось в записи и презентации

Кристина Ковалёва назвала на AI Борще навык работы с данными одним из тех, за которые в 2026 году платят: умение отдавать ИИ сложные массивы данных и вытаскивать из них выводы для бизнеса. Длинный контекст делает этот навык доступнее, но выводы по-прежнему проверяет человек. Модель компетенций целиком есть в записи и презентации.

Получить запись и материалы конференции →

Читайте по теме: Как устроен AI для бизнеса: RAG · Стоимость ИИ-задачи в маркетинге · GPT-5.6 Sol, Terra, Luna: что выбрать

AI Борщ прошёл 30 июня 2026. Доступна полная видеозапись конференции и все материалы спикеров.

Получить запись →
← Все статьиНа главнуюЗапись