Какво е контекстен прозорец и какво е токен?

Две числа, които решават какво можете да изпратите

Дълъг контекст, 200k контекст и токен са три начина да зададете един въпрос, така че си струва да разделите двете величини зад тях. Токенът е единицата, която моделът чете и пише. Контекстният прозорец е колко от тези единици се побират в едно извикване. И двете са записани на всяка карта на модела тук и и двете се прилагат, а не се рекламират: маршрутизиращият механизъм отхвърля модел, чийто документиран прозорец е по-малък от вашия прогнозен вход плюс вашия бюджет за изход, и записва причината.

Какво е токен

Моделите не виждат символи или думи. Текстът се разделя на токени, а токенът е грубо казано фрагмент от дума: често срещаните кратки думи обикновено са един токен, дългите или редки думи и съставните думи се разделят на няколко. Пунктуацията и празното пространство се прикрепят към съседни токени. Немско съставно съществително име обикновено е два или три токена, докато неговият английски превод е един, което е практическата причина документ на един език да струва забележимо повече за обработка от същия документ на друг.

Използваната тук оценка е умишлено груба и документирана: около четири символа на токен за латински скрипт, закръглени нагоре. Закръгляването нагоре е безопасната посока, защото прави проверката на контекста по-строга, а не по-разрешителна. Едно изображение се оценява на 850 токена на част от изображението, плюс малък плик за всяко съобщение. Нищо от това не е измерване на токенизатор; това е бюджет, който рутерът използва, за да откаже заявка, която не би се побрала.

Какво е прозорецът и какво не е

Прозорецът брои всичко в извикването заедно: системното съобщение, всяко съобщение досега, всички пасажи, които вашето приложение е извлякло, дефинициите на инструментите и токените, които моделът има право да запише обратно. Входът и изходът го споделят. Модел, който отговаря добре в прозорец от 32k, не получава мълчаливо капацитет, когато изпратите 40k; заявката трябва да бъде направена така, че да се побере.

Публикуваните прозорци тук се различават по порядъци. EuroLLM 9B, EuroLLM 22B и Mistral 7B Instruct v0.3 записват 32 768 токена. Pharia-1-LLM-7B-control-aligned записва 8 192, а Teuken 7B Instruct v0.6 записва 4 096. Mistral Small 4, Mistral Large 3, Gemma 4 31B и NVIDIA Nemotron 3 Super записват 262 144. Llama 3.1 8B Instruct, Llama 3.3 70B Instruct, Command A+ и Command R (08-2024) записват около 128k. Llama 4 Scout 17B-16E Instruct е посочен на 10 485 760 токена, публикувани от доставчика. Две особености принадлежат на картата, а не в резюме: Command A+ документира 128K вход и 64K изход, докато неговата конфигурация позволява 200 000 позиции, а Nemotron 3 Super рекламира контекст до един милион токена, докато неговата конфигурация позволява 262 144, с докладвани от доставчика RULER резултати от 96.30 при 256k и 91.75 при един милион. Когато картата посочва една стойност, а конфигурационният файл друга, и двете се записват.

Малките прозорци също не са изчезнали: EuroLLM 1.7B Instruct записва 4 096 токена, страница или две текст, а не набор от документи.

Защо „200k контекст“ се нуждае от втори въпрос

Дългият прозорец е капацитет, а не обещание за качество. Въпросът, който има значение, е какво все още прави моделът в далечния край. Доставчиците рядко публикуват качество на извличане за всеки език в прозорец, а когато публикуват число, то обикновено е бенчмарк за дълъг контекст, изпълнен със собствения им механизъм, поради което картите етикетират тези цифри като докладвани от доставчика. RULER резултатът казва, че моделът е намерил нещо в дълъг вход при специфичен тест; той не казва, че френска клауза на страница 400 от немски договор ще бъде обработена толкова надеждно, колкото тази на страница 1.

Вторият въпрос е цената. Входните токени се таксуват, независимо дали са били полезни, а конвейер, който преизпраща голям прозорец при всяко завъртане, нараства линейно с разговора. Дългият контекст е наистина по-евтин, когато замества конвейер за извличане, и наистина по-скъп, когато просто замества сегментирането, което вече сте имали.

Третият е капанът, който ръководството за извличане назовава: най-малкото ограничение във веригата управлява. Вградете с модел, чиято карта използва максимална дължина на последователността от 512 токена, и сегмент от 900 токена се отрязва по време на вграждането, мълчаливо, колкото и голям да е прозорецът на генератора. Задайте дължината на сегмента от модела за вграждане, а не от генератора.

Как се прилага прозорецът при заявка

Входните токени се оценяват, добавя се вашият максимален бюджет за изход и всеки кандидат, чийто документиран прозорец е по-малък от тази обща сума, се отхвърля със записана причина, посочваща прозореца и изискването. Тази проверка се намира след филтрите за резидентност и модалност и преди тавана на цената, така че моделът може да бъде напълно разрешен от политиката и все пак да бъде премахнат, защото е твърде малък.

Отхвърлянията са видими. Причината за маршрута брои колко крайни точки са били изключени, а проследяването запазва причините за всяка крайна точка. Ако заявка се провали, защото нищо не е оцеляло, отговорът посочва какво да се промени, вместо мълчаливо да се опитва отново с по-кратка подкана; съкращаването на входа е ваше решение, а не на рутера.

Практически правила, които важат

Изпращайте това, от което се нуждае задачата, и нищо друго. Прозорец от 262k не е причина да изпращате кодова база; това е причина задача за обобщаване да може да съдържа цял доклад в един проход. Дръжте инструкцията и материала близо един до друг, вместо да заравяте въпроса под четиридесет страници контекст, защото вниманието върху дълъг вход не е равномерно на практика.

Бюджетирайте изхода изрично. Изходните токени се таксуват като всеки друг токен, а режимът на разсъждение, който произвежда дълга междинна работа, се таксува по същия начин, както посочват няколко бележки за задачи тук.

За дълги документи, решете умишлено между едно дълго извикване и верига от кратки. Едно извикване запазва документа цял и струва входни токени веднъж; верига ви позволява да проверявате междинни резултати и поддържа всяка стъпка малка. Нито едно от двете не е универсално правилно.

И накрая, измервайте със собствен материал. Публикуван контекстен прозорец е документиран капацитет, рекламиран максимум е твърдението на доставчика с източник, а бенчмарк на вашия език върху вашите документи е единствената цифра, която говори за вашето натоварване. Този каталог прилага същото правило към себе си: всяко число носи своя източник, а стойност, която никой не е посочил, се записва като неизвестна, а не се предполага.