Čo je kontextové okno a čo je token?

Dve čísla, ktoré rozhodujú o tom, čo môžete poslať

Dlhý kontext, 200k kontext a token sú tri spôsoby, ako položiť jednu otázku, takže stojí za to oddeliť dve veličiny, ktoré za nimi stoja. Token je jednotka, ktorú model číta a píše. Kontextové okno je, koľko týchto jednotiek sa zmestí do jedného volania. Obe sú zaznamenané na každej karte modelu tu a obe sú vynucované, nie len inzerované: smerovací engine odmietne model, ktorého dokumentované okno je menšie ako váš odhadovaný vstup plus váš rozpočet na výstup, a zaznamená dôvod.

Čo je token

Modely nevidia znaky ani slová. Text je rozdelený na tokeny a token je zhruba fragment slova: bežné krátke slová sú zvyčajne jeden token, dlhé alebo zriedkavé slová a zložené slová sa rozdelia na niekoľko. Interpunkcia a medzery sa pripájajú k susedným tokenom. Nemecké zložené podstatné meno sú typicky dva alebo tri tokeny, zatiaľ čo jeho anglický ekvivalent je jeden, čo je praktický dôvod, prečo spracovanie dokumentu v jednom jazyku môže stáť citeľne viac ako ten istý dokument v inom.

Odhad použitý tu je zámerne hrubý a zdokumentovaný: približne štyri znaky na token pre latinku, zaokrúhlené nahor. Zaokrúhľovanie nahor je bezpečným smerom, pretože kontrolu kontextu robí prísnejšou, nie zhovievavejšou. Obrázok sa odhaduje na 850 tokenov na časť obrázka, plus malá obálka pre každú správu. Nič z toho nie je meranie tokenizéra; je to rozpočet, ktorý router používa na odmietnutie požiadavky, ktorá by sa nezmestila.

Čo je okno a čo nie je

Okno počíta všetko v hovore dohromady: systémovú správu, každú doterajšiu správu, všetky pasáže, ktoré vaša aplikácia získala, definície nástrojov a tokeny, ktoré model môže zapísať späť. Vstup a výstup si ho zdieľajú. Model, ktorý dobre odpovedá v rámci 32k okna, nezíska ticho kapacitu, keď pošlete 40k; požiadavka musí byť prispôsobená tak, aby sa zmestila.

Publikované okná sa tu líšia o rády. EuroLLM 9B, EuroLLM 22B a Mistral 7B Instruct v0.3 zaznamenávajú 32 768 tokenov. Pharia-1-LLM-7B-control-aligned zaznamenáva 8 192 a Teuken 7B Instruct v0.6 zaznamenáva 4 096. Mistral Small 4, Mistral Large 3, Gemma 4 31B a NVIDIA Nemotron 3 Super zaznamenávajú 262 144. Llama 3.1 8B Instruct, Llama 3.3 70B Instruct, Command A+ a Command R (08-2024) zaznamenávajú okolo 128k. Llama 4 Scout 17B-16E Instruct je uvedená s 10 485 760 tokenmi, publikovanými dodávateľom. Dve zvláštnosti patria na kartu, nie do zhrnutia: Command A+ dokumentuje 128K vstup a 64K výstup, zatiaľ čo jeho konfigurácia umožňuje 200 000 pozícií, a Nemotron 3 Super inzeruje kontext až do jedného milióna tokenov, zatiaľ čo jeho konfigurácia umožňuje 262 144, s dodávateľom hlásenými skóre RULER 96,30 pri 256k a 91,75 pri jednom milióne. Ak karta uvádza jednu hodnotu a konfiguračný súbor inú, zaznamenávajú sa obe.

Malé okná tiež nezmizli: EuroLLM 1.7B Instruct zaznamenáva 4 096 tokenov, jednu alebo dve strany textu namiesto sady dokumentov.

Prečo „200k kontext“ potrebuje druhú otázku

Dlhé okno je kapacita, nie prísľub kvality. Dôležitá otázka je, čo model stále robí na vzdialenom konci. Predajcovia zriedka publikujú kvalitu vyhľadávania pre jednotlivé jazyky v rámci okna, a keď publikujú číslo, je to zvyčajne benchmark dlhého kontextu spustený s ich vlastným nástrojom, preto karty označujú tieto čísla ako hlásené dodávateľom. Skóre RULER hovorí, že model našiel niečo v dlhom vstupe pri špecifickom teste; nehovorí, že francúzska klauzula na strane 400 nemeckej zmluvy bude spracovaná rovnako spoľahlivo ako tá na strane 1.

Druhá otázka je cena. Vstupné tokeny sú účtované bez ohľadu na to, či boli užitočné, a pipeline, ktorá opakovane posiela veľké okno pri každom otočení, rastie lineárne s konverzáciou. Dlhý kontext je skutočne lacnejší, keď nahrádza vyhľadávaciu pipeline, a skutočne drahší, keď len nahrádza chunking, ktorý ste už mali.

Tretia je pasca, ktorú uvádza sprievodca vyhľadávaním: riadi najmenší limit v reťazci. Vložte s modelom, ktorého karta používa maximálnu dĺžku sekvencie 512 tokenov a 900-tokenový chunk je počas vkladania ticho skrátený, bez ohľadu na to, aké veľké je okno generátora. Nastavte dĺžku chunku z vkladacieho modelu, nie z generátora.

Ako sa okno vynucuje pri požiadavke

Vstupné tokeny sa odhadnú, pridá sa váš maximálny rozpočet na výstup a každý kandidát, ktorého dokumentované okno je menšie ako tento celkový súčet, je odmietnutý so zaznamenaným dôvodom, ktorý uvádza okno a požiadavku. Táto kontrola sa nachádza po filtroch rezidencie a modality a pred cenovým stropom, takže model môže byť politikou úplne povolený a napriek tomu odstránený, pretože je príliš malý.

Odmietnutia sú viditeľné. Dôvod trasy počíta, koľko koncových bodov bolo vylúčených, a sledovanie uchováva dôvody pre jednotlivé koncové body. Ak požiadavka zlyhá, pretože nič neprežilo, odpoveď uvedie, čo zmeniť, namiesto tichého opakovania s kratšou výzvou; skrátenie vstupu je vaše rozhodnutie, nie rozhodnutie routera.

Praktické pravidlá, ktoré platia

Posielajte to, čo úloha potrebuje, a nič iné. Okno 262k nie je dôvodom na odoslanie celej kódovej základne; je to dôvod, prečo úloha sumarizácie môže obsahovať celú správu v jednom prechode. Udržujte inštrukcie a materiál blízko seba, namiesto toho, aby ste otázku pochovali pod štyridsiatimi stranami kontextu, pretože pozornosť pri dlhom vstupe nie je v praxi rovnomerná.

Rozpočet na výstup explicitne. Výstupné tokeny sú účtované ako akýkoľvek iný token a režim uvažovania produkujúci dlhú medzivýslednú prácu je účtovaný rovnakým spôsobom, ako tu poukazuje niekoľko poznámok k úlohám.

Pre dlhé dokumenty sa zámerne rozhodnite medzi jedným dlhým volaním a reťazcom krátkych. Jedno volanie udržuje dokument celý a stojí vstupné tokeny raz; reťazec vám umožňuje kontrolovať medzivýsledky a udržuje každý krok malý. Ani jedno nie je univerzálne správne.

Nakoniec, merajte s vlastným materiálom. Publikované kontextové okno je zdokumentovaná kapacita, inzerované maximum je tvrdenie dodávateľa so zdrojom a benchmark vo vašom jazyku na vašich dokumentoch je jediný údaj, ktorý hovorí o vašej pracovnej záťaži. Tento katalóg uplatňuje rovnaké pravidlo aj na seba: každé číslo má svoj zdroj a hodnota, ktorú nikto neuviedol, je zaznamenaná ako neznáma, nie odhadnutá.