Токенът е малка част от текст, грубо казано фрагмент от дума. Контекстният прозорец е максималният брой токени, които едно извикване може да съдържа: инструкции, досегашния разговор, извлечени пасажи и отговора.
AI е областта; големият езиков модел е един вид модел в нея, базов LLM продължава текст, вместо да следва инструкции, а Nemotron 3 Super е смес от експерти с 123,6 милиарда параметъра.
LLM е програма, обучена върху големи количества текст, за да предскаже следващия токен, малка част от текст. Тя отговаря въз основа на своите тегла и подканата, която изпращате, а не от база данни, която търси.
Ретривърът съчетава модел за вграждане, който превръща текст във вектори, с реранкер, който оценява пасажи. multilingual-e5-large е MIT с 512-токенни части; embeddinggemma-300m приема 2048.
RAG е конвейер, а не модел: вашето приложение извлича пасажи и моделът отговаря въз основа на тях. Само последният етап е завършване на чат; вграждането и пренареждането са отделни извиквания.
Моделът работи там, където работи крайна точка, а редът записва нейния регион и клас. Резидентността е филтър, приложен преди оценяването: ако нищо не го удовлетворява, заявката връща 409 no_endpoint_for_policy.
Отворените тегла означават, че файловете могат да бъдат изтеглени; крайна точка означава, че някой ги изпълнява вместо вас. Много европейски внедрявания използват и двете: API за променливо натоварване, самохоствана контролна точка за чувствителна работа.
Цената се чете от тарифата, записана в реда на крайната точка, за милион входящи и изходящи токени, плюс една видима такса за заявка. Ред без записана тарифа се показва без цена.
Лицензът е записано поле във всяка карта на модел: SPDX идентификатор и връзка към текста. „Отворени тегла“ означава, че теглата могат да бъдат изтеглени, а не че е разрешена търговска употреба.
Ограничението на скоростта тук е таван за кошче в фиксиран прозорец: 600 извиквания на ключ и 1800 на организация всяка минута, с максимум 8 заявки в процес на изпълнение на един ключ.
Рутерът превръща заявка, която не назовава машина, в отговор от една крайна точка. Чиста функция филтрира кандидати по политика и резидентност, оценява оцелелите и избира най-високия резултат.