Un token es un fragmento pequeño de texto, más o menos una parte de una palabra. Una ventana de contexto es el número máximo de tokens que puede contener una llamada: las instrucciones, la conversación hasta ese momento, los pasajes recuperados y la respuesta.
La IA es el campo; un modelo de lenguaje grande es una clase de modelo dentro de él, un LLM base continúa texto en lugar de seguir instrucciones, y Nemotron 3 Super es una mezcla de expertos de 123.6B.
Un LLM es un programa entrenado con grandes cantidades de texto para predecir el siguiente token, un pequeño fragmento de texto. Responde a partir de sus pesos y del prompt que usted envía, no de una base de datos que consulta.
Un retriever combina un modelo de incrustación que convierte texto en vectores con un reranker que puntúa pasajes. multilingual-e5-large es MIT con bloques de 512 tokens; embeddinggemma-300m admite 2048.
RAG es un pipeline, no un modelo: su aplicación recupera fragmentos y el modelo responde a partir de ellos. Solo la última etapa es una completion de chat; la incrustación y el reranking son llamadas aparte.
Un modelo se ejecuta donde se ejecuta un endpoint, y la fila registra su región y su clase. La residencia es un filtro que se aplica antes de la puntuación: si nada la cumple, la solicitud devuelve 409 no_endpoint_for_policy.
Pesos abiertos significa que los archivos son descargables; un endpoint significa que alguien los ejecuta por usted. Muchos despliegues europeos usan ambos: una API para carga variable, un checkpoint autoalojado para trabajo sensible.
El precio se lee de la tarifa que registra la fila de un endpoint, por millón de tokens de entrada y de salida, más una tarifa visible por solicitud. Una fila sin tarifa registrada se muestra sin precio.
Una licencia es un campo registrado en cada ficha de modelo: un identificador SPDX y un enlace al texto. Pesos abiertos significa que los pesos se pueden descargar, no que el uso comercial esté permitido.
Un límite de tasa aquí es un techo por bucket en una ventana fija: 600 llamadas por clave y 1800 por organización cada minuto, con un máximo de 8 solicitudes en vuelo en una clave.
Un enrutador convierte una solicitud que no nombra ninguna máquina en la respuesta de un endpoint. Una función pura filtra los candidatos por política y residencia, puntúa lo que sobrevive y toma la puntuación más alta.