Um token é um pequeno pedaço de texto, aproximadamente um fragmento de palavra. Uma janela de contexto é o número máximo de tokens que uma chamada pode conter: as instruções, a conversa até ao momento, as passagens recuperadas e a resposta.
A IA é o campo; um grande modelo de linguagem é um tipo de modelo dentro dele, um LLM de base continua texto em vez de seguir instruções, e o Nemotron 3 Super é uma mistura de especialistas de 123,6B.
Um LLM é um programa treinado com grandes quantidades de texto para prever o token seguinte, um pequeno pedaço de texto. Responde a partir dos seus pesos e do prompt que envia, e não de uma base de dados que consulta.
Um retriever junta um modelo de embeddings que transforma texto em vetores a um reranker que pontua passagens. O multilingual-e5-large é MIT com blocos de 512 tokens; o embeddinggemma-300m aceita 2048.
O RAG é um pipeline, não um modelo: a sua aplicação recupera passagens e o modelo responde a partir delas. Só a última etapa é uma conclusão de chat; o embedding e a reordenação são chamadas separadas.
Um modelo é executado onde é executado um endpoint, e a linha regista a sua região e a sua classe. A residência é um filtro aplicado antes da pontuação: se nada a satisfizer, o pedido devolve 409 no_endpoint_for_policy.
Pesos abertos significam que os ficheiros são descarregáveis; um endpoint significa que alguém os executa por si. Muitas implementações europeias usam ambos: uma API para carga variável, um checkpoint auto-alojado para trabalho sensível.
Um preço é lido da tarifa registada na linha de um endpoint, por milhão de tokens de entrada e de saída, mais uma taxa visível por pedido. Uma linha sem tarifa registada é apresentada sem preço.
A licença é um campo registado em cada cartão de modelo: um identificador SPDX e uma ligação para o texto. Pesos abertos significa que os pesos são descarregáveis, não que o uso comercial seja permitido.
Um limite de taxa aqui é um teto por bucket numa janela fixa: 600 chamadas por chave e 1800 por organização a cada minuto, com no máximo 8 pedidos em curso numa chave.
Um router transforma um pedido que não nomeia nenhuma máquina na resposta de um endpoint. Uma função pura filtra os candidatos por política e residência, pontua o que sobrevive e fica com a pontuação mais alta.