Un token è un piccolo pezzo di testo, all'incirca un frammento di parola. Una finestra di contesto è il numero massimo di token che una singola chiamata può contenere: le istruzioni, la conversazione svolta fino a quel punto, i passaggi recuperati e la risposta.
L'AI è il campo; un large language model è un tipo di modello al suo interno, un LLM base continua il testo invece di seguire istruzioni, e Nemotron 3 Super è un mixture of experts da 123.6B.
Un LLM è un programma addestrato su grandi quantità di testo per predire il token successivo, un piccolo pezzo di testo. Risponde dai suoi pesi e dal prompt che inviate, non da un database che consulta.
Un retriever abbina un modello di embedding, che trasforma il testo in vettori, a un reranker che assegna un punteggio ai passaggi. multilingual-e5-large è MIT con blocchi da 512 token; embeddinggemma-300m arriva a 2048.
Il RAG è una pipeline, non un modello: la vostra applicazione recupera i passaggi e il modello risponde da quelli. Solo l'ultima fase è un completamento di chat; embedding e reranking sono chiamate separate.
Un modello gira dove gira un endpoint, e la sua riga ne registra la regione e la classe. La residenza è un filtro applicato prima della valutazione: se nulla la soddisfa, la richiesta restituisce 409 no_endpoint_for_policy.
Pesi aperti significa che i file sono scaricabili; un endpoint significa che qualcuno li esegue per voi. Molte installazioni europee usano entrambi: un'API per il carico variabile, un checkpoint self-hosted per il lavoro sensibile.
Un prezzo viene letto dalla tariffa che registra la riga di un endpoint, per milione di token in ingresso e in uscita, più una commissione visibile per richiesta. Una riga senza tariffa registrata viene mostrata senza prezzo.
Una licenza è un campo registrato su ogni scheda modello: un identificatore SPDX e un link al testo. Pesi aperti significa che i pesi sono scaricabili, non che l'uso commerciale sia consentito.
Un rate limit, qui, è un tetto per bucket in una finestra fissa: 600 chiamate per chiave e 1800 per organizzazione ogni minuto, con al massimo 8 richieste in volo su una chiave.
Un router trasforma una richiesta che non nomina alcuna macchina nella risposta di un endpoint. Una funzione pura filtra i candidati in base a policy e residenza, valuta ciò che sopravvive e prende il punteggio più alto.