Što je kontekstni prozor i što je token?
Token je mali komadić teksta, otprilike dio riječi. Kontekstni prozor je najveći broj tokena koje jedan poziv može obuhvatiti: upute, dosadašnji razgovor, dohvaćene odlomke i odgovor.
LLM EU
Često postavljana pitanja
Osnove
LLM vs AI: što je veliki jezični model, što znači llm base i što je Nemotron 3 Super?
AI je područje; veliki jezični model jedna je vrsta modela unutar njega, osnovni LLM nastavlja tekst umjesto da slijedi upute, a Nemotron 3 Super je mješavina eksperata sa 123.6B parametara.
Što je LLM?
LLM je program obučen na velikim količinama teksta da predviđa sljedeći token, mali dio teksta. Odgovara iz svojih težina i upita koji mu pošaljete, a ne iz baze podataka koju pretražuje.
Pretraživanje
Što je LLM retriever i koji višejezični model za ugrađivanje da koristim?
Retriever spaja model za ugrađivanje, koji tekst pretvara u vektore, s rerankerom koji ocjenjuje odlomke. multilingual-e5-large je pod MIT licencom i radi s odlomcima od 512 tokena, a embeddinggemma-300m prihvaća 2048.
Hosting
Kako LLM-ovi rade u EU-u?
Model radi ondje gdje radi krajnja točka, a redak bilježi njezinu regiju i klasu. Rezidencija je filtar koji se primjenjuje prije bodovanja: ako nijedna krajnja točka ne zadovoljava rezidenciju, zahtjev vraća 409 no_endpoint_for_policy.
Trošak
Koliko stoji jedan poziv LLM API-ja i što znače brojke iz referentnih vrijednosti?
Cijena se čita iz stope koju bilježi redak krajnje točke, po milijunu tokena na ulazu i na izlazu, uvećane za jednu vidljivu naknadu po zahtjevu. Redak koji ne bilježi stopu prikazuje se bez cijene.
Licence
Kako funkcioniraju licence otvorenih modela?
Licencija je zabilježeno polje na svakoj kartici modela: SPDX identifikator i poveznica na tekst. Otvorene težine znače da se težine mogu preuzeti, a ne da je komercijalna upotreba dopuštena.
API
Što su ograničenja brzine na LLM API-ju?
Ograničenje brzine ovdje je gornja granica po skupini unutar fiksnog prozora: 600 poziva po ključu i 1800 po organizaciji svake minute, uz najviše 8 zahtjeva u tijeku na jednom ključu.
Rutiranje
Kako radi LLM router?
Router pretvara zahtjev u kojem nije naveden nijedan stroj u odgovor jedne krajnje točke. Čista funkcija filtrira kandidate prema politici i rezidenciji, boduje ono što preostane i uzima najvišu ocjenu.
Hostanje
Otvorene težine ili API: što bih trebao koristiti?
Otvorene težine znače da se datoteke mogu preuzeti; krajnja točka znači da ih netko pokreće umjesto vas. Mnoge europske implementacije koriste oboje: API za promjenjivo opterećenje, a vlastito hostanu kontrolnu točku za osjetljiv rad.
Dohvaćanje
Što je RAG?
RAG je cjevovod, a ne model: vaša aplikacija dohvaća odlomke, a model odgovara na temelju njih. Samo je posljednja faza chat dovršetak; ugrađivanje i ponovno rangiranje zasebni su pozivi.