Token huwa biċċa żgħira ta' test, bejn wieħed u ieħor framment ta' kelma. Tieqa tal-kuntest hija n-numru massimu ta' tokens li sejħa waħda tista' żżomm: istruzzjonijiet, il-konverżazzjoni s'issa, passaġġi rkuprati u r-risposta.
L-AI hija l-qasam; mudell lingwistiku kbir huwa tip wieħed ta' mudell fiha, LLM bażi jkompli t-test minflok ma jsegwi l-istruzzjonijiet, u Nemotron 3 Super huwa taħlita ta' esperti ta' 123.6B.
LLM huwa programm imħarreġ fuq ammonti kbar ta' test biex ibassar it-token li jmiss, biċċa żgħira ta' test. Huwa jwieġeb mill-piżijiet tiegħu u l-prompt li tibgħat, mhux minn database li jfittex fiha.
Retriever jgħaqqad mudell ta' embedding li jittrasforma t-test f'vectors ma' reranker li jagħti punteġġ lill-passaġġi. multilingual-e5-large huwa MIT b'chunks ta' 512-token; embeddinggemma-300m jieħu 2048.
Mudell jaħdem fejn jaħdem endpoint, u r-ringiela tirreġistra r-reġjun u l-klassi tiegħu. Ir-residenza hija filtru applikat qabel il-punteġġ: jekk xejn ma jissodisfaha, it-talba tirritorna 409 no_endpoint_for_policy.
Open weights tfisser li l-fajls jistgħu jitniżżlu; endpoint tfisser li xi ħadd imexxihom għalik. Ħafna skjeramenti Ewropej jużaw it-tnejn: API għal tagħbija varjabbli, checkpoint self-hosted għal xogħol sensittiv.
Prezz jinqara mir-rata li tirreġistra ringiela ta' endpoint, għal kull miljun token 'il ġewwa u 'l barra, flimkien ma' tariffa waħda viżibbli għal kull talba. Ringiela mingħajr rata rreġistrata tintwera mingħajr prezz.
Liċenzja hija qasam irreġistrat fuq kull karta tal-mudell: identifikatur SPDX u link għat-test. Piżijiet miftuħa jfisser li l-piżijiet jistgħu jitniżżlu, mhux li huwa permess użu kummerċjali.
Limitu tar-rata hawnhekk huwa limitu massimu għal kull barmil f'tieqa fissa: 600 sejħa għal kull ċavetta u 1800 għal kull organizzazzjoni kull minuta, b'massimu ta' 8 talbiet pendenti fuq ċavetta waħda.
Router jibdel talba li ma ssemmi l-ebda magna f'rispons ta' "endpoint" wieħed. Funzjoni pura tiffiltra l-kandidati skont il-politika u r-residenza, tiskorja dak li jibqa' ħaj u tieħu l-ogħla skor.
RAG hija pipeline, mhux mudell: l-applikazzjoni tiegħek tirkupra siltiet u l-mudell iwieġeb minn dawk. L-aħħar stadju biss huwa tlestija taċ-chat; l-inkorporazzjoni u r-reranking huma sejħiet separati.