Title: Open weights sau un API: pe care ar trebui s%C4%83-l folosesc?
Canonical: https://llmeu.com/ro/learn/open-weights-vs-api/
Markdown mirror: https://llmeu.com/ro/learn/open-weights-vs-api.md
Machine-readable: https://llmeu.com/llms.txt (index) - https://llmeu.com/llms-full.txt (full catalogue) - https://llmeu.com/llms-catalogue.json

# Open weights sau un API: pe care ar trebui s%C4%83-l folosesc?

Open weights %C3%AEnseamn%C4%83 c%C4%83 fi%C8%99ierele sunt desc%C4%83rcabile; un endpoint %C3%AEnseamn%C4%83 c%C4%83 cineva le ruleaz%C4%83 pentru tine. Multe implement%C4%83ri europene folosesc ambele: un API pentru sarcini variabile, un checkpoint auto-g%C4%83zduit pentru sarcini sensibile.

## Trei fapte care sunt confundate

%E2%80%9EOpen weights%E2%80%9D %C3%AEnseamn%C4%83 c%C4%83 fi%C8%99ierele modelului sunt publicate %C8%99i desc%C4%83rcabile. O licen%C8%9B%C4%83 permisiv%C4%83 %C3%AEnseamn%C4%83 c%C4%83 licen%C8%9Ba permite servirea comercial%C4%83, ceea ce este un fapt diferit %C8%99i este %C3%AEnregistrat separat pe fiecare card de aici. Un endpoint %C3%AEnseamn%C4%83 un r%C3%A2nd care spune c%C4%83 ceva serve%C8%99te acel model acum, dintr-o regiune numit%C4%83, cu un timp de execu%C8%9Bie %C8%99i o rat%C4%83 %C3%AEnregistrat%C4%83. Un model poate fi desc%C4%83rcabil public %C8%99i totu%C8%99i s%C4%83 nu poat%C4%83 fi servit comercial, %C8%99i poate fi licen%C8%9Biat comercial %C8%99i s%C4%83 nu fie g%C4%83zduit nic%C4%83ieri unde %C3%AEl po%C8%9Bi accesa.

Routerul face ca al treilea fapt s%C4%83 fie structural. Fiecare model din catalog are un r%C3%A2nd de endpoint; un model pe care nimic nu-l serve%C8%99te are unul al c%C4%83rui tip este catalogue_only, acel tip este respins %C3%AEnainte de orice alt%C4%83 regul%C4%83, iar solicitarea acestuia dup%C4%83 nume returneaz%C4%83 404 hosted_unavailable. %E2%80%9EEste %C3%AEn catalog%E2%80%9D %C8%99i %E2%80%9E%C3%AEl pot apela%E2%80%9D sunt dou%C4%83 %C3%AEntreb%C4%83ri, iar platforma le men%C8%9Bine separate %C3%AEn mod inten%C8%9Bionat.

## Ce %C3%AE%C8%9Bi ofer%C4%83 %E2%80%9Eopen weights%E2%80%9D

Control asupra ma%C8%99inii. C%C3%A2nd ponderile se afl%C4%83 pe hardware-ul pe care %C3%AEl operezi, %C3%AEntrebarea jurisdic%C8%9Biei este r%C4%83spuns%C4%83 de propriul t%C4%83u rack, mai degrab%C4%83 dec%C3%A2t de pagina de politici a altcuiva, %C8%99i acesta este motivul onest pentru care echipele europene se uit%C4%83 mai %C3%AEnt%C3%A2i la checkpoint-urile deschise. Este, de asemenea, singura op%C8%9Biune atunci c%C3%A2nd sarcina de lucru nu poate fi trimis%C4%83 deloc unei ter%C8%9Be p%C4%83r%C8%9Bi, sau c%C3%A2nd modelul trebuie s%C4%83 continue s%C4%83 func%C8%9Bioneze la o laten%C8%9B%C4%83 pe care re%C8%9Beaua ta o poate prezice.

Un al doilea c%C3%A2%C8%99tig este capacitatea de a modifica artefactul: s%C4%83-l cuantifici, s%C4%83-l ajustezi fin, s%C4%83 fixezi o versiune exact%C4%83 %C8%99i s%C4%83 o p%C4%83strezi dup%C4%83 ce un furnizor o depreciaz%C4%83. Acest lucru conteaz%C4%83 pentru munca reproductibil%C4%83, deoarece un model g%C4%83zduit poate fi actualizat sub o integrare, %C3%AEn timp ce rezultatele evalu%C4%83rii tale %C3%AEnceteaz%C4%83 %C3%AEn lini%C8%99te s%C4%83 se aplice lucrului pe care %C3%AEl apelezi.

Pre%C8%9Bul este opera%C8%9Bional. Cineva trebuie s%C4%83 ruleze GPU-ul, s%C4%83 urm%C4%83reasc%C4%83 coada %C8%99i s%C4%83 pl%C4%83teasc%C4%83 pentru capacitatea inactiv%C4%83. Un checkpoint de 7B sau 9B, cum ar fi Teuken 7B Instruct v0.6 sau EuroLLM 9B, se potrive%C8%99te unui singur accelerator de gam%C4%83 medie, motiv pentru care aceast%C4%83 clas%C4%83 de dimensiuni este punctul de intrare realist. Mistral Small 4 este un %E2%80%9Emixture of experts%E2%80%9D de 119B cu 6,5B activa%C8%9Bi per token pe o fereastr%C4%83 de 256k tokeni; Mistral Large 3 are 675B %C3%AEn total cu 41B activi %C8%99i necesit%C4%83 noduri multi-GPU chiar %C8%99i cuantizat. Acestea sunt bugete diferite, moduri de e%C8%99ec diferite %C8%99i profiluri de angajare diferite.

## Ce %C3%AE%C8%9Bi ofer%C4%83 un API

F%C4%83r%C4%83 hardware, f%C4%83r%C4%83 planificare a capacit%C4%83%C8%9Bii %C8%99i un pre%C8%9B per token %C3%AEn loc de un pre%C8%9B per ma%C8%99in%C4%83-lun%C4%83. API-ul este compatibil cu OpenAI, astfel %C3%AEnc%C3%A2t clientul pe care %C3%AEl ai deja continu%C4%83 s%C4%83 func%C8%9Bioneze: acela%C8%99i model de URL de baz%C4%83, aceea%C8%99i form%C4%83 de cerere, acelea%C8%99i cadre de streaming %C8%99i un obiect de extensie cu spa%C8%9Biu de nume pe care SDK-urile oficiale %C3%AEl ignor%C4%83. Documenta%C8%9Bia listeaz%C4%83 endpoint-urile care exist%C4%83 %C8%99i cele care nu exist%C4%83 %C3%AEn mod deliberat, ceea ce este mai util dec%C3%A2t o afirma%C8%9Bie de compatibilitate.

Un API %C3%AE%C8%9Bi ofer%C4%83, de asemenea, o alegere per cerere. C%C3%A2nd un endpoint este degradat sau are un pre%C8%9B ridicat, urm%C4%83torul candidat r%C4%83spunde, iar acea preluare %C3%AEn caz de e%C8%99ec este limitat%C4%83 de setul filtrat, astfel %C3%AEnc%C3%A2t o re%C3%AEncercare nu te poate duce %C3%AEn afara reziden%C8%9Bei pe care ai solicitat-o. R%C4%83spunsul %C3%AE%C8%9Bi spune apoi ce s-a %C3%AEnt%C3%A2mplat: ce model a rulat, ce versiune, ce endpoint, ce regiune, ce clas%C4%83 de suveranitate %C8%99i de ce.

Costul acestei comodit%C4%83%C8%9Bi este c%C4%83 nu de%C8%9Bii ma%C8%99ina, versiunea se poate schimba, iar faptele privind licen%C8%9Ba %C8%99i reziden%C8%9Ba pe care te bazezi trebuie s%C4%83 fie adev%C4%83rate %C3%AEn codul altcuiva. Aici sunt men%C8%9Bionate pe r%C3%A2ndurile %C8%99i cardurile endpoint-urilor, platforma refuz%C4%83 s%C4%83 revendice o stare de g%C4%83zduire pe care nu o poate demonstra, iar acolo unde este cazul, pagina spune c%C4%83 modelul este doar din catalog.

## Hibridul cu care majoritatea echipelor ajung s%C4%83 lucreze

Un API pentru munca al c%C4%83rei volum variaz%C4%83 %C8%99i ale c%C4%83rei date nu sunt sensibile, plus un checkpoint auto-g%C4%83zduit pentru sarcina de lucru care trebuie s%C4%83 r%C4%83m%C3%A2n%C4%83 %C3%AEn interiorul unei limite. Care este care urmeaz%C4%83 de obicei clasificarea datelor, mai degrab%C4%83 dec%C3%A2t clasificarea modelului, %C8%99i aceasta este ordinea corect%C4%83: filtrul de reziden%C8%9B%C4%83 ruleaz%C4%83 %C3%AEnainte de scorare aici.

Verific%C4%83 per pachet, mai degrab%C4%83 dec%C3%A2t per licen%C8%9B%C4%83. Deoarece %E2%80%9Eopen weights%E2%80%9D %C8%99i %E2%80%9Eservire comercial%C4%83 permis%C4%83%E2%80%9D sunt dou%C4%83 fapte, un plan de g%C4%83zduire selecteaz%C4%83 doar cardurile care satisfac ambele, iar ini%C8%9Bializarea platformei refuz%C4%83 un model al c%C4%83rui text de licen%C8%9B%C4%83 interzice servirea comercial%C4%83 chiar %C8%99i atunci c%C3%A2nd un operator %C3%AEl nume%C8%99te. F%C4%83 aceea%C8%99i verificare de partea ta: cite%C8%99te identificatorul licen%C8%9Bei cardului, cite%C8%99te limitele %C3%AEnregistrate de card %C8%99i verific%C4%83 dac%C4%83 ambele se potrivesc utiliz%C4%83rii tale. Dou%C4%83 exemple europene la cap%C4%83tul mic arat%C4%83 c%C3%A2t de diferit%C4%83 poate fi combina%C8%9Bia. EuroLLM 9B este un model de 9,15B sub Apache-2.0 care acoper%C4%83 toate cele 24 de limbi oficiale ale UE plus un set suplimentar. Teuken 7B Instruct v0.6 a fost antrenat pe toate cele 24 de limbi oficiale ale UE sub o licen%C8%9B%C4%83 necomercial%C4%83. Aceea%C8%99i descriere %E2%80%9Eeuropean, multilingv, mic%E2%80%9D acoper%C4%83 un model pe care %C3%AEl po%C8%9Bi servi comercial %C8%99i unul pe care nu-l po%C8%9Bi servi.

## O scurt%C4%83 list%C4%83 de decizii

Dac%C4%83 datele nu pot p%C4%83r%C4%83si sediul t%C4%83u, %C3%AEncepe cu %E2%80%9Eopen weights%E2%80%9D %C8%99i verific%C4%83 licen%C8%9Ba %C3%AEnainte de orice altceva. Dac%C4%83 sarcina este neregulat%C4%83 %C8%99i datele sunt obi%C8%99nuite, un API este mai ieftin dec%C3%A2t un server care st%C4%83 inactiv. Dac%C4%83 ambele sunt adev%C4%83rate, ruleaz%C4%83 un model mic tu %C3%AEnsu%C8%9Bi %C8%99i ruteaz%C4%83 restul.

Dac%C4%83 sarcina de lucru este cercetare, un checkpoint necomercial este disponibil %C8%99i legitim; dac%C4%83 este servire comercial%C4%83, un identificator de licen%C8%9B%C4%83 care con%C8%9Bine un termen necomercial este un semn de oprire, iar limitele %C3%AEnregistrate de un card sunt locul unde acea restric%C8%9Bie este de obicei declarat%C4%83 cel mai clar. Dac%C4%83 un r%C4%83spuns trebuie s%C4%83 fie reproductibil %C3%AEntr-un an, fixeaz%C4%83 o versiune %C8%99i prefer%C4%83 op%C8%9Biunea %C3%AEn care controlezi artefactul.

Oricum ai proceda, noteaz%C4%83 limita %C8%99i verific%C4%83-o de la un cap%C4%83t la altul. Un apel API care pare european %C3%AEn timp ce o etap%C4%83 a unui pipeline p%C4%83r%C4%83se%C8%99te limita este e%C8%99ecul pe care acest catalog exist%C4%83 pentru a-l face vizibil, iar un model auto-g%C4%83zduit a c%C4%83rui licen%C8%9B%C4%83 interzice servirea este aceea%C8%99i gre%C8%99eal%C4%83 %C3%AEn direc%C8%9Bia opus%C4%83.

## %C3%8Entreb%C4%83ri frecvente

### %C3%8Enseamn%C4%83 %E2%80%9Eopen weights%E2%80%9D c%C4%83 pot folosi modelul comercial?

Nu, sunt dou%C4%83 fapte separate. Ponderile pot fi desc%C4%83rcabile sub o licen%C8%9B%C4%83 care interzice servirea comercial%C4%83: command-r-08-2024 este %E2%80%9Eopen weights%E2%80%9D sub CC-BY-NC-4.0, %C3%AEn timp ce mistral-small-4-119b-a6b este %E2%80%9Eopen weights%E2%80%9D sub Apache-2.0. Cite%C8%99te identificatorul licen%C8%9Bei %C8%99i limitele %C3%AEnregistrate de card.

### Este un endpoint API mai ieftin dec%C3%A2t rularea modelului?

Depinde de utilizare, iar acest catalog nu va pretinde altfel. Pre%C8%9Burile de aici sunt citite din rata %C3%AEnregistrat%C4%83 de un endpoint, iar un r%C3%A2nd care nu %C3%AEnregistreaz%C4%83 niciunul este afi%C8%99at ca neverificat, mai degrab%C4%83 dec%C3%A2t estimat. Un server pe care %C3%AEl de%C8%9Bii cost%C4%83 bani %C3%AEn timp ce st%C4%83 inactiv; un pre%C8%9B per token nu.

### Pot trece de la una la alta f%C4%83r%C4%83 s%C4%83-mi schimb codul?

De obicei, da. API-ul este compatibil cu OpenAI, astfel %C3%AEnc%C3%A2t un client %C3%AEndreptat c%C4%83tre o alt%C4%83 adres%C4%83 URL de baz%C4%83 cu aceea%C8%99i form%C4%83 de cerere continu%C4%83 s%C4%83 func%C8%9Bioneze, iar c%C3%A2mpurile de rutare suplimentare se afl%C4%83 %C3%AEntr-un obiect namespaced pe care SDK-urile oficiale %C3%AEl ignor%C4%83. %C3%8En sens invers, un checkpoint auto-g%C4%83zduit necesit%C4%83 un stack de servire propriu.

## Vezi %C8%99i: