Atviri svoriai ar API: ką turėčiau naudoti?

Trys faktai, kurie painiojami

Atviri svoriai reiškia, kad modelio failai yra paskelbti ir juos galima atsisiųsti. Leidžianti licencija reiškia, kad licencija leidžia komercinį aptarnavimą, o tai yra kitas faktas ir yra įrašytas atskirai kiekvienoje kortelėje čia. Galinis taškas reiškia eilutę, kurioje nurodoma, kad kažkas dabar aptarnauja tą modelį iš nurodyto regiono, su vykdymo laiku ir įrašytu greičiu. Modelis gali būti atvirai atsisiunčiamas ir vis tiek neaptarnaujamas komerciškai, ir jis gali būti komerciškai licencijuotas ir nepriglobtas niekur, kur galite pasiekti.

Maršrutizatorius padaro trečią faktą struktūriniu. Kiekvienas katalogo modelis turi galinio taško eilutę; modelis, kurio niekas neaptarnauja, turi vieną, kurio tipas yra catalogue_only, tas tipas atmetamas prieš bet kokią kitą taisyklę, o jo iškvietimas pagal pavadinimą grąžina 404 hosted_unavailable. „Ar jis yra kataloge“ ir „ar galiu jį iškviesti“ yra du klausimai, ir platforma juos sąmoningai atskiria.

Ką suteikia atviri svoriai

Mašinos valdymas. Kai svoriai yra jūsų valdomoje techninėje įrangoje, jurisdikcijos klausimą atsako jūsų paties stelažas, o ne kažkieno kito politikos puslapis, ir tai yra sąžininga priežastis, kodėl Europos komandos pirmiausia žiūri į atvirus kontrolinius taškus. Tai taip pat yra vienintelė galimybė, kai darbo krūvio apskritai negalima siųsti trečiajai šaliai, arba kai modelis turi veikti su vėlavimu, kurį jūsų tinklas gali numatyti.

Antras privalumas yra galimybė keisti artefaktą: kvantuoti jį, tikslinti, nustatyti tikslią versiją ir išlaikyti ją po to, kai pardavėjas ją panaikina. Tai svarbu atkuriamam darbui, nes priglobtas modelis gali būti atnaujintas po integracija, o jūsų vertinimo rezultatai tyliai nustoja galioti tam, ką iškviečiate.

Kaina yra operacinė. Kažkas turi paleisti GPU, stebėti eilę ir mokėti už nenaudojamą pajėgumą. 7B arba 9B kontrolinis taškas, toks kaip Teuken 7B Instruct v0.6 arba EuroLLM 9B, telpa į vieną vidutinės klasės spartintuvą, todėl šis dydžio klasė yra realus įėjimo taškas. Mistral Small 4 yra 119B ekspertų mišinys su 6,5B aktyvuotais žetonais per 256k žetonų langą; Mistral Large 3 yra 675B iš viso su 41B aktyviais ir reikalauja kelių GPU mazgų net kvantuotas. Tai yra skirtingi biudžetai, skirtingi gedimų režimai ir skirtingi įdarbinimo profiliai.

Ką suteikia API

Jokios techninės įrangos, jokio pajėgumų planavimo ir kaina už žetoną, o ne kaina už mašinos mėnesį. API yra suderinama su OpenAI, todėl jūsų jau turimas klientas veikia toliau: tas pats bazinio URL šablonas, ta pati užklausos forma, tie patys srautinio perdavimo kadrai ir vardų erdvės išplėtimo objektas, kurį oficialūs SDK ignoruoja. Dokumentacijoje išvardijami esami galiniai taškai ir tie, kurie sąmoningai neegzistuoja, o tai yra naudingiau nei suderinamumo teiginys.

API taip pat suteikia jums pasirinkimą pagal užklausą. Kai vienas galinis taškas yra pablogėjęs arba brangus, atsako kitas kandidatas, ir tas perjungimas yra apribotas filtruotu rinkiniu, todėl pakartotinis bandymas negali išvesti jūsų už prašytos rezidencijos ribų. Atsakymas tada jums pasako, kas nutiko: koks modelis veikė, kokia versija, koks galinis taškas, koks regionas, kokia suvereniteto klasė ir kodėl.

Šio patogumo kaina yra ta, kad jūs neturite mašinos, versija gali keistis, o licencijos ir rezidencijos faktai, kuriais remiatės, turi būti teisingi kažkieno kito kode. Čia jie nurodyti galinių taškų eilutėse ir kortelėse, platforma atsisako teigti prieglobos būseną, kurios negali parodyti, ir tais atvejais puslapyje nurodoma, kad modelis yra tik kataloge.

Hibridas, kurį naudoja dauguma komandų

API darbui, kurio apimtis kinta ir kurio duomenys nėra jautrūs, plius vienas savarankiškai priglobtas kontrolinis taškas darbo krūviui, kuris turi likti ribose. Kas yra kas, paprastai priklauso nuo duomenų klasifikacijos, o ne nuo modelio reitingo, ir tai yra teisinga tvarka: rezidencijos filtras čia veikia prieš vertinimą.

Tikrinkite pagal paketą, o ne pagal licenciją. Kadangi „atviri svoriai“ ir „leidžiamas komercinis aptarnavimas“ yra du faktai, prieglobos planas pasirenka tik tas korteles, kurios atitinka abu, o platformos sėjimas atmeta modelį, kurio licencijos tekstas draudžia komercinį aptarnavimą, net jei operatorius jį pavadina. Atlikite tą patį patikrinimą savo pusėje: perskaitykite kortelės licencijos identifikatorių, perskaitykite kortelės įrašytus apribojimus ir patikrinkite, ar abu atitinka jūsų naudojimą. Du Europos pavyzdžiai mažame gale rodo, kokia skirtinga gali būti kombinacija. EuroLLM 9B yra 9,15B modelis pagal Apache-2.0, apimantis visas 24 oficialias ES kalbas ir papildomą rinkinį. Teuken 7B Instruct v0.6 buvo apmokytas visomis 24 oficialiomis ES kalbomis pagal nekomercinę licenciją. Tas pats „Europietiškas, daugiakalbis, mažas“ aprašymas apima vieną modelį, kurį galite aptarnauti komerciškai, ir vieną, kurio negalite.

Trumpas sprendimų sąrašas

Jei duomenys negali palikti jūsų patalpų, pradėkite nuo atvirų svorių ir patikrinkite licenciją prieš bet ką kitą. Jei apkrova yra kintanti ir duomenys yra įprasti, API yra pigesnė nei serveris, kuris nenaudojamas. Jei abu teisingi, paleiskite vieną mažą modelį patys ir nukreipkite likusius.

Jei darbo krūvis yra tyrimas, yra prieinamas ir teisėtas nekomercinis kontrolinis taškas; jei tai komercinis aptarnavimas, licencijos identifikatorius, kuriame yra nekomercinis terminas, yra sustojimo ženklas, o kortelės įrašyti apribojimai yra ten, kur šis apribojimas paprastai nurodomas aiškiausiai. Jei atsakymas turi būti atkuriamas po metų, nustatykite versiją ir pasirinkite parinktį, kurioje valdote artefaktą.

Kad ir kokiu keliu eitumėte, užrašykite ribą ir patikrinkite ją nuo pradžios iki pabaigos. API iškvietimas, kuris atrodo europietiškas, o vienas dujotiekio etapas palieka ribą, yra gedimas, kurį šis katalogas egzistuoja, kad padarytų matomu, o savarankiškai priglobtas modelis, kurio licencija draudžia aptarnavimą, yra ta pati klaida kita kryptimi.