Bezmaksas LLM API: $5 kredīts katrai jaunai paskyrai

Ko nozīmē tie $5

Jauna organizācija sāk ar 5.00 USD inference kredītu, kas tiek piešķirts vienu reizi, veidojot kontu. Tā ir summa kredītu virsgrāmatā, nevis izmēģinājuma atslēga un nevis atsevišķs produkts: izsaukums, kas to iztērē, ir tas pats izsaukums, uz kuru API atbild par jebkuru citu kredītu. Galapunktu rindas aiz šī kataloga šodien uzrāda vidējo ievades likmi aptuveni 0.36 USD par miljonu žetonu, tāpēc pieci dolāri pie šī vidējā ir aptuveni četrpadsmit miljoni ievades žetonu. Šis skaitlis ir vidējais pār 325 dzīvām galapunktu rindām, un atsevišķa rinda maksā mazāk vai vairāk: reģistrētās ievades likmes svārstās no 0.00 līdz 1.50 USD par miljonu žetonu.

Karte netiek prasīta. No kartes nekas netiek iekasēts, jo karšu maksājumi šajā izvietojumā vispār nav iespējoti. Kredīts nav skaidra nauda, to nevar pārskaitīt citai organizācijai un nevar izņemt. Tas nepapildinās automātiski un neatjaunojas: nav saglabātas kartes, ko atjaunošana varētu iekasēt.

Piešķīrums ir viens uz organizāciju. Kontu veidošana, lai to ievāktu atkārtoti, ir ļaunprātīga izmantošana, un noteikumu sadaļa par pieņemamu lietošanu to jau aptver.

Kā to iztērēt

Pieprasiet API atslēgu konsolē un nosūtiet pirmo pieprasījumu. API ir OpenAI saderīgs: viens POST uz /v1/chat/completions ar bearer atslēgu, un oficiālie SDK strādā, tiklīdz bāzes URL ir norādīts uz šejieni. Atslēga iztērē kredītu pēc tām pašām politikas pārbaudēm, kas attiecas uz katru citu pieprasījumu — rezidences, pakalpojumu sniedzēju un modeļu sarakstiem, cenu griestiem, datu klasēm, saglabāšanu un dienas budžetu. Kredīts nav politikas noteikuma apiešana. Ja jūsu politika noraida modeli vai to neapkalpo neviens dzīvs galapunkts, lielāks kredīts pieprasījumu veiksmīgu nepadarīs.

Kredītu varat iztērēt arī rotaļu laukumā, pirms vēl esat rakstījis kodu; ar to pietiek, lai redzētu atbildes formu: standarta OpenAI laukus un vienu bloku, kas nosauc trace id, palaisto modeli, tā versiju, galapunkta id, inference reģionu, suverenitātes klasi, piemēroto saglabāšanu, izmaksu aplēsi un vienu teikumu, kas izskaidro, kāpēc izvēlēts tieši šis galapunkts. Katrs izsaukums tiek reģistrēts kā trace, ko var izgūt pēc tā id.

Pieci dolāri nepaliek mūžīgi, un godīgs skatījums uz tiem ir darba budžets. Saruna, kurā apmainās daži tūkstoši žetonu, pie partneru likmēm maksā centa daļu. Garš meklēšanas uzvednes teksts, kas nosūtīts modelim ar augstu reģistrēto likmi, vienā izsaukumā var apēst vairākus centus. Savu skaitli nevar uzzināt, neveicot izsaukumu, jo cena pieder galapunkta rindai, kas jūs apkalpo, nevis šai lapai.

325 modeļi atbild šodien

Daļēji tāpēc, ka šeit nekas netiek izdomāts, katalogs ir lielāks par to tā daļu, kas atbild. Izlasiet šo tabulu, pirms kaut ko plānojat. Šodien šajā izvietojumā 325 modeļus apkalpo 325 dzīvi partneru galapunkti. Pārējās 291 rindas ir tikai katalogā: tām ir kartīte ar pakalpojumu sniedzēju, licenci, dokumentētu konteksta logu un avotiem katram apgalvojumam, un neviens šī izvietojuma galapunkts uz tām neatbild. Modelis, ko platforma nevar apkalpot, tiek noraidīts vārdā, nevis atbildēts ar aizstājēju, tāpēc bezmaksas kredīts nevar radīt izvadi, kas nekad nav notikusi.

Modeļi, kas patiešām atbild, tiek apkalpoti caur partneru galapunktiem. Šīs rindas darbojas ārpus ES, caur brokeri, nevis uz pirmās puses infrastruktūras, un to rezidences klase to pasaka. Jauna organizācija tiek izveidota ar politiku, kas atļauj ES mitinātās klases, un partneru galapunkti šajā noklusējuma politikā ir izslēgti: tie kļūst piemēroti, kad politika vai pieprasījums tos ieslēdz. Šis slēdzis ir konsolē, un tas nav maksas līdzeklis — tas ir tas pats politikas lauks, ko mainītu arī maksājoša organizācija.

Kādas ir robežas un kādas tās nav

Noklusējuma politika ierobežo izdevumus līdz 10.00 USD uz organizāciju dienā, un, sasniedzot šo robežu, pirms jebkura galapunkta vērtēšanas tiek atgriezts 402 budget_exceeded. Abas robežas ir atsevišķas, un arī atbilde uz katru ir atsevišķa. Cenu griesti izslēdz dārgu galapunktu jau filtrēšanas laikā, tāpēc pieprasījums tomēr izdodas ar lētāku. Dienas budžets pieprasījumu aptur. Neviens no tiem nav pieprasījumu biežuma ierobežojums, un neviens nav rezidences filtrs, kas atbild 409 no_endpoint_for_policy, ja nekas neatbilst tam, kur pieprasījums drīkst darboties.

Politika satur arī atļautās datu klases, pakalpojumu sniedzēju un modeļu sarakstus un reģionus, ko pieprasījums drīkst izmantot. Viss ārpus tiem tiek noraidīts vārdā, nevis apkalpots citādi. Izsaukums tiek ierobežots arī uz atslēgu un uz organizāciju; tie ir citi griesti nekā kredīts, un tie ar saviem skaitļiem ir dokumentēti ierobežojumu lapā.

Tas nav bezmaksas līmenis, kas atjaunojas katru dienu vai mēnesi. Tas ir viens piecu dolāru piešķīrums. Tas nav skaidras naudas atlikums, nav pārskaitāms un nav izņemams. Tas nav solījums, ka katrs kataloga modelis ir izsaucams, jo 291 rinda ir dokumentācija, nevis galapunkts. Tas nav atbrīvojums no politikas: kredītu var iztērēt tam, ko politika jau atļauj, un nekam citam. Tas nepalielina dienas griestus. Un tas nav neierobežota kredītlīnija — karte nav saglabāta, tāpēc nav ko pārtērēt un nav ko vēlāk izrakstīt rēķinā.

Kas notiek, kad kredīts beidzas

Kad pieci dolāri ir iztērēti, atlikums rāda nulli, un API pieprasījumu noraida, nevis to apkalpo. Noraidījums nosauc robežu, kas to apturēja, un konsolē redzams, kas iztērēts un kas palicis. Nekas klusi netiek iekasēts no kartes, nekas netiek tomēr apkalpots, un nekāds rēķins neienāk vēlāk. Tā kā maksāšanas līdzeklis nav saglabāts, izvietojumam nav ko iekasēt un nav ko norakstīt no jūsu konta.

Varat paturēt kontu un atslēgas. Jūsu trace ieraksti un lietojuma vēsture paliek lasāmi, un atlikumu konsolē var papildināt īpašnieks vai administrators. Ja labāk gribat apstāties, kontu var izdzēst konsolē — kopā ar tā atslēgām.

Tas, kas paliek spēkā pēc kredīta iztērēšanas, ir grūtā piedāvājuma daļa, un to šodien varat pārbaudīt šajā vietnē. Uzvednes un atbildes saturs nekad netiek ierakstīts datubāzē: nulles saglabāšana ir ieviesta un tā ir vienīgais ieviestais režīms, katram pieprasījumam, neatkarīgi no jūsu atlikuma. ES mitināšanas klases un ārpus ES esošās partneru rindas ir atsevišķas vērtības atsevišķās rindās, tāpēc reģions, kurā pieprasījums darbojas, ir lauks, ko nolasāt, nevis teikums, kam ticat. Un nekas šeit neizraksta rēķinus klusi: pieprasījums, par ko nevar samaksāt, tiek noraidīts ar kodu un ziņojumu, nevis atbildēts un iekasēts.

Piecu minūšu pārbaude, pēc kārtas

Ja gribat zināt, vai šī platforma ir vērta jūsu nākamo stundu, iztērējiet kredītu četrām pārbaudēm, nevis vienai garai uzvednei. Izveidojiet kontu un pagaidām neko neiztērējiet. Izlasiet modeļu lapu un atzīmējiet, cik no 325 modeļiem ir pieņemami saskaņā ar jūsu pašreizējo politiku. Nosūtiet vienu īsu sarunas pieprasījumu un izlasiet visu atbildi, tostarp maršrutēšanas teikumu un saglabāšanas lauku. Pēc tam salīdziniet izmaksu aplēsi šajā atbildē ar cenu, kas reģistrēta galapunktam, kurš atbildēja. Šie četri soļi atbild uz jautājumiem, ko bezmaksas piedāvājums parasti apiet: kas patiešām darbojas, kur tas darbojas, cik tas izmaksāja un vai kaut kas tika saglabāts.