LLM API b'xejn: $5 kreditu għal kull kont ġdid

X'inhuma dawn il-$5

Organizzazzjoni ġdida tibda b'5.00 USD ta' kreditu għall-inferenza, mogħti darba meta jinħoloq il-kont. Hija somma fuq il-ktieb tal-kreditu, mhux ċavetta tal-prova u mhux prodott separat: is-sejħa li tonfoqha hija l-istess sejħa li l-API twieġeb għal kull kreditu ieħor. Ir-ringieli tal-endpoint wara dan il-katalgu jirreġistraw illum rata medja tal-input ta' madwar 0.36 USD għal kull miljun token, għalhekk ħames dollari huma, b'dak il-medja, fl-ordni ta' erbatax-il miljun token tal-input. Dan in-numru huwa medja fuq 325 ringiela tal-endpoint attiva, u ringiela waħda tiswa inqas jew aktar: ir-rati tal-input irreġistrati jvarjaw minn 0.00 sa 1.50 USD għal kull miljun token.

Ma tintalab l-ebda karta. Xejn ma jiġi ċċarġjat fuq karta, għax il-ħlasijiet bil-kard mhumiex attivati fuq dan id-deployment. Il-kreditu mhuwiex flus kontanti, ma jistax jiġi trasferit lil organizzazzjoni oħra u ma jistax jinħareġ. Ma jerġax jimtela awtomatikament u ma jiġġeddidx: m'hemm l-ebda karta fuq file li tiġġedded setgħet tiċċarġja.

Il-għotja hija waħda għal kull organizzazzjoni. Il-ħolqien ta' kontijiet biex tingħaddeb aktar minn darba huwa abbuż, u s-sezzjoni tal-użu aċċettabbli fit-termini diġà tkopri dan.

Kif tonfoqha

Itlob ċavetta tal-API fil-console u ibgħat l-ewwel talba. L-API hija kompatibbli ma' OpenAI: POST wieħed lil /v1/chat/completions b'ċavetta bearer, u l-SDKs uffiċjali jaħdmu ladarba l-base URL tiġi indirizzata hawn. Iċ-ċavetta tonfoq il-kreditu wara l-istess kontrolli tal-politika li japplikaw għal kull talba oħra — residenza, listi tal-fornituri u tal-mudelli, limiti massimi tal-prezzijiet, klassijiet tad-data, żamma u baġit ta' kuljum. Il-kreditu mhuwiex mod kif tinqabeż regola tal-politika. Jekk il-politika tiegħek tirrifjuta mudell, jew ma jservih l-ebda endpoint attiv, aktar kreditu ma jagħmilx is-sejħa tirnexxi.

Tista' wkoll tonfoq il-kreditu fil-playground qabel ma tikteb xi kodiċi, u dan biżżejjed biex tara l-forma tar-rispons: l-oqsma standard ta' OpenAI flimkien ma' blokka waħda li ssemmi l-id tat-traċċa, il-mudell li ħadem, il-verżjoni tiegħu, l-id tal-endpoint, ir-reġjun tal-inferenza, il-klassi tas-sovranità, iż-żamma li applikat, stima tal-ispiża u sentenza waħda li tgħid għaliex intgħażel dak l-endpoint. Kull sejħa tiġi rreġistrata bħala traċċa li tista' tirkupraha bl-id tagħha.

Ħames dollari ma jdumux għal dejjem, u l-ħarsa onesta lejhom hija baġit tax-xogħol. Chat li jiskambja ftit elef token jonfoq frazzjoni ta' ċenteżmu bir-rati tas-sħab. Prompt twil ta' rkupru mibgħut lil mudell b'rata rreġistrata għolja jista' jonfoq diversi ċenteżmi f'sejħa waħda. M'hemm l-ebda mod kif tkun taf in-numru tiegħek mingħajr ma ċċempel, għax il-prezz jappartjeni lir-ringiela tal-endpoint li sservik, mhux lil din il-paġna.

325 mudell iwieġbu llum

Parzjalment għax hawn xejn ma jiġi ivvintat, il-katalgu huwa akbar mill-parti tiegħu li twieġeb. Aqra din it-tabella qabel ma tippjana xi ħaġa. Illum, fuq dan id-deployment, 325 mudell huma servuti minn 325 endpoint attiv tas-sħab. It-291 ringiela l-oħra huma katalgu biss: iġorru karta bil-fornitur, il-liċenzja, it-tieqa tal-kuntest dokumentata u s-sorsi għal kull dikjarazzjoni, u xejn fuq dan id-deployment ma jwieġeb għalihom. Mudell li l-pjattaforma ma tistax isservi jiġi rrifjutat b'ismu, qatt ma jiġi mwieġeb minn stub, għalhekk il-kreditu b'xejn ma jistax jipproduċi output li qatt ma seħħ.

Il-mudelli li tassew iwieġbu huma servuti permezz ta' endpoints tas-sħab. Dawk ir-ringieli jaħdmu barra mill-UE permezz ta' broker minflok fuq infrastruttura tal-ewwel parti, u l-klassi tar-residenza tagħhom tgħid hekk. Organizzazzjoni ġdida tinħoloq b'politika li tippermetti l-klassijiet ospitati fl-UE, u l-endpoints tas-sħab huma mitfija f'dik il-politika default: isiru eliġibbli meta l-politika jew it-talba tixgħelhom. Dak l-iswiċċ jinsab fil-console, u mhuwiex karatteristika mħallsa — huwa l-istess qasam tal-politika li organizzazzjoni li tħallas tibdlu wkoll.

X'inhuma l-limiti, u x'inhuma mhumiex

Il-politika default tissetja limitu massimu tal-infiq ta' 10.00 USD għal kull organizzazzjoni kuljum, u meta jintlaħaq dan il-limitu jirritorna 402 budget_exceeded qabel ma jiġi skurjat kwalunkwe endpoint. Iż-żewġ limiti huma separati, u t-tweġiba għal kull wieħed hija separata wkoll. Limitu massimu tal-prezz ineħħi endpoint għali waqt il-filtru, għalhekk it-talba xorta tirnexxi fuq wieħed irħas. Baġit ta' kuljum iwaqqaf it-talba. La wieħed huwa limitu tar-rata, u lanqas l-ieħor mhuwa l-filtru tar-residenza, li jwieġeb 409 no_endpoint_for_policy meta xejn ma jissodisfa fejn tista' taħdem talba.

Il-politika ġġorr ukoll il-klassijiet tad-data permessi, il-listi tal-fornituri u tal-mudelli, u r-reġjuni li talba tista' tuża. Kull ħaġa barra minnhom tiġi rrifjutata b'isimha minflok ma tiġi servuta b'mod ieħor. Sejħa hija limitata wkoll għal kull ċavetta u għal kull organizzazzjoni, li huwa limitu massimu differenti mill-kreditu u huwa dokumentat bin-numri tiegħu fuq il-paġna tal-limiti.

Mhuwiex livell b'xejn li jiġġedded kuljum jew kull xahar. Hija għotja waħda ta' ħames dollari. Mhuwiex bilanċ ta' flus kontanti, mhuwiex trasferibbli u mhuwiex jinħareġ. Mhuwiex wegħda li kull mudell fil-katalgu jista' jiġi msejjaħ, għax 291 ringiela huma dokumentazzjoni minflok endpoint. Mhuwiex eżenzjoni minn politika: il-kreditu jista' jintefaq fuq dak li l-politika diġà tippermetti, u fuq xejn ieħor. Mhuwiex żieda fil-limitu massimu ta' kuljum. U mhuwiex linja ta' kreditu miftuħa — l-ebda karta mhija fuq file, għalhekk m'hemm xejn x'taqbeż u xejn x'tiġi fatturat aktar tard.

X'jiġri meta jispiċċa l-kreditu

Meta l-ħames dollari jintefqu, il-bilanċ jaqra żero u l-API tirrifjuta t-talba minflok ma sserviha. Ir-rifjut isemmi l-limitu li waqqafha, u l-console turi x'intefaq u x'fadal. Xejn ma jiġi ċċarġjat bil-moħbi fuq karta, xejn ma jiġi servut xorta waħda, u l-ebda fattura ma tasal aktar tard. Għax m'hemm l-ebda metodu ta' ħlas fuq file, id-deployment m'għandu xejn jiċċarġja u xejn ma jiġbed mill-kont tiegħek.

Tista' żżomm il-kont u ċ-ċwievet. It-traċċi tiegħek u l-istorja tal-użu jibqgħu jinqraw, u sid jew amministratur jista' jżid il-bilanċ mill-console. Jekk tippreferi tieqaf, il-kont jista' jiġi mħassar mill-console, u jneħħi l-kont u ċ-ċwievet tiegħu.

Dak li jibqa' veru wara li jispiċċa l-kreditu hija l-parti iebsa tal-offerta, u tista' tiċċekkjaha fuq dan is-sit illum. Il-korpi tal-prompt u tal-kompletazzjoni qatt ma jinkitbu fid-database: iż-żamma żero hija implimentata u hija l-uniku mod implimentat, fuq kull talba, tkun xi tkun il-bilanċ tiegħek. Il-klassijiet tal-hosting fl-UE u r-ringieli tas-sħab barra l-UE huma valuri separati fuq ringieli separati, għalhekk ir-reġjun li fih taħdem talba huwa qasam li taqra minflok sentenza li tafdaha. U hawn xejn ma jfattura bil-moħbi: it-talba li ma tistax titħallas tiġi rrifjutata, b'kodiċi u messaġġ, minflok mwieġba u ċċarġjata.

Test ta' ħames minuti, bil-ordni

Jekk trid tkun taf jekk din il-pjattaforma hijiex tiswa s-siegħa li jmiss tiegħek, onfoq il-kreditu fuq erba' kontrolli minflok fuq prompt twil wieħed. Oħloq il-kont u għadha tonfoq xejn. Aqra l-paġna tal-mudelli u nnota kemm mill-325 huma ammissibbli taħt il-politika tiegħek kif inhi. Ibgħat talba qasira waħda ta' chat u aqra r-rispons kollu, inkluż is-sentenza tar-routing u l-qasam taż-żamma. Imbagħad qabbel l-istima tal-ispiża f'dak ir-rispons mal-prezz irreġistrat għall-endpoint li wieġeb. Dawn l-erba' passi jwieġbu l-mistoqsijiet li offerta b'xejn normalment tevita: x'jaħdem tassew, fejn jaħdem, kemm swa, u jekk inżammx xi ħaġa.